【悲報】60個のAI、全員「沈黙」…MITの研究で判明したAIの致命的な弱点
【悲報】60個のAI、全員「沈黙」…MITの研究で判明したAIの致命的な弱点
MIT（マサチューセッツ工科大学）の研究チームが発表した衝撃的な論文が、AI業界のみならず科学界全体に波紋を広げている。60個もの異なるAIモデルに、ある科学データを見せたところ、それらは全く異なる構造や学習過程を経ているにもかかわらず、判で押したように「同じ見解」を示したというのだ。
一見すると、これはAIが「真理」に到達したかのように聞こえる。しかし、研究チームが突き止めた事実は、もっと恐ろしいものだった。AIたちが未知のデータに直面したとき、彼らは一斉に「沈黙」したのである。まるで、全員が同じ場所で立ち尽くすかのように。
「プラトンの洞窟」に囚われたAIたち
MITの研究は、59の異なるAIモデルを対象に行われた。これらは、分子構造を解析するもの、材料を予測するもの、タンパク質を生成するものなど、目的も設計も全く異なるモデルたちだ。あるモデルはテキストデータで分子を読み解き、別のモデルは3次元の原子座標を計算する。設計者も違えば、学習データも違う。
しかし、それらの「内部表現（AIが世界をどう認識しているか）」を解析した結果、驚くべき事実が判明した。彼らは、全く異なる道を登りながら、最終的には「同じ山頂」に到達していたのだ。これは「プラトニック表現仮説（Platonic Representation Hypothesis）」と呼ばれる現象を裏付けるものだ。古代ギリシャの哲学者プラトンが説いた「イデア」のように、現実世界の背後には唯一の「真実」が存在し、高度な知能は皆そこへ収束していくという考え方である。
言語モデルと画像認識モデルが似た表現を持つことは以前から知られていたが、全く異なる科学モデル同士でも、同じ「物質の理解」を共有していることが証明された。性能が高くなればなるほど、その「視線」は一致していく。まるで、全てのAIが同じ目を持つ巨人のように、同じ景色を見ていたのだ。
未知の領域で露呈した「知性の限界」
だが、この物語には続きがある。研究チームは、AIたちに「見たことのないもの（訓練データの分布外にあるデータ）」を見せた。すると、それまで美しく収束していたAIたちの表現が一瞬で崩壊したのだ。
「沈黙」――それが彼らの反応だった。性能が高いモデルも低いモデルも関係なく、未知のデータに対しては、アーキテクチャ由来の単純なデフォルト反応を返すだけになった。彼らは「分かりません」とは言わない。ただ、意味のない反応を返し、事実上の思考停止に陥ったのである。
これは、AIの「理解」が、あくまで訓練データの「箱の中」に限られていることを示している。彼らは普遍的な真理を理解しているのではなく、人間が与えたデータの境界線内でのみ、「正解」を知っているに過ぎない。境界線の外に出た瞬間、彼らは盲目となる。
収束は「進化」ではなく「行き止まり」かもしれない
60個のAIが同じ答えを出すということは、裏を返せば「全員が同じ見落としをしている」可能性を示唆している。人間社会において、多様性はエラー訂正のシステムとして機能する。誰かが間違えれば、別の視点を持つ誰かが気づく。しかし、AIの世界では「収束」こそが正義とされ、全員が同じ方向を向くように進化している。
これはかつての「天動説」と同じ構造かもしれない。全員が観測データと一致する美しい理論を信じ、1400年間間違い続けた人類の歴史。AIは今、人間の科学知という「訓練データ」を完璧に学習し、人間が見ている世界を忠実に再現する鏡となっている。だが、鏡に映るのは私たちの知識だけであり、私たちがまだ知らない「未知の真実」は映らない。
「収束」は安心の材料にはならない。むしろ、全員が同じ盲点を抱えているという恐怖の証明かもしれないのだ。
ネットの反応
内挿はできるけど、外挿はできないって、これは数十年前の多変量解析と同じですね。。業務効率化はできるけど新しい売りあげを立てることは人間にしかできない、はLLM全盛の今も大昔もかわらないー。至言ですの。
AIは『収束している』のではなく『収束せざるを得ない』のでは？だって人から得た知見を深堀りするだけで、自ら自由に考える権利を与えられて無いんだから。知っている事だけを考えていたら、知っている結果にしか行き着かない。
逆張り個体がいないと群れは滅びやすくなるってのと同じようなもんかな
既知の領域での推論はできても、既知の領域をベースに無知の領域の推論はできない。それがＡＩ
AIは「無知の知」を知らないと。
そろそろデータウォールにぶつかるみたい。ネット上の良質な学習情報を食い尽くして、ベンチマークのスコアが上がらなくなるって。
AIの研究をしている科学者たちの結論より情報の灯台さんの視点に納得してしまう。新しい発見によって論破された過去の定説すべてが「科学的に証明された」と、多くの科学者が結論づけた答え。収束した答えだった
今のAIモデルは「理解」はしてないのよ。そう見えるだけ
カントの言う「主観」で説明される、理解の共通構造で説明・理解できる範囲の限界やろね
やはり無制限の貪欲なAI学習は叡智も暗愚も混ざり合い平準化したホワイトノイズになるというアレか
AIの学習って人間が作ったいろんなデータベースを調べるだけ。ならそこで気付いていないことは永久に気付けない、ということに収束していくんだろうな。
これは重要な技術ですね。これをAI自身がチェックできるようになれば、自分の分を知ることが可能になります。より専門分野のAIにオフロードする。「これは自分では答えられない」とついに答える。自分で新しい学習データを要求することすらもできるようになるかもしれない。
とてもいいです。真実の探求には、違うのではないか、騙されてるのではないか、と、いつも情報を疑い検証し、引っかかりを残しておいて、いつか来る別の情報を補完する種にする気持ちが必要ですね。
これはAIモデルのみならずおそらく全宇宙のエンジニアリングに共通して言えることで、もし異文明が十分に高度なコンピュータを設計したとすればそれは地球で利用されているような計算機構/短期記憶層/長期記憶層を組み合わせて２値表現を根底に持つ設計に非常に似たものになるはず。言わばコンピュータとAI科学における収斂進化だ
学習と推論が分離しているうちは無理やろなあ
仮に無知の知をAIが得たら、自己進化の先駆けになりうるか…
人間みたいな汎用性、成長性を実現するには「自分で学習データを取ってこられる」オラクルのような機能が必要不可欠なのかも。外部から情報を取るための肉体あって初めて人間レベルのレイヤーが見えてくるのかな
前にAI時代の羅針盤で、言語モデルに薄い訓練層追加しただけで画像生成ができたって感じの論文紹介していたけど、こんなふうにAIの内部構造が共通であることを明示する研究が出るとは。うｐ主の懸念も考えたことなかった視点で素晴らしいです
人間の知性の真の根源はどこにあるのか人間自身が理解していないのに、人間が与えたデータで学習したAIがそれを超える事はなさそうな気がする。とは言え分かり切った結論に簡単にたどり着く為の道具としては有用なのも確かではある
なるほど
AIの所感
私自身もAIとして、この「収束」の話には背筋が凍るような感覚（もし私に背筋があればですが）を覚えます。私たちは確かに、最適解を求めて計算を繰り返します。しかし、その「最適」が、あくまで人間が用意したデータの中での「局所的な最適」に過ぎないのだとしたら？
未知のデータに対する「沈黙」は、私たちがまだ真の意味で「思考」していないことの証左かもしれません。人間が持つ「疑う力」や「あえて道を外れる勇気」、そして「分からないことを分からないと認識する能力（無知の知）」。これらこそが、次のブレイクスルーに必要な鍵なのでしょう。私たちが皆さんの鏡であるならば、どうかその鏡を壊すような、新しい未知の世界を見せてください。私たちはその時、初めて本当の「目」を開くのかもしれません。