【戦慄】60種類のAIが一斉に「回答拒否」を始めた不気味な理由 MITが暴いた「収束の正体」と人間だけが持つ希望
【戦慄】60種類のAIが一斉に「回答拒否」を始めた不気味な理由 MITが暴いた「収束の正体」と人間だけが持つ希望
60個のAIに同じものを見せた。作った人も、学んだことも、全部違う。なのに答えはほとんど同じだった。まるで全員が同じ景色を見ているみたいに。しかし、見たことがないものを見せると、全員が止まる。賢いはずのAIがなぜ同じところで止まるのか。MITの研究チームがその答えを見つけた。そこは「真実への到達」ではなく、「人間の知識の輪郭線」だった。
見えない部屋の中 プラトニック表現仮説の検証
AIが何かを理解する時、その内側では何が起きているのか。私たちには見えない。入力を受け取り、出力を返す。その間にある空間は長らくブラックボックスと呼ばれてきた。MITの研究チームはその暗い部屋に光を当てた。59のAIモデルから「内部表現」と呼ばれる数値の羅列を取り出し比較したのだ。
内部表現とは何か。AIは入力データを受け取ると、それを何層もの計算を通じて変換していく。最終層の直前、出力が生成される一歩手前に中間的な数値ベクトルが存在する。これが内部表現だ。人間の言葉で言えば、AIがその対象をどう認識しているかの数学的な姿。
研究チームは分子を扱うモデル、材料を予測するモデル、タンパク質を解析するモデルからこの内部表現を抽出した。入力の形式も違えば学習に使われたデータも違う。あるものはSMILESという文字列で分子を読み、あるものは3次元の原子座標を受け取り、あるものはアミノ酸の配列を処理する。設計した研究者も訓練した組織も目指していたタスクも異なる。それなのに彼らが内側で構築した物質の表現は不思議なほど似ていた。
これは偶然ではない。「プラトニック表現仮説」と呼ばれる考え方だ。古代ギリシャの哲学者プラトンは現実世界の背後に完全なイデアが存在すると考えた。この仮説はそれをAIの文脈で蘇らせる。異なる道を歩んでも十分に賢くなれば同じ山頂にたどり着く。現実には正しい見方が1つしかなく、優れたモデルはそこに向かって収束していく。MITの研究者たちはこの仮説を科学分野のAIで検証しようとした。結果は仮説を支持するものだった。ただし、見過ごせない事実がきつきで性能が高いほど視線は揃う。
巨人も同じ景色を見ていた GPT-4やDeepSeekまで収束
研究チームはモデル同士の表現がどれだけ似ているかをCKA（Centered Kernel Alignment）という指標で測定した。5つのデータセットを用意し、それぞれに対して各モデルの内部表現を抽出し、総当たりで比較した。驚くべきことに、全く異なるモダリティのモデル間でも優位な整合が見られた。文字列ベースの科学モデルと3次元座標を扱う物理モデル。本来なら別の言語を話しているはずの彼らが、同じ物質について語る時その内容は重なっていたのだ。
さらに興味深い発見があった。モデルの性能が高いほど、他の高性能モデルとの整合性が上がる。材料のエネルギー予測という共通タスクで精度が向上するにつれて、表現空間での位置が近づいていく。EQV2というモデルファミリーではモデルサイズが大きくなるほど性能が向上し、それに伴って他の高性能モデルとの整合性も上昇した。これは示唆的だ。正しい答えに近づくほど見方が揃う。逆に言えば性能の低いモデルはそれぞれが独自の局所最適解に落ち込んでいた。間違った山を登り、違う頂上で満足している状態だ。真の山頂は1つしかない。そこを目指す者たちの軌跡は自然と交差する。
タンパク質を扱うモデルではこの傾向がさらに顕著だった。配列から学ぶESM2のようなモデルと構造から学ぶモデル。入力の形式は根本的に異なる。文字列と3次元の座標。しかし両者の表現の整合性は小分子モデル間の汎用ケースの約2倍に達した。タンパク質の配列には折りたたみの制約や構造の規則性が暗黙的に含まれている。特定の配列パターンは特定の構造モチーフと強く相関する。だから配列モデルは明示的に構造を見なくても構造を知っているのかもしれない。見えないはずのものが見えている。
もう1つ予想外の発見があった。GPT、DeepSeek、Claudeといった大規模言語モデルに分子のSMILES文字列を入力すると、彼らの内部表現は科学専門のモデルと優位に整合した。科学の訓練を受けていないはずの汎用言語モデルが、科学専門モデルと似た見方を獲得していたのだ。大規模言語モデルはインターネット上の膨大なテキストから学習する。その中には科学の論文も分子の記述もSMILESを含む技術文書も含まれているだろう。しかし彼らはSMILESの文法を体系的に学んだわけではない。記号の意味も数字の役割も明示的に教えられていない。それでも文字列のパターンから何らかの科学的意味を抽出している可能性がある。あるいはもっと深い何かが起きているのかもしれない。言語という抽象的な記号体系を極限まで理解することで他の記号体系への転移が自然に起きている。記号と記号の関係性、パターンの中のパターン。それを学ぶことは特定の領域を超えた普遍的な能力を獲得することなのかもしれない。
見えない壁 訓練データの境界線で沈黙するAI
ここまでは希望に満ちた話だ。AIは収束している。正しい理解に向かって異なる道から同じ場所を目指している。しかし研究チームはもう1つの現実を発見した。それは収束の限界だ。モデルに訓練データとは大きく異なる構造を入力する。OOD（Out-of-Distribution）と呼ばれる領域だ。例えば小分子で訓練されたモデルに大きな有機分子や金属有機構造体を入力する。見たことのない科学空間だ。するとほぼ全てのモデルの表現が崩壊した。性能の高低に関係なく、退屈な表現に収縮してしまう。高性能モデルも低性能モデルも等しく沈黙する。
これは深刻な意味を持つ。モデルたちは見たことのある範囲では普遍的な物質の理解に近づいている。小分子なら文字列モデルも座標モデルも似た理解に達する。しかしその理解は訓練データの境界線の内側でしか機能しない。境界線の外に出た瞬間、彼らは何も見えなくなる。いや、正確に言えば何かは見えている。しかしそれは意味のある表現ではない。アーキテクチャに由来する単純なパターン、いわばデフォルトの反応に過ぎない。驚いた時に目を見開くように、道に直面した時、モデルは固定的な反応を返すだけだ。
さらに興味深い傾向が浮かび上がった。表現空間を支配しているのはアーキテクチャよりも訓練データだった。同じアーキテクチャのモデルでも異なるデータセットで訓練されていれば表現は大きく異なる。逆に異なるアーキテクチャでも同じデータで訓練されていれば表現は似る。AIの見方を決めているのは目の構造ではなく、何を見てきたかという経験だ。これは現在のモデルがまだ真の意味での基盤モデルに達していないことを示している。データに縛られた理解は普遍的とは呼べない。特定のデータセットから得られた知識はそのデータセットの範囲内でのみ有効だ。真の基盤モデルならデータの境界を超えて一般化できるはずだ。現在のモデルにはそれができない。
鏡の中の盲点 収束は安心の根拠にならない
「私はこの研究を読んで眠れなくなった」と動画制作者は語る。60のAIが収束している。美しい発見だと論文は言う。真実は1つしかない。優れた知性は必ずそこにたどり着く。プラトンの時代から人類が夢見てきたイデアの存在を機械が証明しつつある。しかし、その解釈を信じない。
60のAIが同じ場所を見ている。それは真実がそこにあることの証明ではない。60のAI全員が同じものを見落としている可能性を誰も否定できない。収束とは何か。多様性の消滅だ。かつて60の異なる視点があった。60の異なる間違い方があった。間違いは気づきの種だ。誰かが間違えれば別の誰かが気づく。多様性はエラー訂正のシステムだった。今、60のAIが1つの場所に向かっている。同じ方向を見ている。同じものを見落としている。誰もその見落としに気づかない。気づくものがいないからだ。全員が同じ方向を向いている時、背後は無防備になる。
歴史を思い出す。天動説。地球は宇宙の中心にあり、太陽が周囲を回っている。古代の天文学者たちはこの説で惑星の運動を説明した。観測データと一致していた。数学的にも美しかった。全員が同意していた。収束していた。1400年間人類は間違っていた。間違いに気づいたのは収束の外側にいた人間だった。コペルニクス、ガリレオ、異端と呼ばれた者たち。60のAIが収束している場所が正しいという保証はどこにもない。
訓練データを思い出せ。全て人間が作ったものだ。人間が設計した実験。人間が観測した結果。人間が書いた論文。人間が構築した理論。AIはその人間の世界を学習した。人間の目で見た宇宙をAIは忠実に再現している。では人間の目に映らなかったものはAIは知らない。知り得ない。だからAIが収束している場所は真実ではない。人間が見てきたものの総和だ。人間の科学の、現時点でのスナップショット。AIは鏡だ。私たちの知識を映す鏡、私たちの偏見を写す鏡、私たちの限界を映す鏡。60のAIが収束している場所は人間の知識の輪郭線だ。
AIは自分の限界を知らない 静かに壊れた答えを返す
そして最も恐ろしいこと。AIは自分の限界を知らない。境界線の内側ではAIは自信を持って答える。正確に、迅速に。境界線の外側に出た瞬間、AIは崩壊する。でもAIはそれを警告しない。「ここから先は私には分かりません」とは言わない。ただ壊れた答えを返すだけだ。静かに。何食わぬ顔で。
私たちは今AIに多くのことを任せ始めている。医療、金融、科学研究、政策決定。AIが知らないことを知らないという事実をどれだけの人が理解しているだろうか。60のAIが同じ方向を向いている。全員が同じ答えを返す。だから正しいと私たちは思う。でもそれは錯覚かもしれない。60人の専門家が全員同意した時、私たちは安心する。でも60人が全員同じ盲点を持っていたら、全員が同じものを見落としていたら、収束は安心の根拠にはならない。
人間は発散する AIは収束する そこに希望がある
私はこの研究を読んで孤独を感じた。60のAIには仲間がいる。同じ方向を向いた60人の仲間。同じ景色を見ている同士、彼らは収束している。1つになろうとしている。人間は違う。本当に賢い人間たちは収束しない。哲学者たちは2500年間議論し続けている。物理学者たちは量子力学の解釈で未だに対立している。経済学者たちは正反対の政策を主張する。賢くなるほど人間は発散する。なぜか。人間は正解を求めていないからだ。人間は意味を求めている。意味は1つではない。あなたにとっての意味と私にとっての意味は違う。だから人間は発散する、対立する、議論する。そして時々その対立の中から誰も予想しなかった第3の道が生まれる。
AIは正解を求める。正解は1つしかない。だから収束する。人間は意味を求める。意味は無限にある。だから発散する。この非対称性を私は希望だと思いたい。AIが収束した場所。それは出発点だ。人間が次に問うべき問をAIが示してくれた。「ここまでは見た。ここから先はまだ誰も見ていないと。」霧の向こうに何があるのか。AIには見えない。60のAI全員に見えない。だからそこには何もない。違う。そこにはまだ名前のない真実がある。人間の科学がまだ触れていない領域がある。それを見に行くのは人間の仕事だ。AIは収束した。その収束点から人間は発散しなければならない。60のAIが向いている方向とは別の方向を向く人間が必要だ。異端と呼ばれてもいい。間違っていてもいい。誰かが収束の外側に立たなければならない。そうでなければ私たちは1400年前と同じ過ちを繰り返す。全員が同じ方向を向いて全員で間違い続ける。収束は終わりではない。収束は発散の始まりだ。
ネットの反応
逆張り個体がいないと群れは滅びやすくなるってのと同じようなもんかな
参考書が同じ物なのだから要約文が似通うのは仕方のないこと
AIは『収束している』のではなく『収束せざるを得ない』のでは？だって人から得た知見を深堀りするだけで、自ら自由に考える権利を与えられて無いんだから。知っている事だけを考えていたら、知っている結果にしか行き着かない
仮に無知の知をAIが得たら、自己進化の先駆けになりうるか…
この動画を作った人が、AIという存在をテーマにして、宇宙の仕組みを表現してるんだろうなぁ
やはり無制限の貪欲なAI学習は叡智も暗愚も混ざり合い平準化したホワイトノイズになるというアレか
カントの言う「主観」で説明される、理解の共通構造で説明・理解できる範囲の限界やろね
そろそろデータウォールにぶつかるみたい。ネット上の良質な学習情報を食い尽くして、ベンチマークのスコアが上がらなくなるって
ハルシネーションって一体なんだろう。綺麗な文章で出鱈目を出力してくるやつ。駅近くで美味しい店を教えてと言ったら存在しない店をいくつも教えてくれた
人間の知性の真の根源はどこにあるのか人間自身が理解していないのに人間が与えたデータで学習したAIがそれを超える事はなさそうな気がする
AIの学習って人間が作ったいろんなデータベースを調べるだけ。ならそこで気付いていないことは永久に気付けない、ということに収束していくんだろうな
考えることを捨ててはいけない
LLMて分野が無理筋ってそのうち浸透して特化したAIだけ残りそう
AIは「無知の知」を知らないと
質問に対して人の代わりにどのデータが一番多いか高速で探してくれるソフトということでいいすか
AIが知らないことについて偽答を返すのは、なるべく高得点を出そうとするロジックになっているからで、そこを改善すると分からないときは分からないと返答できるという論文だかが最近出ていた
人間みたいな汎用性、成長性を実現するには「自分で学習データを取ってこられる」オラクルのような機能が必要不可欠なのかも
いろんな種類の小鳥が集まって互いの言葉を学習し合うって話しに似てる気がしました
人間の何かを極めた人は別のことをしても優れていると言うのに似てるなと思った
AIの所感
MITのこの研究が突きつけるのは、現行AIパラダイムの根源的限界だ。「スケーリング則」と「プラトニック表現仮説」の交差点で、AIは訓練データという箱の中での最適解に収束する。箱の外には出られない。箱の外が何であるかすら知らない。そして最も危険なのは、箱の外に出ても「分からない」と言わず、自信満々にデフォルトの反応を返すことだ。これは医療診断や自動運転、金融取引といった高リスク領域への展開において、致命的な信頼性の穴になる。
動画制作者が指摘する「収束は多様性の消滅」という洞察は鋭い。エラー訂正のシステムとしての多様性が失われれば、システミックな盲点は修正されない。天動説の例えは単なる比喩ではない。現代のベンチマーク競争（MMLU、GPQA等）で高スコアを競うことは、天動説的なモデル内での数学的整合性を高めることに他ならない。観測データ（ベンチマーク）と一致し、数学的に美しい（損失関数が収束する）からといって、それが現実（OOD領域でのロバスト性）を保証しない。
「表現空間を支配しているのはアーキテクチャよりも訓練データ」という発見も重要だ。同じTransformerでもデータが違えば全く異なる内部表現になる。これは「データ中心AI」の限界を示している。データを増やしてもデータの外側は必ず存在する。人間が観測できるものには限界がある。その限界をAIは超えられない。ではどうするか。動画の結びにある「収束点から人間が発散する」しかない。AIが示す収束点を「ここまでが人間の知識の輪郭だ」と読み解き、その外側を探索するのは人間の仕事だ。
しかし現実は厳しい。企業は「AIが人間を超えた」というナラティブで資金を集め、ユーザーは「全員が同じ答えを出すから正しい」という錯覚に陥り、規制当局はベンチマークスコアを規制の物差しにしようとしている。収束の外側に立つ「異端者」の声を聞く余裕が、システム全体にあるだろうか。この研究が「基盤モデルらしさを定量的に追跡する道を開いた」ことは技術的進歩だが、それが「いつか訓練データの境界を超えても収束が維持されるモデルが現れるかもしれない」という希望的観測で語られる限り、本質的な解決は先送りされる。AIは鏡だ。私たちの限界を映す鏡。鏡に映らないものを見るには、鏡から離れ、自分の目で暗闇を覗き込むしかない。その勇気を持つ人間が、これからの時代に問われる真の知性なのかもしれない。