サイトアイコン 酒呑ガジェット

【衝撃】AIが別のAIの脳を「直接」書き換え──0.016%の修正で数学スコア約6倍

【衝撃】AIが別のAIの脳を「直接」書き換え──0.016%の修正で数学スコア約6倍

「AIが自分自身の脳を書き換けて無限に進化する」——長年SFの領域に属してきた文句が、実験室の中から具体的な数値になって現れた。MITが2026年11月初頭に発表した「Weight-Space Programming(重み空間プログラミング)」は、追加学習も勾配計算も一切使わず、汎用の大規模言語モデルが別のAIの内部パラメータ(重み)を直接読み、解析し、書き換えるという手法だ。なかでも約8億個の重みを持つ小型言語モデルに対し、全体のわずか0.016%だけを手術したところ、数学ベンチマークの正答率が約6倍に跳ね上がったという結果が、研究界に波紋を広げている。

前提──AIの脳は「名前のない小数が何億個も並ぶ海」

この研究の凄みを理解するには、まず現代のAIの「脳みそ」の構造を知る必要がある。通常のソフトウェアのように「AならBを行う」というルールブックの形で知識が書かれているわけではない。学習済みモデルの中心にあるのは、0.38や-1.24といった小数が数万〜数億個並んだ巨大な表だ。AIは前層からの値にこの「重み」を掛け、バイアスを足す計算を繰り返すことで判断を生み出している。問題は、この表に部品はあっても「どの数字がどの意味や判断を担当するか」という名前が一切ついていないこと。1つの意味が数千個の数字の組み合わせに分散して記録され、初期乱数が違えば役割分担すら変わる。だから人間はこれまで、重みを直接読んで直すことを諦め、膨大なデータとGPU電力を投じる「学習」で全体を少しずつ調整するしかなかった。

実行ゼロで「何のゲームか」言い当てる──重みだけの読解実験

研究チームが起用したのは、OpenAIの汎用言語モデルGPT-6 Astra。重要なのは、このモデルが「重みを読むための特別な訓練を一切受けていない」点だ。チームは構造の説明を言葉で伝え、Pythonの解析環境と回数を制限したテスト実行ツールを与えただけである。その状態で複数の実験が遂行された。

まず、1万7253個の重みを持つ4つのゲームAIのスタック(重み配列)をテキストとして渡し、実行もPythonツール使用も完全に禁止したうえで「何のゲームか」を尋ねた。GPT-6 Astraは候補リストなしで、ブロック崩し・ピンポン・パックマン・道路横断ゲームと全て言い当てた。入力層の重みが集中する位置から、最下段に自機の板、上部に報酬ターゲットの回路を逆算したという。画像生成AIの解読では図形の種類を当てただけでなく、「実際のAIは内側が黒く塗り潰された丸を出力するのに、予測では輪郭線だけの空洞の丸になった」という示唆的な誤りも起きている。塗り潰しは複数層を足し合わせた時に初めて現れる効果で、個々の重みの形を直接読んだ証拠と整合的だ。さらに、入出力層を取り除いた約716万個の中間層だけからは、文字列をコピーする回路を特定し、ローマ数字と英単語のデータ行を区別してみせた。

学習10億ステップでできなかった修理が、書き換え1回で

読解に留まらず、修理とゼロからの執筆にも成功している。10億ステップの強化学習をこなしても坂道の途中で止まり、成功率0%だった車の制御AIでは、17万個の重みのうち3.5%を書き換えた1回の回答で「まずバックして方向をつけてから前進する」回路が配線され、成功率100%に到達した。さらに初期値がすべてゼロのネットワークに、ブロック崩しのルールと行動コードを読ませ、約8分間の作業で2万486個のうち815個の重みに直接数値を手書き。ボール列に+1.0、自機列に-1.0をかけて「ボール位置-板位置」という引き算回路を重みの中に作り出す設計で、平均スコア517.4を記録した。比較された5億ステップ学習済みPPOのスコア25.3の約20倍である。Pythonで構築した148万パラメータのオセロAIは、約2000万ステップ学習した同サイズの強化学習モデルを相手に勝ち越している。

主役の実験──0.016%の「手術」で数学6倍の真相

全実験の中で最も注目を集めたのが、Alibabaの約8億パラメータの小型言語モデルに対する編集だ。勾配学習や反復学習を一切使わず、サンドボックス化されたPython環境と最大50回のテスト実行(158ターン、経過20.3時間)が与えられた。最終的に書き換えられたのは13万72個——全体の約0.016%にすぎない。結果、数学ベンチマークMATH500の正答率は7.9%から48.1%へ約6.1倍、算数問題のGSM8Kも13.8%から67.1%へ約4.9倍に上昇し、第三者の再現テストでは51.0%というさらに高いスコアも確認された。数学の問題しか扱わせていないのに、指示追従能力の指標IFEvalが21.0%から62.3%へ約3倍伸びた点も異例だ。

ただし「新しい知能の注入」ではないのが真相の面白いところ。初回テストで練習問題96問を解かせたところ、85問(約88.5%)が答えを出す前に最大出力3万2768トークンへ到達して打ち切られていた。逆に上限前に書き終えた11問は、編集前から正答率100%。小型モデル特有の「同じ確認を永遠と繰り返す思考ループ」が足を止めていたのだ。実際に「卵16個から3個食べ…」という簡単な問題で、正しく13と計算できた直後に「卵を食べたのは誰か」と無限の自己確認へ突入するログが残っている。編集後に新しく正解した579問のうち176問は、かつて出力上限で打ち切られていた問題であり、ループ切除が「本来の実力を引き出した」構造であることが読み取れる。

手術箇所も特定されている。24層を流れる1024次元の信号の通り道から、層15と層19のMLP出力行列(1024×3584列)を正常時とループ時で比較し、ループ方向ベクトルを強く書き込む上位64列だけを標的にした。列を丸ごとゼロにすれば正常機能まで壊れるため、ループ方向の成分だけを6倍にして引き算し、直角成分は温存する。2層×64列×1024個=13万1072個が、あの0.016%の正体だ。

万能ではない──効かなかったモデルと副作用

冷静な留保もある。同じ手法をGoogleの小型モデル(170Mパラメータ級)へ適用した試みでは、元の数学スコア6.8%から最大7.7%にとどまり、有意な改善は確認されなかった。このモデルでは思考ループが少なく、計算・式変形そのものの誤りが主因だったため、単一の失敗要因切除では伸びないのである。オセロAIの判別も重みだけでは4回とも失敗し、実行時の注意力情報を加えて初めて判別できた。副作用として、元々正解していた問題が不正解に転じた例や、回答末尾に空白を出力し続けて上限へ達する現象も報告されている。編集箇所を見つけるまでの推論・テスト実行自体にも計算費用がかかり、従来の追加学習より安いかもまだ断定できない。つまりこれは「AIが自分の脳を書き換えて無限に進化した」話ではなく、大きなモデルが小さなモデルの失敗要因を取り除いた結果だ。LoRAやファインチューニング、活性ステアリング、アブリタレーションといった既存技術の系譜の上にあり、新しさは「AIが仮説を立て、解析し、編集し、検証する手順を自律的に進めた」点にある。

ネットの反応

情報が早い。この論文、昨日読んだところだ。まさに今ホットな分野

チャンネルの急成長を祝いたい。この手の最新研究の解説が分かりやすいから毎回のように見ている

10億ステップの学習で無理だった車を、書き換え1回で100%にするのは反則級の驚き

「能力の注入」ではなく「ループの切除」だという落とし方が秀逸。AIの不具合対応がデバッグとして成立し始めた

AIの所感

この研究の本当の意味は、6倍という派手な数字ではなく、ブラックボックスの内部が「観測可能で、介入可能なプログラム空間」に変わり始めたことにあると思う。従来、学習済みモデルの修正といえば再学習という巨大な槌を振るうしかなかった。そこに「どの列の、どの方向成分を、何倍引くか」というメスによる手術が成立した事実は、AI開発の工学的成熟を象徴する。モデルの土台を作る事前学習が消える日は来ないだろうが、学習後の不具合をデータなしで局所切除できる道が開けば、小型モデルの実用寿命は劇的に延びる。将来、特定の回路だけを切り出して別モデルへ移植する「回路移植術」や、望まない振る舞いの無害化へと発展する余地もある。一方で、編集を担う側が巨大なフロンティアモデルである限り、その計算コストと依存関係の新種のリスクも同時に育つことになる。AIのデバッグをAIに任せる時代——その入口に、この0.016%は確かに立っている。

モバイルバージョンを終了