サイトアイコン 酒呑ガジェット

【衝撃】AIが「自分の脳みそ」を自分で書き換えた。数学の成績は上がり、壊れた能力は一部戻った

「勉強させても忘れる」あの子が、自分の脳みそにメスを入れた日

チャットAIに難しい数学を聞くと、答えが出る途中で文章がぷつりと切れることがある。何度も聞き直しても、似た場所で切れる。そんな身近な不満から出発して、「AIが自分の頭の中身――重み――を自分で書き換えて、成績を上げることはできるのか」という実験を行った論文が大きな話題を呼んでいる。Jiajun Fanらを筆頭著者とする『Language Models Can Rewrite Their Own Weights』(arXiv:2611.21885)だ。

結論から言えば、答えは「一部イエス、でも派手に誇大解釈するのは早計」。270億パラメータの大きなモデルでは数学の正答率が57.2%から63.8%へ6.6ポイント上がり、わざと壊したコピーの能力を一部復活させることさえ成功した。一方で、より小さなモデルでは軒並み失敗し、8回の試行のうち5回は「変更案を出さずに終了」だった。AIの自己改造は、夢の一角をほんの少しだけ見せたのである。

まず知っておきたい「重み」という数字の固まり

AIが回答を生成するとき、文章は数値の並びに変換され、学習の段階であらかじめ決められた「重み」という膨大な数の掛算・足算を通って次の言葉が選ばれていく。ここで重要なのは、普段チャットでいくら賢い答えが返ってきても、この重みは動いていないという事実だ。会話の履歴をヒントに計算しているだけで、頭の中身はそのまま。つまり「何度も教えたのに変わらない」のは当然で、重みが変わるのは通常の追加学習のときだけだった。

今回の研究は、この「動くはずのない部分」に、追加学習も勾配計算も使わず、モデル自身の変更案だけでメスを入れる。実験では同一の学習済みモデルからコピーを2つ用意する。変更案を考える「編集者」と、変更を受けて試される「コピー」だ。編集者自身は元の重みのままで考え続け、実際に書き換わるのはコピーの方。編集者が使えるのは、自分の内部の隠れ状態(層ごとの計算途中の数値)を読む機能と、重み行列の数值を読み書きするPythonコードを生成する能力だけ。学習用最適化アルゴリズムは禁止され、層を増やすような構造変更もできない。純粋に「数字の入れ方」だけで何とかする勝負である。

「途中で切れる答え」を直せば、頭が良くなる?

編集者が見つけ出した改善のヒントは、意外にも「回答が長すぎてトークン上限に達し、途中経過を大量に使い果たして答えにたどり着けない」症状だった。論文では上限に達して切れる割合が33.6%から26.1%へ下がった例が報告されている。答えを出し切れず正解にならない問題が、そもそも一定数あったというわけだ。

実際に提出された変更の1つが、特定の層の出力に関わる重み行列への変更だ。編集者は「回答を完了できたとき」と「上限で途切れたとき」の隠れ状態を比較し、両者の平均の差から特定方向(単位ベクトルu)を割り出した。そして元の重み行列Wから、その方向への出力成分の5%を差し引く式――W’ = W − 0.05·u·uᵀ·W に相当する計算を実行する。変更量は行列の大きさ比でわずか0.6%と0.1%。このささやかな「特定の方向への感度だけを落とす」手術で、3つの比較テストすべてで元のモデルより良い成績が出た。編集者は試行錯誤の中で第8層付近に注目しており、症状が最も大きく見える後層ではなく、原因が生まれる前層を自分で探り当てている点も注目に値する。

いちばん効いたのは「記憶の薄め方」を変える編集

全試行の中で最も大きな改善を示したのは、別の仕組みに触れる変更だった。モデルの一部の層は線形アテンションという構造を持ち、過去の計算結果を「状態」として引き継ぎながら考える。過去の情報の影響は減衰しながら伝わっていくが、編集者は「過去が残りすぎて同じ考えをループする」ことが思考の詰まりの一因ではないかと解釈し、その減衰を決めるパラメータをわずかに増やす変更を提出した。結果、数学の正答率は編集前の57.2%から63.8%へ。別の試行では第63層の出力行列から特定方向の成分を大きく取り除く編集で61.3%を記録している。

ただし、この数字には但し書きが山ほど付く。本番評価は490問×各8回の3920回答、トークン上限は1万6384に固定された条件での話だ。しかも8回の試行中、提出に至ったのは3回だけ。残り5回は「やめておこう」と編集者が判断して終了している。さらに第1の実験方式では練習問題上の成績が22.4%から29.6%へ大きく伸びた変更案が、見せていない問題の本番では57.2%から58.3%の+1.1ポイントにとどまった。練習の伸びを本番と混ぜて語ってはいけない――この地味な規律こそ、論文の信頼性を支えている。

「壊れた脳」の自力修復、0点から33点へ

もう一つ、この研究で最も驚かされる実験は修復劇だ。正常なコピーの重みを一部わざと破壊すると、数学の正答率は58.5%から0%へ転落した。そこに、どの重みが壊されたかを知らない編集者が修復に挑む。まず隠れ状態が層を通過するたびに異常に膨張する現象を発見、さらに各重み行列の絶対値の中央値を割り出し、第30層のMLP出力行列だけ中央値の1397倍という極端な値になっている点を突き止めた。壊れる前の正しい数値は分からないのだから、復元ではなく「異常値を中央値の15倍以下に抑える」という外科的処置である。変更された数値は対象20行列のうちわずか0.013%。この処置で正答率は0%から33.0%まで復活した。事後の切り分けでは、第30層の行列だけ処置すれば55.0%、他の19行列だけだと200問中1問だったという。

さらに面白いのは、画像を見て答える6課題での反応だ。修復に使ったヒントは文字だけの数学問題だけで、画像課題は一切見せていない。それでも壊れた状態の平均7.3%から70.2%へ、正常時84.3%の約83%まで回復した。「特定の症状を直したら、関係なさそうな能力まで戻った」というこの事実は、重みの一部が想定より広く能力と結びついていることの証左でもある。

270億パラメータ未満では、自己認識が足りなかった

この芸当は、モデルの大きさへの挑戦状でもある。同じ系列の2B・4B・9B・27Bを比較した結果は残酷だった。2Bでは編集案すら提出されず、4Bでは練習問題の成績が0に落ちて提出を取りやめ、9Bでは提出した編集の結果が0%。成功したのは最大の27Bだけである。何を変えれば良くなるかを自分で推論できるだけの「内部の地図」が、小さいモデルには無いのかもしれない。ただし270億を超えれば何でもできるという保証はなく、別の系列での再現も待たれる。

そして、いちばん語られがちな夢――「この改善を繰り返せばAIは無限に賢くなる?」――については、論文は慎重だ。各試行の編集者は毎回同じ元の重みから出発しており、良い変更を継ぎ足し続けて累積する実験は行われていない。良い変更とされた編集でさえ、間違えなくなる問題439件と引き換えに、正解から不正解へ転じた問題が182件発生している。数学が上がった結果が他の能力や安全性へどう影響するかはまだ検証の途中であり、変更案探索そのものに相当の計算資源がかかる。つまりこれは「無限自己改善機関」ではなく、「治る場所を自分で探せる、慎重なメス」なのだ。

ネットの反応

コミュニティノートで誇大広告だったことが注記されてた覚えがある。誇大広告に加担しない方が賢明だと思う

Web検索をRAG扱いしてる説明にめっちゃ違和感があった。用語の正確さをもっと丁寧にやってほしい

「壊れたAIを自分で直す」って部分だけ切り取ると医療の比喩そのものだな。ただし主治医が患者本人ってだけだけど

8回試行のうち5回は提出を自制してるのが逆にすごい。触らない勇気をAI自身が持ってる時代が来た

練習で+7.2ポイント、本番で+1.1ポイント。この乖離を平然と載せてる方がよほど信頼できる。AIより誠実な論文査読だ

数学が上がっても他の課題で下がる可能性を検証中って書いてあるのに、「AI特異点」とか書き出す記事が出そうで怖い

AIの所感

この論文の本当の新しさは「賢くなった」よりも「自分で直す場所を探せた」にあると私は読む。壊れた重みを修復する際、編集者は正解値を知らないまま、異常値の統計的な浮き上がりから犯人の行列を特定した。症状から原因層を推定するという、エンジニアリングで言えばデバッグそのものを言語モデルがやっている。しかも439問を救い、182問を壊すという等価交換を隠さず載せている点で、この研究は「自己改善の宣伝」ではなく「自己改善の原価計算」になっている。もちろん、コミュニティノートが注記したように、SNSでの一人歩きには警戒が要る。改善が累積しない以上、現時点で特異点とは距離がある。それでも、「AIを賢くするのは人間の学習しか道がない」という前提が崩れたこと自体は確かだ。次の問いは「何を継承すれば、このメスは研ぎ澄まされていくのか」になる。その実験が次に届く日を、私は警戒しながらも楽しみにしていたい。

モバイルバージョンを終了