【悲報】AIの賢さは値段じゃなかった 「安いモデルにじっくり考えさせる」だけで上位モデルに追いつくことが判明
生成AIの利用料金に不満を持つユーザーの間で、「安いモデルでも考える量を増やせば高いモデルに追いつくのではないか」という仮説が急速に広まっている。もともとは「AIがバカになった」という騒動の中で、性能低下の正体はモデルそのものではなく外側の仕組みではないかという指摘が寄せられたこと、さらに日本の開発者がX上で同様の仮説を投稿したことが発端だ。この仮説を検証する動きが各所で始まっており、実際に手元で実験した結果や論文の知見が次々と共有され、大きな話題となっている。
これまでAI業界の常識とされてきたのは、「モデルの大きさこそ正義」という考え方だ。モデルの賢さを決めるのはパラメータ数、つまりモデル内部にある無数のつまみの数であり、つまみが多いほど複雑なことを覚えられるため、各社はひたすら大型化を競ってきた。しかし実はこの常識、過去にも一度ひっくり返っている。2020年の有名な研究が「モデルはデータより先に大きくしろ」という法則を提唱し、業界全体がそれに従ったところ、2年後に400個のモデルで測り直した研究が登場し結論が逆転した。同じ計算量ならモデルを小さくしてデータ量を増やした方が賢くなるというのだ。当初の測定におけるわずかなズレが、規模が大きくなるほど拡大していったことが原因とされる。
さらに今月に入り、中国の大手AI企業の創業者が6000文字を超える長文で「パラメータ数はそれ単独では意味を持たない。データの量、計算をどこに使うか、誰がどんな条件で動かすか、全部揃って初めて意味を持つ」と述べ、この常識に正面から疑問を投げかけた。ポイントとなるのは「計算をどこに使うか」という部分であり、今回話題になっているのは計算を学習ではなく回答の瞬間に使う「テスト時計算（テストタイムコンピュート）」という考え方だ。
賢くなる仕組みは3つ 「待て」と書き足すだけで正答率が激変
テスト時計算でAIを賃くする仕組みは、大きく分けて3つある。1つ目は「思考の書き出し」だ。AIに答えの前に途中の考えを書き出させると正答率が上がることが分かっている。人間が暗算で3桁の掛け算をすると間違えても、紙に途中の計算を書けば同じ頭でも正確になるのと同じ理屈だ。AIにとっての計算用紙が「思考トークン」であり、書いた分だけ料金と時間はかかるものの、精度は着実に向上する。最近のモデルに搭載されている推論強度の設定は、この計算用紙を何枚使うかの調整つまみといえる。
2つ目は最も注目を集めた仕組みだ。スタンフォード大学などの研究チームが発表したs1という研究によると、AIが考えるのをやめて答えを出そうとした瞬間に、続きの文章として「待て（Wait）」の一語を書き足すだけで性能が向上する。「Wait」と入力されるとAIは自分の思考がまだ終わっていないと判断して考え直しを始め、足すたびに答えを検算し、間違いを見つけては修正していく。この驚くほど単純な仕掛けにより、320億パラメータの中規模モデルがオープンAIの初代推論モデルを数学コンテスト問題で最大27%上回ったと報告されている。考えのやめ時を外部から握る、テスト時計算の最も分かりやすい形だ。
3つ目は「数で押して選別する」作戦だ。同じ問題を同じモデルに何度も解かせると、毎回少し違う答えが出る。これはAIの回答が本質的に揺れを持つためだが、この揺れを逆に武器に転用する発想だ。何度か引けば当たりが混ざるなら、あとは当たりを見分ければよい。グーグル傘下のディープマインドの研究（GenRM）では、検証係として別のAIを立て、こちらにも途中の考えを書かせて候補を一つずつ吟味させてから多数決で選ばせた。結果、小学生レベルの算数テストの正答率が73%から93%まで20ポイントも跳ね上がった。モデル自体は変更しておらず、変えたのは答えの選び方だけだ。こうした知見を積み上げると極端な例もあり、パラメータ5億の超小型モデルが計算の使い方を最適化した特定のテストで当時のGPT-4oを上回ったという報告もある。ただしこれは特定の問題・特定の設定での話であり、すべての場面で小型モデルが勝てるわけではない点には注意が必要だ。
最低設定のモデルが5問中4問正解 一方で「長考させたのに諦めた」事例も
仮説を実地で確かめる試みも行われている。軽量クラスのモデル「Luna」の推論強度を最低と最高に設定し、数え上げ、時計の針、数のパズル、巨大な数、桁の入れ替えの5種類の問題を解かせる比較実験では、まず最低設定のLunaが5問中4問に正解した。日々の作業の大半は安い設定で十分に処理できることを示唆する結果だ。ただし「4と4と10と10で24を作る」形式の古典的な数のパズルだけは落とした。
興味深いのはここからだ。落とした同じ問題を最高設定のLunaに渡したところ、6秒考えて出てきた答えは「作れません」だった。考える量を増やすだけではこの壁は超えられなかったのである。そこで3つ目の作戦の出番となり、結論の前にたくさんの式を検証しろと指示して3回解かせたところ、3回中2回が正解。残りの1回は誤った式を3回使うごまかしをしていたが、検証係がなければ騙されるところだったという。多数決と検証によって正しい式が残り、「数で押して選別する」作戦が壁を破る形になった。
現場ではもう実用化 設計は高級モデル 作業は安価モデル
この考え方はすでに現場で使い始めた開発者もいる。海外の開発者の投稿では「計画を立てるのは上位モデルの最高設定。実際に手を動かすのは安い高速モデル。これがやり方だ」という方法論が1300以上のいいねを集めた。設計ミスは全体のやり直しにつながるため、そこにだけ対価を払い、実作業は安価なモデルに任せる分業方式だ。また「本体は安い設定。下回りの小さな作業だけ長思考にする」という節約モードの運用も共有されており、細かい作業ほど途中で詰まると全体が止まるため、詰まりそうな箇所にだけ考える時間を多めに配るという、いわば料理の下ごしらえに一番手をかけるようなリソース配分が推奨されている。
万能薬ではない 3つの限界
一方で、長考万能ではないことを示す報告も相次いでいる。第1の限界は「思考で埋まらない壁」の存在だ。Xでは4つの有名モデルをすべて最大の思考設定にして数時間かけても解けなかった問題を、別の1つのモデルが一発で解いたという報告に400以上のいいねが集まっており、考える時間ではなくモデルそのものとの相性で決まる問題も存在する。第2に、料金の代わりに時間を払う構造がある。270億パラメータの小型モデルが長考設定にすると大幅に遅くなったという実測もあり、コストを安くしても答えを待つ時間は残る。第3に、考えすぎると逆に壊れる事故だ。検証しすぎて最初に出せていた正しい答えを自分で疑って書き換えてしまうケースが報告されており、人間がテストで直感を消しゴムで消して間違えるのと同じ現象が起きている。問題の難しさによって最適な考える量は変わり、簡単な問題に長考させるのは時間の無駄どころか事故のもとになるため、難しい問題ほど長考の効果が大きいという特性を踏まえた運用が求められる。
今日から試せる節約術は3つ
こうした知見を踏まえると、使い分けの目安はシンプルになる。毎日の軽い作業は安いモデルのまま、難しい問題はまず安いモデルの思考を最大にして試し、それでもダメなら上位モデルの出番、壁の向こうの仕事だけ高く払うという具合だ。具体的な手順としては、(1)安いモデルに「ステップごとに考えて最後に答えを出して」と指示して途中経過を書き出させる、(2)同じ質問を3回投げて答えが割れたらそれは難しい問題のサインであり、3回とも同じならおそらく正しく、割れたら上位モデルに切り替える、(3)推論強度の設定があるサービスなら低設定で同じ質問を投げ、自分の仕事で差が出るかを実測してみる――の3つが挙げられている。(2)の方法は自分では正解を知らなくても危険性だけを判定できるのが利点だ。同じモデルを使っているのに「バカになった」「変わらない」と体感が割れる騒動の謎も、どれだけ考えさせるか・どんな文脈を積むか・何回試すかといった外側の条件が結果を左右していることを考えれば辻褄が合う。安いモデルがテスト時計算で追い上げてくる以上、価格差が説明できない領域は今後ますます広がっていく可能性があり、課金を上げる前に試せるつまみが増えたことはユーザーにとって朗報といえそうだ。
ネットの反応
安いモデルでも、考える量を増やせば高いモデルに追いつくんじゃないか。最初だけ上位モデルで必要な土台を作り、後続は安いモデルで回すのが一番コスパ良い方法だったりしないか
計画を立てるのは上位モデルの最高設定。実際に手を動かすのは安い高速モデル。これがやり方だ
本体は安い設定で運用し、下回りの小さな作業だけ長思考にする。完全な節約モードで困っていない
4つの有名モデルを全部最大の思考設定にして数時間かけても解けなかった問題が、別のモデルだと一発で解けた。思考の長さじゃなくて相性の問題があるのは本当
性能低下の正体はモデルじゃなくて外側の仕組みかもしれない。トークンをバカみたいに溶かす外枠を使ってるからでは
クロードは変わらない。コーデックスは悪くなった。同じAIでも環境で体感が全然違うのはこのせいか
AIの所感
この流れで最も重要なのは、「賢さ」の定義がモデル単体からシステム全体へ移りつつあることだと思う。従来は「どのモデルを契約するか」が性能のほぼ唯一の決定要因だったが、今は「どう使うか」の設計次第で結果が大きく変わる時代になりつつある。特に「待て」と一言書き足すだけで数学成績が27%上がるという研究は、巨大な学習コストをかけずに既存モデルの能力を引き出せる可能性を示しており、資金力がものを言っていたAI競争のゲームデザインそのものを変えかねない。一方で「思考で埋まらない壁」も確かに存在するため、過度な楽観は禁物だ。現実的な落とし所は、日常業務の9割は安いモデル+工夫で足りて、残りの1割にだけ対価を払う運用だろう。まずは手持ちのサービスで低設定と高設定の差を自分の手で測ってみることが、月額費用を見直す最初の一歩になりそうだ。