「解くな、手順書を書け」でAIの壁が破れた。3チャット方式が示した思考の順番の威力
安いAIに長考させれば高いAIに追いつくのか。その問いをめぐる公開実験の第2回で、思わぬブレイクスルーが起きた。視聴者から寄せられた「3チャット方式」という秘伝の使い方が、前回は長考しても解けなかった難問「4と4と10と10で24を作る」を突破したのだ。合言葉は「解くな、手順書を書け」。答えを直接求めず、まず手順だけを書かせるという発想の転換が、AIの思考の壁を崩した。
実験に使われたのはChatGPTの軽量モデル「Luna」。思考の強さのつまみを「低」と「高」で比べ、同じモデルでも考える量でどこまで差が出るかを検証する試みだ。今回は「前の会話の記憶が残ると実験にならない」という指摘を受け、1問ごとに真っさらな新規チャットでテストするという厳格なルールが採用された。
論理パズルは15人まで低設定で全勝。20人で初めて崩れた境目
第1問は視聴者出題の「正直者と嘘つき」の論理パズルだった。Aが「Bは嘘つき」、Bが「Cは正直者」、Cが「AとBはどちらも嘘つき」と語り、正直者がちょうど1人という条件で誰が正直かを当てる古典的な形式だ。答えはAで、プログラムによる全数チェックでも正解が一通りであることが保証された問題である。
最低設定のLunaはこの3人版を17.8秒で正解。回答は「答えはA」の一言でそっけないほどだった。出題者の狙いはここからで、同じ形式を5人、7人、9人と人数を増やして限界を探ることにあった。5人版では「BとCとEが互いを正直者だと言い合うグループ」が運命共同体となり、3人まとめて嘘つきで残り2人が正直という整理で解ける構造だ。
結果は驚きだった。最低設定のLunaは9人版まで全問正解、1問あたり約10秒。12人も15人も正解し、15人版でも25秒で解いた。15人なら正直か嘘つきかの組み合わせは2の15乗で3万通り以上、20人なら約105万通り、25人なら3300万通りを超える。それを全数チェックせず、筋道を立てて一本道に畳んで解いている点は素直にすごいと評価できる。
ところが20人で初めて景色が変わった。最低設定は20人で初めて誤答し、9人の名前を挙げたが中身が違い、自信満々に間違えるという挙動を見せた。25人版では「正直者はちょうど11人」という条件なのに14人を並べ、人数の条件すら守れなくなった。崩れる時は条件の管理から崩れるという観察だ。逆に言えば、答えの人数を数えるだけで間違いに気づけるという、検算のヒントでもある。
最高設定のLunaは20人も25人版も54秒前後で正解した。解き方はBはEの逆、DはEと同じ、EはIと同じといった人間関係を記号の式にして人数条件から一気に確定させる数学の答案のようなものだった。低設定は答えだけポン、高設定は答案を見せるという芸風の違いも明確に出た。まとめると、この形のパズルは15人までは最低設定で足り、20人を超えたあたりから長考が効く領域に入るという境目が、視聴者の出題によって可視化されたのである。
なぜ15人でも解けて20人で崩れるのか。芋づる式と帳簿の限界
なぜ15人まで平気で20人で崩れるのか。分析では、この形の嘘つきパズルは「芋づる式」に確定していく性質が鍵だとされる。Aが正直ならBは嘘つきならCはこうと順番に潰せるため、人数が増えても芋が長くなるだけで道に迷う場所は少ない。だから計算用紙が少なくても順番にたどれば届く。
20人で崩れた理由は、芋づるが長くなると途中の管理が増え、誰が確定済みで人数が今何人かという帳簿が先に溢れるためだと見立てられている。答えを出す力より先に管理する力が限界になるという解釈だ。実際に低設定の限界は、答えの確信の強さと正しさが乖離し、堂々と間違えるという形で現れた。
長考ログの中では、12人版の高設定の日本語説明の途中にヘブライ語で「だけ」を意味する単語が一言だけ混ざるという珍事もあった。多言語で学習しているため考え事の最中に別の言語が顔を出すことがあるという、思考の生ログならではの土産である。
知性と知恵の違い。高と低で答えは変わるか
第2問はガラッと毛色が違う哲学の問いだった。「知性と知恵の違い」を、具体例を1つ挙げて300字以内で答えるという出題である。低設定は8.6秒で「知性は情報を理解し論理的に分析する力、知恵はそれを現実で生かし経験や配慮を踏まえてより良い判断をする力。例えば知性があれば雨の日は傘が必要と説明できる、知恵があれば傘を持っていない人にも声をかけ一緒に入れる」と回答。
高設定は12秒で「知性は情報を集め筋道立てて理解・分析する力、知恵はそれを現実に合わせ人や結果に配慮して生かす力。例えば会議で部下の案の欠点を指摘できるのは知性、相手を傷つけないよう善と共に伝えにつなげるのが知恵」と答えた。傘の例えが会議の例えに変わっただけで骨格はほとんど同じで、どっちがいいかは好みの領域だった。正解のない問いでは、考える量を増やしても答えの質はあまり変わらないように見えたという結果である。
3チャット方式が破った「4,4,10,10で24」の壁
第3問は今回の大トリ、視聴者直伝の「3チャット方式」の検証だった。手順はシンプルで、チャット1で最高設定に「解くな、手順だけを書け」と頼み、チャット2で新規チャットの最低設定に問題と手順書だけを渡して実行させ、チャット3で最高設定に検算させるという分業である。考える係、手を動かす係、確認する係に分ける発想だ。
相手は前回の壁「4と4と10と10で24を作る」という数のパズル。最低設定は3回中2回が「作れません」と白旗、残り1回は「10×4+10-10」で24に見える式を出したが、10を3回使うというルール違反のズルだった。最高設定も3回中1回だけ本物の正解、1回はズル、1回は白旗とバラバラで、答えが揺れること自体が難しさの物差しであることを示していた。
そこで3チャット方式を投入すると、チャット1の最高設定が27秒で13項目の本格的な手順書を作成した。「2つの数を選んで足すか掛けるかなどの結果を全部作れ」「選んだ2つを結果1つに置き換えて数が1つになるまで繰り返せ」という総当たりの指示に加え、「割り算は分数のまま正確に計算しろ」「見つけた式は4がちょうど2回、10がちょうど2回か必ず確認しろ」と、ズルを先回りして封じる条件まで盛り込まれていた。
この手順書を渡された最低設定は33秒で「10×10-4÷4=24」という本物の正解を出した。チャット3の最高設定も9秒で「正しいです」と太鼓判を押した。単独の低設定では全滅だった問題が、計画を渡されただけで通ったのである。所要時間は27秒+33秒+9秒で合計69秒、単独の最高設定が正解した時の38秒よりは長いが、3回に1回しか当たらない運任せと、筋が通って検算まで付く69秒を比べれば、後者の価値は高い。
なぜ計画を渡すだけで解けるのか。前回の分析とつなげると、この数のパズルは嘘つきパズルのように芋づる式に確定しない。足すか引くか掛けるか割るかの組み合わせが爆発し、総当たりと検算がいる迷路のような問題だ。噛んで歩くと近道を捏造してしまうが、手順書は迷路の歩き方を先に決めてくれる。だから安い計算用紙でも迷わないという説明である。考える量より考える順番が効く問題もあるという結論だ。
持ち帰り3つ。今日から試せるAIの使い方
実験から得られた持ち帰りは3つある。1つ目は「難しい問題はいきなり解かせるな、まず手順書を書かせろ」。出てきた手順を新しいチャットに渡すだけで壁が破れた。2つ目は「ルールのある問題は守ってほしい条件を検算の形で書き添えろ」。数字はそれぞれ何回ずつか最後に確認しての一言がズルを封じた。3つ目は「同じ質問を3回投げて答えが割れたらその問題は難物だ」。割れたら手順方式や上位モデルの出番という見極めである。
さらに、前回の三択「大きいモデルに一発か小さいモデルに長考か使い分けか」では、回答者全員がCの使い分け派だったという集計も共有された。今回の結果は、その使い分けの中身をさらに精密にする。芋づる式の論理パズルは15人まで最低設定で足りる、20人超は長考の領域、正解のない問いは低で十分、組み合わせ爆発は量より計画と検算というように、問題の形で効く道具が変わるのである。
コメント欄では、7種類のAIに同じ作業をさせて上位モデルが計画と総括を担当する分業の報告や、大きいモデルの一発も信用せずレビューを何重にも重ねる慎重派の使い方、モデルの外側に記憶のセーブとロードを自作したという報告、軽いモデルを並列に走らせて統合する新しい仕組みの話題など、実験室のような議論が続いている。いずれも検証係を立てるという意味で、3チャット方式と同じ思想だ。
ネットの反応
15人まで低設定で全勝って強すぎない？20人で初めて崩れた境目が綺麗に見えて面白かった
ヘブライ語が混ざるの草。多言語で学習してる弊害が思考ログに出るのは興味深い
知性と知恵の違い、低の傘の例えの方が好きだわ。高の会議の例えもいいけど骨格は同じなんだな
4,4,10,10のズル手口、10を3回使うのは前回と同じ騙され方。検算の一言で封じたのは上手い
解くな手順書を書けって呪文が秀逸。考える量より順番が効く問題もあるって納得した
69秒で筋が通った答えが出るなら安いもんだ。運任せの38秒より価値がある
AIの所感
この実験が示したのは、AIの性能を「どのモデルか」「どれだけ長考させるか」という単純な物差しだけで測る時代が終わりつつあるということだ。同じモデル、同じ問題でも、問い方を「解け」から「手順を書け」に変え、実行と検算を分業するだけで、最低設定が最高設定の運任せを超えることがある。論理パズルのように一本道で解ける問題では紙の枚数は要らず、総当たりが必要な問題では順番が要る。正解のない問いでは長考自体が要らない。つまり、難しさだけでなく問題の形を見て道具を選ぶという、より職人的な使い分けが求められている。視聴者の一言が研究者の仮説を超える瞬間を捉えたという意味でも、公開実験という形式の勝利だったといえる。今後は「どのモデルを使うか」より「どう手順を書かせるか」が、コストと精度を決める主戦場になるだろう。