【衝撃】AIを3役に分けたら研究1.6倍・コード0.94倍…一人三役劇団の敗北が教える適材適所
一体のAIに実行役と採点役と段取り役の三役をやらせて、自分の成功例で自分を鍛え直す。そんな再帰的な鍛え直しの手法が報告され、研究系の試験では1トークンあたりの取れ高が元の1.2倍から1.6倍に伸びたという。一方で、同じ表には元のモデルに負けた数字も並ぶ。端末操作の試験で0.96倍、実務的な不良修正の試験で0.94倍だ。著者自身が転移はまだ不均一だと記す通り、伸びた土俵と落ちた土俵がきれいに割れている。なぜそうなるのか。使う側はどこで真似てどこで止めるべきか。両方の数字から解いていく。
手法を出したのはSakana AIと米大学の研究チームで、10月8日にMASSとして発表されたとされる。使うのはQwen3.6の27B級が一体で三役を担う構成だ。内側のループと外側のループを2周回して勝率69.9パーセントといった数字も示される。教え込む量は31パーセント少ないとされ、少ない稽古で取れ高を上げた点が注目されている。ただし、報告は研究チーム自身のもので、第三者の独立した追試は見つかっていない。論文は査読前のプレプリントで、指標の正確な計算式も発表文には書かれていない。確実に書かれているのは元のモデルを1とした時の比という点だけだという留保付きで見る必要がある。学習済みの重みは公開されておらず、家庭の1枚では足りない構成とされる。台数も断定されていない。
一人三役の劇団に例えられるのは、なぜ分ける必要があるのかという問いへの答えだ。人が採点できない仕事があるからである。正解が一つに決まらない研究系の仕事では、人の採点が追いつかない。そこで実行して、採点して、段取りを組み直す役を分け、回しながら鍛える。実行役は何かを作り、採点役は良し悪しを付け、段取り役は次の一手を決める。分けることで、自分の成功例を教師にできる。
1.6倍とは何の1.6倍か、効く土俵の正体
1.6倍とは使う時の料金が安くなる話ではなく、教え込む量が少ない中での取れ高の比だとされる。研究の土俵で伸びた理由は、答えが一つに決まらない仕事だからだと読み解かれている。良い悪いを一つに決めない探索では、審査員の目が効く。複数の案を出して、付けた点で次を決める回し方が、広い探索に向く。稽古の量が少なくても、当たりの種を拾いやすくなる。
今日から真似できる使い方として示されるのは、点を付けさせない工夫である。計画を立てさせて、分けて実行させて、最後にまとめる型は本当に精度が上がるのかという問いへの答えは、土俵次第だというものになる。答えが割れる仕事では分けると強く、白黒つく仕事では分ける意味が薄い。高いAIに一発でやらせるのと、設計書を書かせてから実装させるのはどちらが良いのかという問いも同じで、設計の余地が大きい仕事では設計書が効き、決め切れる仕事では一発が速い。
落ちた2つの試験、審査員とストップウォッチの違い
落ちた2つの試験の読みどころは、審査員と計測器の違いにあるとされる。実務的な不良修正や端末操作の試験は、白黒が付きやすく、時間や成否で測れる。そこでは審査員を置く意味が薄く、回すほど遅くなる。審査員を置く暇があったら手を動かした方が速いという話だ。鍛える向きが偏るという読み方は著者の説明ではなく、数字の並びからの読みだと明示されている点も誠実だ。転移はまだ不均一だという一文だけが著者の言葉で、後は読み手の筋立てである。
コーディング用の環境で鍛えたのに落ちたというねじれも示唆的だ。環境を寄せても、鍛え方が探索寄りなら、白黒の土俵では刺さらない。良い悪いを一つに決めない鍛え方は、決める仕事では鈍る。効く土俵と効かない土俵の見極めが、使う側の腕になる。
ネットの反応
内容は良いのに途中からのBGMが残念
AIの所感
分けることの功罪がきれいに出たと感じる。答えの割れる仕事では三役が効き、答えの決まる仕事では一役が速い。万能の型ではなく、適材適所の型なのだと思う。使う側の問いも同じで、一発で頼むか、設計書を挟むかは、仕事の決まり具合で選べばいい。伸びた数字だけ持っていかず、落ちた数字も一緒に持っていく。その両持ちが、賢い付き合い方なのだろう。