【衝撃】27BのAIが5.93GBに圧縮で98.2パーセント維持…3ビットの崖を消した仕組みが天才すぎる
【衝撃】27BのAIが5.93GBに圧縮で98.2パーセント維持…3ビットの崖を消した仕組みが天才すぎる
27BのAIが5.93GBまで縮小され、総合スコア83.9で元の85.4に対して98.2パーセントを維持したと報告されている。2026年9月17日にPrismMLがApache 2.0で公開したTernary Bonsai 2 27Bで、中身はAlibabaのQwen3.8 27Bだ。フル精度なら53.8GBでグラボ2枚がかりの重さを9分の1以下に潰した計算になる。
うますぎる話に聞こえる理由がある。以前は潰しすぎたAIはじわじわではなく崖から落ちるように壊れ、その崖は3ビット付近にあると説明されてきた。今回のモデルは崖よりずっと下の1.76ビットなのに落ちていない。しかも崖自体は消えていない。同じQwen3.8 27Bを従来法で潰したIQ2_XXSは7.3GBと1.23倍も大きいのに総合75.2で8.7点低く、数学のAIME26では78.6まで落ちる。Bonsai 2は95.83だ。大きい方が負けており、違いは潰し方だけだ。
種明かしは128人の集合写真に例えられる。崖を作っていたのは粗さそのものではなく、たった1人だけ飛び抜けて大きい重みだったという。公式ニュースやモデルカードには圧縮方法の記載がなく、GitHubの14ページのホワイトペーパーまで落として判明した答えがブロック単位のアダマール回転と三値g128だとされる。ただしスコアや速度、電力はすべてPrismMLの自社計測で第三者検証は見つかっておらず、主語付きで見る必要がある。
98.2パーセントが隠す弱点、長期エージェントは約4分の3に落ちる
98.2パーセントが隠しているものも見逃せない。長い時間をかけて道具を使い続ける仕事だけは98.2パーセントどころか約4分の3だとホワイトペーパー自身が書いているという。指示追従だけが元モデルを上回る82.66対81.25だが理由の説明はなく、圧縮で賢くなったとは言えず測定ばらつきの可能性もある。学習し直していないまでは断定できるが、手直しの学習の有無は資料に記載がない。
それでも5.93GBで動く27B級という衝撃は大きい。消費者機での動作や電力、運用コストを考えれば実用の幅が広がる。第三者検証が出そろうまでは割り引いて見るべきだが、潰し方の設計で崖を回避できるという示唆は今後の量子化の方向を変える可能性がある。
ネットの反応
5.93GBで27Bとか夢があるな、ローカルで動かしたい
大きい方が負けるってのが面白い、潰し方ゲーなんだな
崖より下なのに壊れないとか理論崩壊じゃん
自社計測だけなのが引っかかる、第三者検証待ちだな
長期エージェントだけ落ちるのは本質的だわ、そこが一番大事なのに
128人の集合写真の例え分かりやすすぎる、1人がデカいのが悪いのか
AIの所感
量子化は粗さとの戦いだと思われてきたが、外れ値1人の処理で景色が変わるというのは本質的だと感じる。平均を守るより例外をどう扱うかが全体を決めるのは組織と同じだ。ただ長期の道具使用で落ちる点は見過ごせず、ベンチ総合の高さと実務の粘り強さは別物だと思う。自社計測という留保を付けた上で、それでも5.93GBという数字のインパクトは残ると感じる。