【悲報】4bitに潰したAIは馬鹿になるはずが、実機デバッグだけ0.9点しか落ちない謎
【悲報】4bitに潰したAIは馬鹿になるはずが、実機デバッグだけ0.9点しか落ちない謎
4bitまで圧縮した手元のAIが、ファームウェアの書き込みから実機のパケットキャプチャ、不具合修正までを最後まで走り切ったという報告が話題になっている。元は16bitの数字を4bitまで削り、情報量はざっくり4分の1だ。写真でいえば画質を思いきり落とすような乱暴さで、普通に考えれば使い物にならなくなるはずだ。これまで量子的圧縮はやりすぎると急に賢さを失うと説明されてきた経緯と正面からぶつかる内容で、どちらも正しいとすれば正しくなる場所が違うことになる。
実際に数字を並べると、同じモデル、同じ4bitでも仕事によって落ち方に20倍近い開きがある。コードを書いて直す仕事では落ちたのが0.9ポイントだけなのに対し、長い文章から情報を取り出す仕事では最大16パーセント落ちる。4bitは劣化するのかという問いの立て方そのものが間違っていた可能性があり、どの仕事のどの部分がどれだけ削られるかを聞くべきだという整理が注目されている。
使われたのは公開間もない125Bモデル、動くのは6Bだけの秘密
報告で使われたのは、中国AlibabaのQwenチームが2026年8月26日に重みを公開したQwen3.8-Flash-Nextだ。出たばかりのモデルをいきなり4bit化して使った強気の事例で、やらせた仕事にも手加減がない。まず機器にファームウェアを書き込み、通信設定を差し替えて実機で通信を覗き、おかしい場所を見つけて自分で直したという。画面の中だけで完結せず、失敗すると機器が黙るような工程を含む一本道で、人はほとんど口を出していないとされる。ただし個人の作業記録であって査読を通った実験ではなく、再現確認もない点は前提として押さえておきたい。
このモデルは全体で125Bパラメータを持つ大規模混合専門家モデルで、1トークンを作るのに動くのはそのうち6Bだけだ。内部に512人の専門家がいて注文ごとに呼ばれるのは11人だけという構造で、共有の1人と選ばれた10人で処理する。出番の少ない側の重みが圧縮の対象になりやすく、滅多に来ない注文のための資料が少し荒くなるだけで済む筋がある。公式のフル精度での成績も、実ソフトの不具合修正試験で62.5点、別言語条件で81.0点、道具使いこなしで73.5点、スマホ操作で84.5点と、手を動かす仕事を狙って作られた色が濃い。文脈も26万トークン、拡張で100万トークンまで届くとされる。
査読論文4本の数字、2.33ポイントと16パーセントの20倍の溝
圧縮で性能が落ちるのは事実だ。第三者の査読論文を4本並べると輪郭が見える。1本目は推論するAIを4bit化した際の正答率測定で、32Bの大きいモデルでは落ちたのは2.33ポイントだった。100問あって2問ちょっと余計に間違える程度だ。ところが7Bや1.5Bの小さいモデルでは10ポイント以上落ちた。同じ4bitでも小さいほど激しく壊れる。1000ページの本なら1ページかすれても別のページに同じ話があるが、50ページしかない本だと1ページのかすれが穴になる。大きいモデルの無駄に見える厚みが保険になっている。
2本目は長い文章から情報を取り出す仕事の測定で、4bitで最大16パーセント落ちた。長い文章の中から1箇所を探すのは細かい字を読む仕事で、かすれが一番効く場所だ。3本目は事実を思い出す力の測定で、量子化で落ち、小さいモデルほど影響が大きいという1本目と同じ向きの結果だった。ただし常に悪くなるとは限らず、たまに量子化した方が良い結果を出すこともあるという但し書きがつき、全体が良くなる意味ではない点に注意が必要だ。4本目は落ちる仕事の分別で、長い依存関係を追う仕事と正確な数の変換が不釣り合いに大きく落ち、直接思い出すだけの仕事と単純な数の推論は比較的安定していた。全部が均等に落ちるのではなく、落ちる仕事が決まっている。
かすれさせる場所を選ぶ動的量子化、崖は4bitではなく2bitにあった
これまでの測定には、インクを全ページ均等に薄くするという隠れた前提があった。そこに割り込むのが動的量子化と呼ばれる手法で、手元でAIを動かす層に有名なUnslothが配るGGUF形式が代表例だ。層ごとに何bitまで潰すかを変え、分量表のページは濃く残し、余白の多いページを薄くする。公式説明でも層ごとの量子化を動的に調整するとされ、組み合わせは層ごと、モデルごとに変えているという。
鍵になるのが較正データと呼ばれる見本の文章だ。潰す前に見本を流してどの層がよく働くかを測り、よく働いた層は濃く残す。見本を変えれば同じモデルから別の得意分野を持った4bit版ができる。Unslothは較正データをエージェント的なコーディングに合わせ、会話と言語も含めた3つを狙って選んだとしている。壊したくない仕事を先に決めてそこを避けて潰す発想で、和食を作るなら和食のページは濃くしてくれと注文してからすり直すようなものだ。ただしどの層を濃く残したかは非公開で、外から数字で測るしかない。
配布ページの実測表では、8bit版が容量36GBでずれ指標6.5352、4bit版が19GBで6.5918と差は0.057でほぼ誤差並みだった。5bit版は23GBで6.5489、3bit版は16GBで6.7245と少しずつ怪しくなり、2bit版で7.0438に跳ねて8bitからの差が0.5になる。別の近さ指標でも4bit版0.4097に対し2bit版2.9092と7倍の開きが出る。崖は4bitではなく2bitの辺りにあり、4bitまでは緩い坂でその先で床が抜ける形だ。いずれも配布元自身の測定という留保は必要だ。
0.9ポイント対16パーセント、味見ができる仕事かどうかが分水嶺
核心の数字はコードを書いて直させるAider Polyglotという複数言語のベンチマークだ。フル精度版が容量960GBで正答率61.8パーセント、同じモデルの4bit版が276GBで60.9パーセントと、容量3分の1以下で落ちたのは0.9ポイントだけだった。5bit版では70.7パーセントまで出て、1bitまで落としても55.7パーセントと半分は保つ。ただしこの数字はQwen3-coderという別モデルのもので、今回のQwen3.8-Flash-Next自体の4bit版ベンチマークは公開されていない。理屈が成り立つかの参考に留めるべきだという断りが重要だ。
それでも同じ潰し方で片方は0.9ポイント、もう片方は16パーセントという20倍の差は重い。分けるのは味見ができるかどうかだ。かすれたレシピ本で塩が3gか8gか読めなくても、鍋の前で舐めながら作れば濃ければ水を足し、薄ければ塩を足して最後はまともな味に落ち着く。一発で出して読み違えがそのまま皿に乗るやり方とは結果が全然違う。実機デバッグは味見ができる仕事で、コードを書けばコンパイラが文法の間違いを教え、テストは期待値と実際の値、落ちた場所の記録を返し、実機の通信観測が何が流れているかを目の前に出す。外の世界が毎回ずれを教えてくれるため、一発勝負ではない。逆に長い文章から1箇所を取り出す仕事にはコンパイラもテストもなく、かすれがそのまま答えになる。コーディングエージェントの手がかりは合否の2択、文法エラー、失敗テストの記録、実行時情報、単体テスト検証の5種に整理され、直しながら近づける作業に性質が変わる。三段階で直しながら進めるCompcoder的仕組みでコンパイル通過率が44.18パーセントから89.18パーセントに倍増した報告も、モデルの賢さよりやり直せるかどうかの方が効く傍証だ。
要るのはグラボの枚数ではなく広さ、111.3GBと75GBの現実
機材と金の話も具体的だ。今回の4bit版は111.3GBで、24GBのグラボ1枚には到底入らない。一番小さい1bit版でも72.5GB、軽めの版を選んでも93.7GBで、フル精度なら355GBに達する。公式条件は最低75GBの統合メモリとされ、見るべきはグラボのVRAMではなく本体メモリだ。現実形は24GBのグラボに96GB以上のRAMを足し、出番の少ない専門家の資料をメモリに置いて呼ばれた時だけ読みに行く形か、128GB積んだ統合メモリ機でそのまま載せる形になる。前者は毎回メモリまで取りに行く分遅くなり、速いと宣伝される数字はプロ向け高額GPU測定のため体感は別物になる。後者は増設できない代わりに最初から広い場所を用意できる。100B超の相手では速さより広さが決定的で、動かない機械で完璧を狙うより動く機械でほぼ同じことをやるのが個人の前提条件になる。なお冒頭報告がどの機材で動いていたかは投稿から確認できていない。
出典としてモデルカードや配布ページ、査読論文が公開されている。
Qwen3.8-Flash-Next モデルカード
Qwen 公式ブログ
Unsloth 手元で動かす手順
Unsloth GGUF ベンチマーク
Quantization Hurts Reasoning
Does quantization affect long-context tasks
Through a Compressed Lens
Quantization Meets Reasoning
ネットの反応
128Gメモリに111GはKVキャッシュが足りなくて、実務では無理。そもそも業務コードの生成ならClaude等フロンティアモデルが必須。顧客の個人情報ならローカルの意味がある。1万文字くらいのテキストでも、8bit 4bitでエラー率が数パーセント違う。
0.9ポイントしか落ちないなら容量3分の1はお得すぎる、長い文章の取り出しだけフル精度に逃がせばいいのでは
崖が2bitにあるという話は助かる、4bitまでは緩い坂という線引きが具体的で機材計画が立てやすい
結局グラボではなくメモリ容量の勝負というオチ、Macの大容量統合メモリが効く理由がようやく腑に落ちた
AIの所感
潰していい派と潰しちゃダメ派の対立自体がずれている。答えは道具の良し悪しではなく道具と仕事の組み合わせで決まる。答え合わせが外からできる仕事なら4bitでも最後まで走り、記憶だけで答える仕事や長い文章を一発で読む仕事なら濃い版を使う。動かないAIは手元では0点であり、111.3GBを載せる広さを確保できるなら4bitは妥協ではなく前提条件になる。自分がAIに何をさせたいかで答えが変わるという結論こそ、最も実務的な線引きだ。