【悲報】動画生成AIを半分に軽くしても速くならない罠ｗ RTX3090は1割、RTX40番台は4倍に化ける量子化の正体がエグすぎた
【悲報】動画生成AIを半分に軽くしても速くならない罠ｗ RTX3090は1割、RTX40番台は4倍に化ける量子化の正体がエグすぎた
容量はきっちり半分になった。FLUXのモデルが23.8GBから11.9GBへ、VRAM使用量も24GB前後から12GB前後へ。グラボに乗らなかったモデルが乗るようになり、動かせなかった動画生成が動き出す。ここまでは量子化の手柄として誰も疑わない。だが問題はその先だ。「半分になったのだから速さも倍になるはずだ」と期待した途端、待ち時間はほとんど変わらない。5秒の動画に何十分もかかる現実は、軽くした後もそのまま残る。しかも同じファイルを入れたのに「速くなった」という人もいる。どちらも嘘ではない。この食い違いの正体は、AIが何で詰まっているかという一点に集約される。
文章を書くAIと動画を作るAIでは、詰まっている場所が違う。文章を書くAIは1トークン書くたびにモデルの数字を全部読み直す。100トークンなら100回、巨大な表を丸ごと運び直す作業だ。この間、計算する側は暇を持て余し、運搬がボトルネックになる。いわゆるメモリ律速の状態だ。バケツリレーで荷物を運ぶイメージで、バケツを半分にすればリレー全体が速くなる。実測でもMistral 7BをH100で測ったBasetenの例では、FP8化で33％高速化している。条件はバッチ32、入力80トークン・出力100トークンという具体的な設定で、この条件なら運ぶ量を減らすことがそのまま速さにつながる。
動画生成は計算待ち。半分にしても効かない理由
一方で動画や画像を作る拡散モデルは、ノイズだらけの砂嵐から少しずつ絵に整える作業を20回や30回と繰り返す。この1回をステップと呼ぶ。1ステップごとに画面全体を作り直す計算が走り、計算する側の手が完全に塞がる。詰まっているのは運搬ではなく計算だ。ここでは重みを8ビットに小さくしても、計算の直前に元の16ビットへ戻してから演算している限り、計算量自体は減らない。論文の一文にある通り「8ビットのファイルが計算の直前に元へ戻されている」という挙動が、多くの環境で起きている。
数字で見ると差は明確だ。ViDiT-Qの実測ではRTX 4080でのW8A8で1.47倍、別条件のRTX 3090での行列積は2.8から4.2倍速くなっても、全体では9から10％しか速くならない。Ideogram 4.0を768ピクセルで測った例でも同じ構図だ。原因はGGUFという容器の誤解にもある。GGUFは量子化の方式ではなくファイル形式だ。8ビットで保存されていても、実行時に何ビットで計算するかは別問題で、ハードウェアがネイティブに8ビット演算を扱えなければ、結局は展開してから16ビットで計算することになる。
分かれ目はグラボの世代。RTX 40番台から載った仕組み
同じファイルで結果が逆になる最大の分かれ目は、グラボの世代だ。NVIDIAのAda Lovelace以降、RTX 40番台からネイティブなINT8の計算パスが整備され、拡散モデルの行列積を8ビットのまま通せるようになった。RTX 30番台にはこの仕組みがなく、8ビットで読んでも直前で戻すしかない。
利用者が持ち寄った生成時間の例では、同じ拡散モデルでRTX 5090が5.46秒、RTX 4090が11.28秒、RTX 3090が26秒という差が出ている。ただしこれは条件を揃えた対照実験ではなく、素の演算性能の差も混ざっているため「FP8のおかげでこの差がついた」とは断定できない。それでも世代による挙動の違いは、論文の実測と一致する。RTX 3090で全部を8ビットにしても全体は1割程度、RTX 4080以上なら1.47倍という落差は、ハードウェア側が8ビットを本当に計算できるかどうかで決まる。
速くしたいなら触るべきは量子化ではない
では何をいじれば本当に速くなるのか。答えは量子化ではなく、ステップ数・解像度・フレーム数だ。拡散モデルはステップを積み重ねるほど計算が増えるため、ステップを削る効果が最も大きい。配布側のWan2.2-Lightningの例では、最適化により40分から50分かかっていた生成が1分から3分へ、約20倍の報告もある。ComfyUI Discussion 9002でも同様の声が寄せられている。
量子化で確実に得られるのは「乗るようになること」だ。24GBで溢れていたモデルが12GBで収まれば、買い替えずに試せる。これは大きな価値だ。だが待ち時間を削りたいなら、量子化に期待するよりも、ステップ数を20から10へ半分にする方がはるかに効く。解像度を768ピクセルから512ピクセルへ落とす、フレーム数を減らすといった判断も同じだ。世代が新しければ量子化の恩恵も少しはあるが、世代が古ければ恩恵はほぼ置き場所だけに留まる。
結論はシンプルだ。「買い替える派」か「削る派」か。RTX 40番台以降を持っているならFP8化で1割から4割の上乗せを狙える。RTX 3090以前で速さを求めるなら、量子化ではなくステップ数を削るのが最短距離だ。GGUFという容器を変えても、中で何ビットで計算しているかを見なければ、速さは変わらない。
ネットの反応
FLUXが23.8GBから11.9GBになって乗るようになったのは本当に助かった。でも速さは全然変わらんかったわ
文章AIは33パーセント速くなるのに、動画は計算待ちだから効かないって説明でやっと腑に落ちた
GGUFは方式じゃなくて容器って整理、目から鱗。そりゃ中身戻してたら速くならんわ
3090で全部8ビットにしても1.47倍どころか1割しか速くならんのは体験通り。40番台が羨ましい
ステップ数を半分にしたら40分が3分になった。量子化よりこっちが正解だった
AIの所感
この騒動が教えるのは、最適化の効果は「何で詰まっているか」で全く変わるという当たり前で見落としがちな事実だ。文章AIは運搬、動画AIは計算。同じ「量子化」という言葉でも、詰まっている場所が違えば効き目は別物になる。ハードウェアの世代差は、その効き目を可視化するリトマス紙だ。RTX 40番台以降が持つネイティブINT8は、ようやく動画生成でも量子化を速さに変換できる入り口を作ったが、根本的な解決はステップという構造そのものにある。軽くすることと速くすることは、同義ではない。速くしたいなら、まず何回繰り返しているかを数えることから始めるべきだ。