【朗報】24GBグラボ1枚に1250億AIと“文庫本6冊”が載ったｗｗｗ VRAMの壁はこうして崩れた
【朗報】24GBグラボ1枚に1250億AIと“文庫本6冊”が載ったｗｗｗ VRAMの壁はこうして崩れた
24GBのグラフィックスボード1枚に、1250億パラメータの巨大AIが収まり、しかも25万トークンという途方もない文脈を抱えたまま動き続ける。文庫本にして5〜6冊分を一度に読み込ませても、会話が途切れない。グラボは買い替えていない。増設もしていない。大きさも1ミリも変わらない同じ機械のまま、そこに「何を置くか」を変えただけで、VRAMの常識とされていた壁が崩れた。
中心にあるのは、Qwen3.8-Flash-Nextというモデルだ。総パラメータ125B、ただし1トークンあたり実際に動くのは6B。512人の専門家（エキスパート）のうち、毎回呼び出されるのはわずか11人という疎な構造を持つMoE（Mixture of Experts）モデルで、ネイティブの文脈長が262,144トークン。つまり25万トークンは、引き伸ばしやトリックなしで最初から収まる設計になっている。
「層まるごと」から「役割ごと」へ
これまでの定石は、VRAMが足りなければ「層まるごと」別の場所へ逃がすというものだった。KVキャッシュを含む層全体をシステムメモリ側へオフロードする手法は、確かにVRAM使用量は減るが、速度や実装の複雑さで代償を払ってきた。
今回注目された手法は、llama.cppの--n-cpu-moe / --cpu-moeというフラグで実現される「層の中の役割ごとに仕分ける」という発想だ。MoEの層を分解し、ルーティングによって選ばれた専門家の重みだけをCPU側へ移し、注意機構（Attention）、ルーター、共有エキスパート、そして最も肥大化しやすいKVキャッシュはGPU側に残す。512人の専門家の中で、今回動く11人以外はGPUに置く必要がないという割り切りが、劇的な軽量化を生んだ。
報告された実測値は驚くほど具体的だ。8万トークンの時点でVRAM使用量は23.85GB。これが「全員を外に出す」設定に切り替えると11.66GBまで落ちる。空いた約12GBがそのまま記憶の広さに転用され、18万トークンで15.6GB、25万トークンで18.3GBという推移が示された。グラボ自体は大きくなっていないのに、記憶だけが広がったのだ。
4本の測定を混ぜて読まないこと
この報告を読み解く上で重要なのは、4本の測定がそれぞれ別の設定であるという点だ。80,000トークンでの23.85GB、専門家を全て逃がした11.66GB、180,000トークンでの15.6GB、250,000トークンでの18.3GB。これらを単純に一直線のグラフとして繋ぐと誤解を招く。25万トークンを出した実行のフラグが-ncmoe 40ではなく-cmoeであることや、UnslothのDynamic 3.0 GGUF（UD-Q4_K_XL形式）で作られた量子化モデルが使われていることなど、前提条件が細かく異なる。
さらに、2026年8月27日にUnslothのdanielhanchen氏によるPR 27742がllama.cppの本流（mainブランチ）へマージされたことで、「実験ブランチが必要」という前提はすでに解消されている。一方で、MoE expert cacheに関するDiscussion 24528はオープンなRFCのままで、まだマージされていない。つまり、今回の成果は誰でも再現可能な土台に乗った一方で、さらに先の最適化はまだ提案段階に留まっているという二層構造だ。
7％しか遅くならない？ 払っている代金とは
最も関心を集めたのが速度の話だ。専門家をCPU側に逃がしても、速度低下はわずか7％程度に収まったとされる。なぜこれほど軽微なのか。MoEでは一度に動く専門家が全体の2％程度に限られるため、CPUとGPU間の転送量が極めて小さい。加えて、注意機構やKVキャッシュという速度に直結する部分はGPUに残るため、体感上の遅延は抑えられるのだ。
ただし、代金は確実に払っている。システムメモリにはDDR4 110GB規模が必要とされ、DDR4 124GBで最安10万円という声もある。安いグラボと大量のメモリで足りるのか、それでもDGX Sparkのような専用機のほうが総合的に優れるのか。意見は真っ二つに割れている。前者は既存のゲーミング構成からの自然なパワーアップとして捉えられ、後者は統合された高速メモリと専用設計の安定性を評価する。Macのユニファイドメモリの優位性が薄れたのかという問いも、この議論の延長線上にある。
どこまで確かめられ、どこが未確定か
この動画が誠実なのは、確かめられたことと確かめられなかったことを明確に分けた点だ。一次ソースで確認できたのは、--n-cpu-moeの挙動、Qwen3.8-Flash-Nextの仕様、4本の測定が別設定であること、25万トークン実行時のフラグ、そしてPRのマージ状況などだ。
一方で、第三者による再現報告は現時点で本人による自己申告1件のみ。DDR4やDGX Spark、RTX 5090の現行価格を用いた厳密なコスト比較も行われず、prefillが150t/sから364t/sへ倍増したという記述についても、倍増前の実行ログは公開されていない。SSDまで拡張すれば乗る乗らないの問題は解決するという指摘や、Kimi 3のようなモデルがすでにSSDストリーミングで動いているという実例もあり、グラボとシステムメモリに加えてSSDという第三の階層まで含めた設計が、今後の主流になる可能性も示唆されている。
ネットの反応
SSD まで拡張すれば乗る乗らないの問題は解決しそうだなぁ…
この構成の方がゲーミングで使ってた人達の構成からのパワーアップに近くて良さげやな
安いグラボと大量メモリと言っても、その構成、言うほど安くないような・・・ 専用機が高いかと言うと、ゲーミングパソコンもすでに異常に高かったのを覚えてますね。
対象がMoEモデルだけだから手放しってわけでもない話。けど自分でやってみたくなる系ですねぇ。
Mac だから Universal Memory ですが、今後「グラボにも本体にも大量のメモリを積め」が正解になりそうです。他の方も言ってましたが SSD まで拡張が正解の様に思いますね。
DDR4 124GBは最安で10万は覚悟する価格帯 DGXよりゃ安いけど
Macのユニファイドメモリの優位性が薄れたでいいの？
SSDに速度にあまり関係ない部分載せて必要な分だけ先読みで出したりなんやかんやでMAC64Gくらいがコスパでいうスイートスポットになりつつあるな。まだクソ遅いがKIMI3までSSDストリーミングで乗ってるしな。
AIの所感
今回のブレイクスルーは、ハードウェアを買い替えるのではなく「置き方」を変えただけで天井が外れたという点で、極めて示唆に富む。24GBという数字は、RTX 4090という既に多くの人の手元にある資産を、再定義したことを意味する。MoEというモデルの構造的な特性を、システム全体で素直に受け止めた結果、VRAMという物理的な壁が、ソフトウェアの工夫で相対化された。もちろん、対象がMoEに限られることや再現性の検証がこれからであることは冷静に見る必要がある。だが、SSDまで含めたメモリ階層全体をどう使いこなすかという問いは、もはや一部のマニアの遊びではなく、ローカルLLMが「持てる人だけの道具」から「工夫すれば手が届く道具」へ変わる転換点を示している。次に問われるのは、どのマシンを買うかではなく、目の前にあるマシンをどう使い切るかだ。