【驚愕】小説数冊読ませてもメモリ4.8GB増…48人の書記の働き方が賢すぎるワケ
【驚愕】小説数冊読ませてもメモリ4.8GB増…48人の書記の働き方が賢すぎるワケ
48人の書記が並んだ会議室を想像してほしい。全員が議事録係で、会議が長引けば紙が増える。当たり前の話だ。ところが125B級の大規模言語モデル「Qwen3.8-Flash-Next」に25万6000トークンという長編小説数冊分の文章を読ませた実測では、文脈を12万8000から25万6000へ倍にしてもメモリ使用量は69.5GBから74.3GBへ、たった4.8GBしか増えなかった。文章は倍なのに増分は動画1本分。常識が崩れる数字が残された。
測ったのは個人の実測ログで、2026年9月1日に公開された。機材はFramework Desktopという小型デスクトップで、AMDのRyzen AI MAX+ 395、統合メモリ128GBという構成だ。統合メモリとはCPUとGPUで1つのメモリを分け合う方式で、GPUが使える領域が大きく取れる。この形でなければ試せなかった話という前提がまず大きい。載せたモデルは量子化して88GBまで縮めた版だ。それでも相当な大きさだが、実際に使われたのは88GBではなく69.5GBだった。理由は後で回収する。
増えるのはノートだけ…KVキャッシュと48層の正体
文章を読ませると増えるのはKVキャッシュと呼ばれるメモだ。AIは1文字ずつ答えを作るたびに前全部を見直す必要があり、毎回読み返すと遅いため読んだ内容をメモに残す。そのメモが層の数だけ用意される。今回のモデルは48層で、普通なら48層全部がノートを太らせる。会議が倍なら48人分の紙が倍になる。それが常識だった。
数字の読み方にも注意が要る。69.5GBも74.3GBもプロセス全体のGTT使用量で、モデルの重みも計算用の領域も込めた総量だ。KVキャッシュ単体ではない。元のログ自身が内訳は出していないと断っている。GTTは統合メモリのうちGPUが使える領域のことで、厳密にはVRAMとも違う。そして測定は使う人が1人という設定だ。10人で同時に使えばノートも人数分要る。増えた4.8GBが文脈を倍にした分だという点までが確実で、内訳までは分からない。分からないことは分からないと言う誠実さが、残りの数字の信用を支えている。
36人はA4一枚に畳む…残る12人だけが全部を持つ
種明かしは層の内訳だ。48人のうち36人がノートの取り方を変えた。A4一枚にまとめる係になったのだ。新しい発言が来るたび手元の紙を書き換え、足すのではなく更新する。会議が1時間でも5時間でも紙は1枚のまま。この方式がGated DeltaNet、いわゆる線形注意で、履歴を固定サイズの状態へ畳み込む。差分だけ手を入れる含みが名前にも表れている。ただし前に書いたことは混ざって薄くなる。そこが後半の山場だ。
残る12人は今も全発言のノートを持ち続ける。伸びるノートを持つのは48人中12人だけで、4人に1人だ。SGLang側の解説でも48層のうち12層だけがKVを貯め、残る36層は固定サイズの状態を使うと明言されている。モデル側の公式資料にも4層の組を12回繰り返す構造で、1組がGDN3層とQSA1層、合計48層と書かれている。3対1の繰り返しが12セットで48という計算だ。なぜ3対1なのかという理由までは書かれていない。細部担当を減らせば軽くなるが取りこぼしが増え、増やせば安心だがメモリを食う。その釣り合いのいいところが3対1だったのだろうが、書いていないことは書いていないと区別する姿勢が貫かれている。
付箋は2051箇所だけ…薄いノートの三段構え
その12人も質問が来たときに全ページをめくるわけではない。あらかじめ付箋を貼り、その箇所だけを見に行く。この係がQSA、疎な注意という意味だ。公式資料の上限は512ブロックで2048トークン分。文章が25万でも100万でも変わらず、参照は最大でも2051箇所しかない。長くなっても見に行く量は増えない。
3つ目の仕掛けはノート自体の薄さだ。KVのヘッドが48層を通して2つだけで、さらにq8_0形式で圧縮されている。観点を絞り、観点数を減らし、圧縮する。三段構えが重なって倍でも5GBに収まった。最初から48人全員をA4一枚にすればいいかというとそうはいかない。まとめは流れを掴むのは得意だが、3ページ目の下から2行目に何があったかは答えられない。そこで12人だけ全部持ちを残した。流れは36人が、細部は12人が受け持つ混成、ハイブリッド設計だ。
88GBが69.5GBで動いた理由…51Bだけが廊下の棚へ
88GBのモデルが69.5GBで動いた理由もここにある。MoE構成で実際に動くのは6B相当だけという切り分けがあり、51B相当の表は廊下の棚へ置いたままという整理だ。起動時のコマンドまで公開され、文脈長やスレッド数が再現可能な形で出ている。別の人がWindowsで測った数字とも独立に一致し、25万台で74GBという報告が重なった。違う人が違う環境で同じになるなら信用できる。
後半の論点は36層が書き換えた情報は本当に戻ってこないのかという点だ。圧縮で十分とする側の3つの理由と、原理的に戻せないとする側の3つの言い分が数字ごと並べられ、結論は1つに決めない。実際に動かした人のカウンターだけを見るな、出力を読めという警告も本人の言葉のまま紹介される。切り分けとしては長い資料の要約や方針出しのような流れを掴む仕事には強く、何ページ目の何行目を正確に引く仕事は慎重にという整理だ。契約書の条項やコードの1行特定が後者になる。プレフィル7.6倍、デコード4.9倍はAlibaba自身の発表で第三者の追試は未確認、速度比較も同じStrix Halo系機材内の話という留保も付く。
ネットの反応
公開直後の技術解説ということもあり、コメント欄の反応はまだ集まっていない。実測ログやモデルカードへの関心が中心で、静かに検証を待つ層が多い。
AIの所感
紙を減らしたのではなく、増える係を減らした。この一言に集約される。36人をまとめ役に変え、12人に付箋を持たせ、ノートを薄くする。三段の工夫はどれも派手ではないが、重なると常識を壊す。ただし薄めた情報が戻るかどうかは未決着だ。流れに強いことと細部に正確なことは別物で、任せていい仕事と確かめるべき仕事を見分ける目が使う側に求められる。モデルを選ぶときはパラメータの大きさではなく、層の内訳と参照上限と測定条件を見る。その読み方が広まれば、手元の機械では動かなくても今日の話は効いてくる。