【悲報】32GBのグラボに載らない54GBのAIが0円で動く謎 8人で分けて持つTPUの衝撃と26万トークンの裏側
270億パラメータのAI「Qwen3.8-27B」は、そのまま持つと54GBある。個人が買える最上位のRTX 5090でも32GBなので、22GBはみ出して載らない。ところがKaggleが会員に無料で貸すTPU v5e-8なら、性能を削る量子化を一切かけずに丸ごと動いたという報告が出た。しかも毎秒130トークン、覚えられる長さは26万トークンで、かかるお金は0円だ。買っても足りないものが、なぜ0円で丸ごと載るのか。答えは「1人で持たずに8人で分けて持つから」だった。
54GBは270億×2バイト 削らずに持つと32GBは必ず溢れる
54GBという数字は公開仕様から計算で出る素直な答えだ。270億パラメータにbf16という細かさを掛ける。bf16は1パラメータあたり2バイトで持つ決まりで、削っていない証拠の言葉でもある。270億×2バイトで54GB。ここから量子化で細かさを荒くすれば容量は減るが、4ビットまでは踏ん張るものの3ビットの崖で急に賢さが落ちることが知られている。削れば載るが、中身が壊れては本末転倒というジレンマだ。
個人のグラボ1枚で持つ限り、このジレンマは解けない。32GBの手のひらに54GBのタンスを載せろと言われるのと同じで、物理的に溢れる。そこで登場するのがタンスを削るのではなく分解して8人で分けて持つという発想だ。AIの中身は巨大な数字の表で、表を縦に8つへ割って配れば誰も潰れずに運べる。削らないから組み直せば元の性能のまま残るという違いが決定的だ。
16GBが8枚で128GB 1枚あたり6.75GBで余裕の配置
無料で借りられるTPU v5e-8は、GoogleがAI計算専用に設計したチップで、16GBのメモリを持つチップが8枚束になって1台を成す。合計128GB。54GBを8等分すれば1枚あたり約6.75GBで、16GBの手のひらに半分以上を余らせて載る。ここで生まれた空きが、後半のもう一つの主役である記憶の置き場となる。
ただし分けて持てば必ずうまくいくわけではない。8人が離れた場所にいて声が届かなければ運べないのと同じで、チップ同士が高速で繋がっていないと成立しない。1つの計算ごとに8枚が結果を持ち寄り、足し合わせてまた配り直すという動きを毎回繰り返すため、チップ間の通り道が細いとそこで詰まる。バラバラのグラボを8枚並べるのとは違い、8枚で1台として設計されたTPUだからこそ、この分担が成り立つ。家庭でグラボ8枚を揃える電源や置き場所、接続のコストを考えれば、会員登録だけで借りられるという値打ちは際立つ。
26万トークンを覚えても溢れない 64層のうち48層は要点1枚だけ
もう一つの壁は、覚える側の容量だ。モデルの重みは54GBで固定だが、会話が伸びるほど増えるのがKVキャッシュと呼ばれる作業メモだ。読んだ内容を計算した途中結果を取っておくことで毎回の読み直しを省くが、文字数に比例して厚くなる。普通なら26万トークンで机が埋まってしまう。
このモデルは64層の積み重ねでできており、64人いるとすれば全員が詳細なメモを取る作りではない。きちんとメモを取るのは16層だけで、残る48層は要点を1枚に上書きし続ける線形注意という方式だ。履歴全部を残さず、その時点の要約だけを持ち続けるため、会話がどれだけ長くなっても持ち物は1枚のままで済む。4人に1人だけが詳細を取り、3人は要約で済ませるという設計で、荷物は約4分の1に圧縮される。
数字にすると1トークンあたり約64KB、これに26万2144トークンをかけると約17GBになる。重みの54GBと足しても71GBで、128GBの中に余裕を持って収まる。8人に分けたおかげで空いた場所にメモが入るという二つの仕掛けが噛み合って、26万という長さが実現している。もし64層全てが詳細メモを持つ作りなら、メモだけで70GB近くになり合計で128GBを使い切るという試算も、割合からの見積もりとして示されている。
この特殊なメモ取り方にTPU側の対応が入ったのは今年8月で、モデルが出てから半年遅れて環境が追いついたことで初めて成立した組み合わせでもある。報告された読み込みの速さは毎秒1万300トークンで、10万トークンの資料を約10秒、22万トークンでも約28秒で読み終えるとされる。画像も受け取れるが、初めて見る大きさは1分ほどかかり、2枚目からは一瞬という癖も報告されている。
毎秒130トークンの実用域と並列の強さ 外から叩ける窓口の巧さ
生成の速さは1人利用で毎秒130トークン、日本語なら1秒に80文字前後で、目で追うより速い水準だ。8人で同時に使えば合計毎秒540トークン、1人あたり約67トークンまで伸び、16人では投機的デコードという先読みの技を切った条件で合計毎秒900トークンに達するという。長い資料を読ませながら別窓で短い質問を投げても滞らない並列性も、実用の押しどころとなる。外部からはOpenAI互換とAnthropic互換の両方の窓口が用意され、接続先を書き換えるだけで既存の道具がそのまま刺さる作りも評価されている。
ただし並べた数字は全て作者ARahim3氏がGitHubで公開した「kaggle-tpu-lab」のREADMEとKaggleノートブックに基づく自己申告で、第三者が同条件で測り直した報告は現時点で見つかっていないという前提は押さえておきたい。
0円で差し出す6つのもの 起動22分、同時1つ、9時間と週20時間の天井
借りることの代償は正直に6つ挙げられている。第一に起動に約22分かかること。機能を絞れば12分、さらに切り詰めて6分まで縮められるが、手元の環境の即応性には遠く及ばない。第二に1アカウントで同時に1つしか動かせないこと。第三に1回あたり9時間で強制終了すること。第四に週あたり約20時間という上限があり、毎日3時間ほどで使い切る計算で常用には足りないこと。第五に同じ資料を2回投げると2回とも最初から読み直すこと。読み直しを使い回す仕組みがこの特殊なメモ方式と相性が悪く、安全のため現在は無効化されており、17GBのメモは会話が終わると捨てられる。しばらく放置すると初回が遅くなる癖も報告されている。第六に投機的デコードをTPUで使うと出力が壊れるため作者が独自パッチを当てており、検証は12問で一致を確認した段階で大規模な検証ではないこと。さらに外部に窓口を開ける以上は鍵をかける必要があり、無料枠自体が貸す側の都合でいつ縮むかわからないという借り物の本質も付記されている。
貸す側のKaggleは大会参加者向けに無料枠を提供しており、今回のTPUもその延長にある。今日の話は自分の機材を買わなくていい理由ではなく、買う前に削らない状態を0円で試せるようになったという話として受け取るのが正確だ。削って賢さが落ちたものを触る前に、削らない基準を一度知っておけば、自分の機材で量子化した時の差も正確に掴める。
これはローカルAIと呼べるのか 重みは自分のもの、電気と場所は借り物
最後に残る問いは、他人の計算機を借りて動かすことをローカルと呼べるのかという論点だ。呼べる側は、重みがApache-2.0で手元に落とせ、道具一式もMITライセンスで持ち帰れる点を根拠に、中身の主導権は自分にあると主張する。呼べない側は、電源を握られていること、9時間と週20時間の天井、通信が切れれば止まること、送った内容が向こうの機械を通る以上完全に閉じないことを根拠に、これはクラウドだと線を引く。どちらにも筋があり、言葉の線引きより何がどこまで自分のものかを見る方が実用的だ。重みは自分のもの、計算機は借り物という整理さえあれば十分というのが、最も穏当な落としどころとなる。
32GBのグラボに載らないものが、8人で分けて持てば載る。64人全員が詳細メモを取らず、1/4だけが取れば26万が収まる。便利さと引き換えに起動の22分と時間の天井、読み直しの手間を差し出す。削らない選択肢を0円で試せるようになったという一点で、この借り物のTPUは十分に価値がある。
ネットの反応
54GBが32GBに載らないのは当たり前だけど8分割で6.75GBは目から鱗。タンスの例えわかりやすい
26万トークンで17GBは軽いな。48層が要約だけって割り切りがすごい
起動22分は正直きつい。6分まで縮めても手元と比べたらまだ遅いのがネック
週20時間は趣味なら十分だけど仕事では使い切るな。9時間で切れるのも常用には向かない
同じ資料で毎回読み直しは痛い。10秒でも積もると効いてくる
重みは自分のものって整理は納得。ローカル論争は呼び方より中身で判断したい
AIの所感
この事例の価値は、容量と速度という混ざりやすい軸をきれいに分けて示した点にある。グラボ1枚で抱える限界を、8枚で1台という設計で物理的に超え、さらにメモの取り方を変えて長文の天井を押し上げた二段構えは見事だ。代償としての22分や週20時間は、無料枠としてはむしろ誠実な制約で、常用と試用の境界を明確にしてくれる。削らない状態を基準として一度触れておくことで、量子化の3ビットの崖がどこにあるかを自分の目で確かめられる。借り物のTPUは、買う前に賢さの物差しを手に入れるための最安の教室と言える。