【衝撃】224分の1の細い線で繋いだRTX 5090が速度を落とさない謎 ストローで水道管を繋いでも詰まらない衝撃のからくり
【衝撃】224分の1の細い線で繋いだRTX 5090が速度を落とさない謎 ストローで水道管を繋いでも詰まらない衝撃のからくり
パソコンの外に置いたグラフィックボードは遅くなる。長い間、それが常識だった。ところが、その外に出す線はグラボが自分の中で使う道に比べて224分の1の細さしかないのに、速度はほとんど落ちないという報告が現れ、コミュニティに衝撃が走っている。ストローで水道管を繋いだようなものなのに、なぜ詰まらないのか。メーカー公表の数字と割り算だけで、そのからくりが解き明かされている。
報告されたのは、ノートパソコンの横の専用穴から1本の線を引き出し、電源とRTX 5090を積んだ箱を外付けする構成で、12万8000トークンという1冊分を超える長文を読ませた上で毎秒202トークンという速度が出たという内容だ。机の中に直接挿したグラボと体感で区別がつかない速さだという。ただし、この報告については注意が必要で、推論エンジンを作った本人が公開している資料には外付けかどうかが一言も書かれておらず、まとめて紹介した投稿側の記述に由来する可能性がある。今回の検証では、この報告を外付けの実測だと断定せず、分からないことは分からないという姿勢を貫いた上で、公表されている規格の数字だけで仕組みの可否を検証している。
内側1792GB、外側8GB その差224倍の正体
まず224倍という数字の出所だ。RTX 5090は32GBのGDDR7メモリを搭載し、データの通り道の幅は512ビット。この幅とメモリ速度を掛け合わせると毎秒1792GBになる。これはグラボが自分のメモリとやり取りする時の速さで、箱の中だけで完結する内側の道の太さにあたる。
一方、外付けで増える外側の道は、OCuLinkという規格で中身はPCI Express 4レーン分、速さは毎秒64ギガビット、バイトに直すと毎秒8GBだ。1792を8で割るとちょうど224倍。内側が224本分の太さに対し、外側は1本分しかない計算になる。符号のやり取りによるロスを考慮すると実質7.88GB程度だが、200倍を超えるという事実に変わりはない。
さらに細い線で外付けする方法としてThunderboltやUSB4を使うやり方は毎秒4GB弱、逆に8レーン分使えば毎秒15GB台になるが、そこまで太くする意味があるかどうかは後段の仕組み次第だという。ちなみにRTX 5090は希望小売価格1999ドル、日本で30万円前後で売られており、本体より高いグラボを外にぶら下げるという値段の釣り合いの悪さは、今回の検証でも最初に認められている。外付け用の箱自体は249ドルから購入できる。
重みは線を通らない 線を通るのは注文票だけ
なぜこの細さで詰まらないのか。鍵は「工場」の例えにある。グラボを1つの工場、AIの中身である「重み」を工場に据え付けられた大きな設備と考える。今回使われた270億規模のモデルは、4ビット量子化という工夫で1つの数値を4ビットまで削って並べることで、13.5GBに収まっている。この設備は一度グラボのメモリに乗せたら、ずっとそこに留まり、動かす必要がない。
一方、細い線を通るのは「注文票」だ。ユーザーが打ち込んだ文章がそれにあたり、データの重さは高々数キロバイトしかない。設備が13.5GBなのに対し、線を通るのは数キロバイト、桁にして100万分の1の差だ。ある資料も「重みが全てVRAMに載れば、一度にグラボが読むのは自分のメモリからで、線を通るのはわずか数キロバイト」と明確に記している。1つ前の世代のグラボでも、外の線の速さはグラボ自身のメモリ速さの0.4％しかないが、重いものが線を通らないから困らないという理屈だ。実際、ゲームで測っても直接挿した場合との差は5〜10％で済むという。
長い間「外付けは遅い」と言われてきたのは、外付けがゲーム用の話だったからだ。ゲームは毎秒何十回も画面を作り直し、その度に大量のデータが往復する。注文票ではなく荷物そのものが行き来する状態であり、線の太さがそのまま効く。だがAIを動かす仕事は、重みを向こう側に据え付けた後は外の線がほとんど暇になるため、性質が全く異なる。同じ外付けでも、何をやらせるかで結論が変わるのだ。
133トークン対0.6トークン 割り算で出した答え
この仕組みを数字で検証したのが、重み13.5GBを読み出す時間の計算だ。AIが1トークンを作るには、この重みを頭から最後まで1回読む必要がある。工場の中のベルトコンベアで読む場合、13.5GBを毎秒1792GBで割ると7.5ミリ秒、1秒あたり約133トークンが理論上の上限となる。
一方、全く同じ重みを外の細い線で運んだ場合、13.5GBを毎秒8GBで割ると1.69秒、1秒あたり約0.6トークンだ。133と0.6、その差は約226倍で、先ほどの224倍とほぼ同じになる。重みが線を通るかどうかだけで決まり、細い線が悪いのではなく、細い線に重いものを通すのが悪いということが、割り算だけで明確になる。
報告の毎秒202トークンについては、133という上限を超えている点も検証された。抜け道となるのが「投機的デコード」という方法で、1回の読み込みで複数トークンを先読みし、当たっていればまとめて確定させる仕組みだ。今回は3トークン先まで当てに行く設定が使われており、うまく当たれば理論上4倍近くまで伸びる。公開されている測定では素の状態で毎秒52.9トークンが出ており、4倍すると211と202に近い数字になるため、桁としては無理がない。ただし、計算が合うことと外付けで測れたことの証明は全く別の話であり、作者自身も「選ばれるトークンを変えることがあるため、同じ仕事量での比較であって同じ出力の比較ではない」と但し書きを記している。1枚のグラボ専用に一から書かれたエンジンであることや、32GBに重み13.5GBと25万トークン以上の文脈を両方詰め込んでいる点も、今回の条件を理解する上で重要だ。
細い線が牙を剥く3つの場面とは
線は細くていいという結論になりかねないが、実際には線の細さがはっきり効いてくる場面が3つある。
1つ目は「引っ越しの日」、設備を向こう側に運び込む最初の1回だ。重みをグラボのメモリに載せる時は13.5GBが線を通るため、道が太いほど早く終わる。毎秒8GBで運べば2秒弱、大きなモデルでも資料によれば10秒程度とされる。起動時に数秒待つだけで、その後ずっと速いままなら、多くの人にとって許容範囲だ。ただしモデルを何度も入れ替える使い方だと、引っ越しの回数が増えるため太い線の価値が出てくる。
2つ目は、設備が向こう側に入りきらない場合だ。重みがメモリに乗り切らず、はみ出した分をパソコン本体のメモリ側に置くことになる。工場に入らない設備を隣町の倉庫に置くようなもので、1トークンを作るたびに倉庫まで取りに行くことになる。つまり重いものが毎回あの細い道を通ることになり、速度は5倍から10倍落ちると言われる。先ほどの計算で言えば133の世界から0.6の世界に近づく。同じグラボ、同じ線なのに、乗るか乗らないかで完全に別物になる。かつて「大きなメモリを積んだノートPCが小さなグラボに負ける」という回と裏返しの関係にあり、どちらも容量と速さは別物だという同じ原理から生じる現象だ。
3つ目は、グラボを複数枚繋いで1つのモデルを動かす場合だ。カード間で計算の途中経過をやり取りするため、注文票よりはるかに重いデータが毎回行き来し、線の細さがそのまま効く。複数枚でやりたいなら素直に机の中に挿すのが正解で、1枚なら外付けで十分という線引きになる。
極端な例として、TinyGradが249ドルで売り出す外付け箱は、PCIe 4レーンをUSB4に変換する仕組みで、USB3でもUSB2（毎秒0.06GB）でも動くとうたっている。毎秒8GBのさらに100分の1以下の細さだが、注文票だけなら理屈上は通るため、理屈の極端版として紹介された。ファームウェアも公開されており、元々は自動運転の車載計算力を10Wから100Wに増やすために作られたものが、AI用途に横流れしたという経緯も語られた。
手持ちPCに足すべきか 見るべきは線の規格ではなく容量
手持ちのパソコンに足していいのかという最終的な判断は、極めてシンプルだ。「使いたいモデルが乗り切るかどうか」だけを見ればいい。乗るなら外付けでもほとんど速度は落ちない。乗らない場合は、外付けにした意味がほとんどなくなる。重みがはみ出した瞬間に細い道を重みが通り始めるからだ。買う前に見るべきは線の規格ではなく、メモリの容量だ。
4ビットまで削った場合、必要な容量は規模の半分が目安となる。270億なら13.5GB、70億なら3.5GBだ。8GBのグラボでも70億規模なら余裕で乗り、実際には容量の8割くらいを目安にしておくのが安全とされる。ギリギリを狙うとはみ出して一気に遅くなる。
ただし、大きなメモリを積んだ1台を買う派と、今の本体に速いグラボを外付けする派のどちらが正しいかは、動かしたいモデルの大きさで割れる。容量さえあれば遅くても動くことを優先する人と、動く以上は早くないと嫌だという人では、前提の使い方がまるで違う。どちらが賢いかではなく、用途が違うだけだという結論で、今回の検証も締めくくられている。
ネットの反応
224倍って聞いた時は絶対無理だと思ったけど重みは線を通らないって言われて一気に納得した
133対0.6の計算は分かりやすすぎる。細い線が悪いんじゃなくて重いもの通すのが悪いって名言だな
ゲームの常識をAIに持ち込むと判断間違うってのは刺さった。昔の印象で外付け避けてたけど見直すわ
引っ越しの日だけ遅いって例えが秀逸。起動時に2秒待つだけなら全然許容できる
8GBじゃ乗り切らないモデルだと5倍落ちるのか。容量8割目安は覚えておかないと
USB2でも動くってのは極端すぎて笑ったけど理屈は通ってるな。注文票だけならそりゃそうか
AIの所感
今回の検証で最も鮮やかなのは、224倍という絶望的な数字を、たった1つの割り算で「問題にならない」とひっくり返した点だ。重みという100万倍重い荷物を最初から向こう側に置いてしまえば、線を通るのは数キロバイトの紙切れだけで済むという発想は、ハードウェアの議論を「道の太さ」から「何を運ぶか」という本質へと引き戻す。ゲームで培われた「外付けは遅い」という常識が、AIという全く性質の異なる仕事の前では通用しないことを、工場と注文票という平易な例えで示した手腕も見事だ。そして、メモリに乗り切るかどうかという一点だけで、外付けの可否が決まるという明確な線引きは、スペック表のどこを見るべきかという実用的な指針を与える。大きなメモリを積むか、速いグラボを外付けするかという二つの道は、どちらが優れているかではなく、どちらが自分の荷物に合っているかという問いに過ぎない。その選択を誤らなければ、ストローのような細い線でも、水道管と変わらない速さを手に入れることができるのだ。