【悲報】あなたのPCでAIがカクつく本当の犯人…60万円のグラボより“メモリの中”が全てを決めていた
【悲報】あなたのPCでAIがカクつく本当の犯人…60万円のグラボより“メモリの中”が全てを決めていた
あなたのPCでAIの返事が一文字ずつダラダラ出てくるのは、グラフィックボードが弱いからではない。犯人は別の場所にいる。しかもその犯人を消しに来たものが、すでに実物のシリコンとして動き始めている。
SamsungがHot Chips 2026で披露したLPDDR5X-PIM。メモリ自身が計算する新方式が、ローカルLLMの常識を根底から覆そうとしている。16GBのメモリ1個で、AIの文章生成が3.01倍、27トークン毎秒だったものが81.3トークン毎秒に跳ね上がる。グラボもCPUも足さず、性能表の数字も変えず、変えたのはメモリの中身だけだ。
中と外で8倍、出口が全てを決める
数字は残酷だ。このメモリの中を流れる帯域は614GB/s。一方で外のピンに出せる帯域は76.8GB/s。約8倍の差がある。故障でも手抜きでもない。DRAMの中にはバンクという独立した区画が何十個も並び、全てが同時に動ける。倉庫の棚が全て同時に品物を出せるのに、出口が一つしかない状態だ。足りないのは倉庫の性能ではなく、出口の広さなのだ。
出口を広げればいいと考えるのは自然だが、ピンを増やせば配線も電力もパッケージも大きくなる。スマホに入れるには無理がある。外の出口は物理的な事情で細いままなのだ。
トークン速度を決める“割り算”
生成速度の目安になる割り算がある。一秒あたりのトークン数は、だいたいメモリ帯域をモデルの大きさで割った値になるというものだ。あくまで一次近似だが、演算性能の理論値より実測をよく当てる。
理由は生成のやり方にある。一文字を吐き出すたびに、モデル全体の値をメモリから読む。20GBのモデルなら20GBを丸ごと読み、1回かけて捨てる。次は前のトークンが決まらないと始まらず、使い回しもできない。読んで捨てて、また読んで捨てて。高価な演算器の大半はメモリを待って止まっている。取っておく場所は演算器のすぐ横に数MBしかなく、20GBは入らない。毎回倉庫まで取りに行くしかないのだ。
614GB/sを20GBで割れば約30トークン。これが天井だ。実際は文脈が伸びるとKVキャッシュが増え、同じ帯域を奪い合うためさらに下がる。一般的なデスクトップのDDR5デュアルチャネルでは、同じ割り算の答えは1桁に落ち込む。1桁トークンでは、人は確実に待たされる。
作られた物、出た数字、残った壁
SamsungのPIMは、この壁を内側から壊しに行った。メモリの中に小さな演算器を埋め込み、倉庫の中で作れば運ばなくていいという発想だ。なぜ今まで誰もやらなかったのか。答えは最後に置かれている。作るのは難しく、作った後の使い勝手と歩留まり、そしてソフトウェア側の対応が重かったからだ。
それでも出た数字は強烈だ。同じ筐体、同じメモリ容量のまま、81.3トークン毎秒。目で追いきれない速さだ。従来の27トークンでは人が目で追えるギリギリの速度だったが、81トークンを超えると文章が一瞬で現れる。体感は別次元になる。
残った壁もある。PIMが得意なのは生成のボトルネックであるメモリ帯域律速の領域だ。学習のような演算律速の領域では恩恵が限られる。また、既存のソフトウェアスタックがPIMを自然に使いこなせるか、コストはどうか、という問いも残る。万能ではないが、ローカルLLMのように毎回モデル全体を読む用途では、刺さり方が極端に深い。
計算しに行くのをやめる発想
50年間、業界は作業台を広くする競争をしてきた。CPUもGPUも、広い机の前で職人が手持ち無沙汰になる構造は変わらなかった。Samsungがやったのは逆だ。倉庫の中に小さな作業台を持ち込むことで、運搬そのものをなくした。計算しに行くのをやめ、計算する場所をデータのある場所へ移す。Processing in Memoryという名の通り、発想の転換だ。
60万円のグラボを買い足す前に、問うべきは帯域の割り算かもしれない。あなたのPCでAIが遅い理由は、演算器の弱さではなく、出口の細さだったのだ。
ネットの反応
60万円 vs 16GBの対決って、まさに今の自作PCの現実だな。帯域の話は目から鱗だった
PIMって前から言われてたけど、やっと実物が出てきたか。81トークンはエグい
グラボ足しても速くならない理由がやっとわかった。毎回20GB読んで捨ててるのかよ
出口を広げるのが物理的に無理ってのが絶望的。そりゃ中でやるしかないわな
でも学習には効かないんでしょ？用途が限られるならまだ様子見かな
AIの所感
AIの速度論は長らくFLOPSの競争だったが、ローカルLLMの生成は帯域の競争だったという事実は、多くの自作PCユーザーにとって衝撃だ。高価なGPUを積んでも、細い出口の前では宝の持ち腐れになる。PIMは、その出口を迂回する最も素直な解だ。614と76.8という二つの数字の差が、30と81.3という体感の差に直結する。この割り算を知ってしまうと、スペック表の見え方が変わる。次にPCを組む時は、演算器のTFLOPSより、メモリがどこで計算するかを気にする時代が来るかもしれない。倉庫の中で作るという当たり前の発想が、50年越しに現実になったのだ。