【悲報】128GBで70Bモデルが爆速に！ NVIDIAのNVFP4魔法、AppleのMLX融合、AMDの96GB割り当ての三銃士対決がエグい
【悲報】128GBで70Bモデルが爆速に！ NVIDIAのNVFP4魔法、AppleのMLX融合、AMDの96GB割り当ての三銃士対決がエグい
巨大言語モデル70Bパラメータを「手元のPCでサクサク動かす」という、かつては夢物語だった世界が、128GBユニファイドメモリ搭載機の登場で現実になりつつある。NVIDIAのDGX Spark、AppleのMac Studio、そしてAMD Ryzen AI MAX+を積んだEVO-X2。この3台は同じ128GBという数字を掲げながら、中身の設計思想は全く異なる。圧縮の魔法で限界を突破するNVIDIA、ハードとソフトを一体で磨き上げるApple、物理メモリを力技でVRAMに割り当てるAMD。三者三様の哲学がぶつかる次世代ローカルAI最強決定戦が、今始まっている。
70Bモデルの壁とは何か。従来の32GBや64GBメモリでは、モデル本体だけで容量が枯渇し、コンテキストを伸ばす余裕も、推論速度を上げる帯域も足りなかった。128GBという大容量ユニファイドメモリは、この壁を一気に取り払う。だが、同じ128GBでも、その活かし方は各社で全く違う。
推論速度を支配するのはメモリ帯域幅、そして各社のSoCアーキテクチャ
推論の速さを決めるのは、コア数やクロックではない。メモリ帯域幅だ。巨大モデルはメモリからデータをひたすら運び続ける作業であり、帯域が細ければどれだけ演算器が速くても待ち時間が発生する。ここで各社のSoC設計が分かれる。
NVIDIAのDGX Sparkは、Grace-Blackwell世代の思想を継承し、超広帯域なメモリサブシステムと専用アクセラレータで帯域を確保する。AppleのMac Studio（M3 Ultra / M4 Ultra系）は、CPUとGPUが同一メモリプールを共有するユニファイドアーキテクチャを極限まで磨き、Metalと独自フレームワークMLXによるハード・ソフト融合で帯域の無駄を徹底的に削る。AMDのEVO-X2（Ryzen AI MAX+ 395）は、Strix Haloと呼ばれるSoCで、最大96GBまでをVRAMとして柔軟に割り当て可能という力技に出た。128GBのうち96GBをグラフィックス／AI推論に回せるというのは、従来のPCの常識ではあり得ない割り切りだ。
NVIDIAのNVFP4がもたらす極限圧縮、AppleのMetal＋MLX、AMDの96GB割り当て
最も先鋭的なのがNVIDIAのNVFP4フォーマットだ。FP8やINT4をさらに進め、4ビット浮動小数点でモデルを圧縮する技術は、70Bモデルをわずか数十GBに収めながら精度劣化を最小限に抑える。帯域幅の壁を「データそのものを小さくする」ことで突破する、まさに魔法のようなアプローチだ。量子化による速度向上とメモリ削減を両立させ、DGX Sparkではコーディングのような大量入力を伴うタスクでも安定したスループットを発揮する。
対するAppleは、圧縮ではなく最適化で勝負する。Mac Studioに搭載されるM3 Ultra / M4 Ultraは、800GB/sを超えるメモリ帯域と、Metal Performance Shaders、そしてMLXフレームワークによるグラフ最適化で、70Bモデルをネイティブに近い速度で動かす。ハードウェアとOS、フレームワークを全て自社で握るAppleだからこそできる暴力的な最適化は、ベンチマークでは数字以上に体感速度で効いてくる。消費電力あたりの効率では、この路線が最も優れる。
AMDのEVO-X2は、異なる道を選んだ。Ryzen AI MAX+は、128GBのうち最大96GBをVRAMとして割り当て、残りをシステム用に残すというシンプルな力技だ。専用VRAMを持たない統合型GPUの弱点を、割り当て容量でねじ伏せる。価格は27万円台からと、DGX SparkやMac Studioより手が届きやすい。122Bや120Bといった超巨大モデルを動かしているユーザーからは「EVO-X2を270Kで買って勝ち組」という声も上がるほど、コストパフォーマンスで存在感を示している。
投資対効果とユーザー別の最適な1台はこう分かれる
価格と用途で見ると、選択は明確に分かれる。
コーディングや長文コンテキストを大量に流す用途では、DGX Spark一択という評価が固まりつつある。複数台連結でのスケールも視野に入るのは、DGX Sparkの大きな強みだ。ただしOSが独自のDGX OS（Linuxベース）である点や、メモリ帯域がボトルネックになる場面があるという指摘もあり、汎用PCとしての使い勝手は割り切りが必要だ。
メインPCとしても使いたい、Windows環境を離れたくないユーザーにはEVO-X2（Ryzen AI MAX+）が刺さる。Windowsがそのまま動き、ゲームもAIも一台でこなせる。Mac環境が許容できるならMac Studioが最もバランスが良い。クリエイティブ作業とAI推論を同時にこなす用途では、Mac Studioの静音性と電力効率が光る。CUDAで学習まで行いたいならDGX Spark、という住み分けが現実的だ。
10月にはRTX Sparkの登場も噂されており、128GB時代の競争はさらに激化する見込みだ。Intelがこの領域で製品を持たず周回遅れとされる中、NVIDIA・Apple・AMDの三つ巴はしばらく続く。
ネットの反応
コーディングなどで大量の入力がある場合は、DGX Spark一択 もしくはDGX Sparkを複数台、mac studioを複数台
去年EVO-X2を270Kで買って122B,120Bを動かしている俺は勝ち組なのだ！
そこそこの価格がするPCだからメインPCとしても使いたいよね。だからWindows使いたい→Ryzen AI MAX+、MacでもOK→Mac studio CUDA使えて学習もしたい→DGX Spark かなと思っています。なおインテルは周回遅れのため製品が存在しません
Dgx sparkのOSがLinuxなのは人によっては短所でもある
正直dgx sparkはメモリ帯域が引っ張ってるからMac miniの方がいいんだよな。dgx osっていうわけわからんものが入ってるし、
Appleが業界スタンダードになればいいのにな。NVIDIAいらん。
AIの所感
128GBという数字だけ見れば横並びだが、その中身は思想の違いそのものだ。NVIDIAは「圧縮で限界を超える」、Appleは「統合で無駄を削る」、AMDは「割り当てで力ずくで解決する」。どれも正解であり、どれも一長一短があるのが面白い。70Bモデルが手元で動くという体験は、クラウド依存から脱却する象徴的な出来事だが、同時に「どの思想に自分の使い方を預けるか」という選択をユーザーに突きつけている。価格、OS、帯域、消費電力。スペック表だけでは見えない部分にこそ、各社の本気度が表れている。ローカルAIの最適解は、一台に定まらない。用途ごとに三銃士を使い分ける時代が、すでに始まっていると感じる。