【衝撃】Mac Studio×DGX Sparkの悪魔合体は速くなるのか？異種混合クラスターの壁と突破口
Mac StudioとDGX Sparkの悪魔合体は速くなるのか。異種混合クラスターの壁と三段階の突破口
Mac StudioとNVIDIA DGX Spark。まったく異なる思想で作られた2つの高級マシンを太いケーブルでつなげば、最強のローカルAI環境が手に入るのではないか。そんな期待をめぐり、異機種間分散LLM推論アーキテクチャの現実と課題が注目を集めている。結論から言えば、物理的に繋ぐだけでは本来の性能は全く引き出せない。OSの通信処理の限界、アーキテクチャの違いによる翻訳コスト、そして巨大なデータ転送の重さという三重の壁が立ちはだかっているからだ。
2つの顔を持つ推論。プレフィルとデコードで求められる力が違う
大規模言語モデルの推論プロセスは、大きく分けてプレフィルとデコードという2つの段階で構成されている。プレフィルは入力されたプロンプトを読み込んで初期のコンテキストを構築するフェーズで、入力データの全てに対して同時に複雑な行列計算を行うため、とにかく計算能力が求められる。対してデコードは、プレフィルで作られた文脈を元に新しい単語を1つずつ順番に生成していくフェーズで、計算そのものよりも膨大なデータをメモリから読み出すためのメモリ帯域幅が重要になる。
従来はこの全く違う2つの作業を無理やり1つのマシンの中で処理させていたため、プレフィルの時はメモリ読み込み機能が暇になり、デコードの時は計算機能が遊んでしまうという構造的な無駄が生じていた。この無駄を省くために生み出されたのが、プレフィルとデコードを別々のマシンに担当させる完全分離アーキテクチャである。それぞれの作業に特化したハードウェアを用意することで処理効率を劇的に引き上げられるという考え方で、最新の開発現場では急速に採用が進んでいる。
今回の異種混合構成は、この分離の考え方を対極の強みを持つ2つのハードウェアで実現したものだ。プレフィルを担当するのは圧倒的な計算能力を持つNVIDIAのDGX Sparkで、1ペタフロップスという途方もない演算能力を誇り、最初のプロンプト読み込みにおいてAppleシリコンと比較して最大4倍以上の速度を叩き出す。ただしメモリの読み書き速度には制限があり、デコードは非常に苦手だ。
一方でデコードを担当するのがAppleのMac Studioである。計算能力こそDGXに及ばないものの、メモリの読み込み速度が毎秒1.2TBと異常に速く、単純計算でDGXの3倍以上の速度でトークンを生成し続けることができる。さらに最大512GBという巨大なメモリ空間を単一デバイスで保持でき、数千億パラメーターの巨大なAIモデルであっても分割せずにすっぽりと収めることが可能だ。DGXがプレフィルで素早く最初の文字を出し、Mac Studioがデコードで高速に続きの文字を生成する。弱点を完全に補い合う、まさに適材適所の極みと言える組み合わせである。
繋ぐだけでは遅い。OSカーネルが作る10Gbpsの壁
しかしこの理想的な構成には現実的な大きな壁が立ちはだかる。DGXとMacを太いLANケーブルやThunderboltで物理的につなぐだけでは、通信速度は上がらない。オペレーティングシステムのカーネルが通信を処理する際の限界が原因だ。
40Gbpsの高速ケーブルを使っても、IP通信という標準的なルールを使うと途端に遅くなる。巨大なデータを受信するとハードウェアからの割り込みが大量に発生し、OSはリングバッファという一時保管場所からデータをソフトウェアの力で必死に取り出そうとする。確認やメモリの移動など全ての処理をCPUが手作業で行うことになり、AIの計算に使いたいCPUの力が単なる通信の交通整理だけで食い潰されてしまう。
ソフトウェア処理の負担は大きすぎて物理的なケーブルの帯域幅を全く生かしきれず、どんなに良いケーブルを使っても実効速度は10Gbps程度で頭打ちになる。単純なTCP/IPのソフトウェア処理を挟む限り、この帯域の錯覚からは抜け出せない。ハードウェアが早くても通信の仕組み自体がボトルネックになっているというわけだ。
カーネルをバイパスせよ。RDMAが99％削減する遅延と残る互換性の壁
このOSカーネルの限界を打破するために導入されるのがRDMAという技術だ。OSの通信処理を完全に無視して直接相手のメモリにデータを書き込む仕組みで、従来のTCP通信ではデータを送るたびにCPUが介入して300マイクロ秒ほどの遅延が発生していたのに対し、RDMAを使えばCPUを介さずにネットワークの入り口から直接メモリアクセスできる。これにより通信の遅延を50マイクロ秒以下に抑え込み、遅延を99％も削減できる。
実際にThunderbolt RDMAを実現するオープンソースのフレームワークも存在するが、問題は互換性だ。この脅威的な高速通信はあくまでMac同士を接続した場合に限られ、macOSのシステムに深く依存して最適化されているため、そのままでは他のOSには適用できない。Linuxを搭載したDGXからMacへRDMA通信を行うには、非公式で実験的なプログラムを強制的に動かす必要があり、動作が非常に不安定で本番システムで使うにはリスクが高すぎる。技術としては有望だが、異なるOS間をまたぐにはまだ未成熟な部分が多いのが現状だ。
言語の壁、シリアライズ。CUDAとMetalの翻訳税
OSの違いに加えて立ちはだかるのがシリアライズの壁だ。DGXはNVIDIAのCUDA、MacはAppleのMetalという全く別の仕組みで動いている。AIの計算データをそのまま相手に送っても言葉が通じず、送信する前にデータを一度共通の形式に翻訳し、受信側でまた元の形式に翻訳し直す作業が発生する。これをシリアライズと呼ぶが、この翻訳作業自体に膨大な計算時間とメモリの移動コストがかかる。
DGXのメモリからシステムメモリへ移し、通信してMacのメモリへ移すという工程は深刻な遅延を生む。これはシリアライゼーションタックス、つまり異種間通信にかかる膨大な税金と表現されている。現在主流のvLLMフレームワークはAppleのMLXエコシステムに極端に依存して作られており、無理やりDGXのCUDA環境で動かそうとするとシステムがフリーズする不具合も報告されている。何の改造もせずに異種クラスターを構築することは現状では事実上不可能に近い。物理的につなぐだけでなく、この言語と形式の壁をソフトウェアレベルで解決しなければならない。
転送量が命取り。数百MBから数GBに膨れ上がるKVキャッシュ
通信の遅延と翻訳コストを乗り越えた先に待っているのが、データ転送量そのものの問題だ。プレフィルを終えたDGXは、MacへKVキャッシュと呼ばれる計算の途中経過データを全て送らなければならない。このデータはモデルがこれまでに読み込んだ文章の文脈を保持するための極めて重要な記憶の塊だが、非常に巨大になりやすい。
700億パラメーターのモデルで少し長めの文章を処理するだけで簡単に数百MBに達し、文章が長くなったり同時に複数の処理を行ったりするとあっという間に数GB規模に膨れ上がる。10GbEのネットワーク環境で数GBを送ろうとすると転送だけで数百ミリ秒という時間が確実にかかり、この純粋な待ち時間はユーザーが最初の文字を見るまでの待ち時間に直接加算される。DGXが計算を一瞬で終わらせても、この転送待ちのせいで全てが台無しになる。計算が終わってからまとめてデータを送るという旧来の方式では、この致命的な遅延は避けられない。
計算と転送を重ねる。パイプライン通信と圧縮・量子化の合わせ技
巨大なデータをまとめて送るから遅くなるのであれば、計算と転送を同時に進めてしまえばいい。それを実現するのがvLLMやMooncakeといった最新エンジンが備える非同期パイプライン通信だ。これまでの方式ではAIの全ての層の計算が完全に終わるまでデータ転送を待機していたが、パイプライン通信では1番目の層の計算が終わった瞬間にその部分のデータだけを先にネットワークへ流し始める。DGXが2番目の層を計算している裏側で、ネットワーク機器は1番目の層のデータをMacへ送っている状態になる。
GPUが計算に集中している間に通信専用の機能が裏でデータを送ることで、純粋な待ち時間を計算時間の裏側に隠蔽できる。10GbEのような細い通信路であっても遅延の影響を劇的に減らすことが可能だ。さらにメモリの中でデータがバラバラに散らばらないよう連続した場所に綺麗に並べ替えてから送る工夫もされ、不連続なアドレスを連続化する技術を組み合わせることで、データを送るためのCPUの準備作業も最大96％削減することに成功している。
送り方の工夫に加えて、送るデータそのものの量を物理的に削り落とす技術も不可欠だ。1つ目がSplitZipと呼ばれるGPUネイティブな圧縮アルゴリズムで、KVキャッシュの中には同じような数値のパターンが何度も繰り返される無駄が存在することに着目。類似する数値を固定長の短い暗号に置き換えてGPUの力で超高速に圧縮し、情報の劣化を一切起こさずにデータ量を減らせる。
もう1つが量子化による混合精度転送だ。全てのデータを高精度で送る必要はなく、AIの文脈理解にとって重要な単語のデータだけは高精度のまま維持し、重要度が低いデータは精度を落としてしまう。重要度に応じて精度を動的に切り替えることで全体のデータ量を一気に半分まで削減でき、生成品質を損なうことなくKVキャッシュのペイロードを劇的に軽くすることができる。圧縮と量子化を組み合わせることで、転送量が命取りという最大の弱点を根底から解消できる。
最適化の果てに。三段階で築く最強のローカルLLM環境
ここまでの課題と解決策を踏まえ、真の異種混合クラスターを構築するためのステップは三段階に整理される。まず第1ステップは基盤となるオーケストレーターの導入だ。vLLMやMooncakeといった計算と転送を重ねて処理できる最新のソフトウェアエンジンを導入し、非同期パイプライン転送を確立する。
第2ステップは転送データのペイロードを最小化することだ。SplitZipのようなGPU特化の圧縮技術や量子化技術を適用し、10GbEのような細いケーブルでも実用的な速度でプレフィルとデコードを連携できるようにする。
そして最後の第3ステップが異種間でのRDMA通信の完全な確立だ。実験的なモジュールを安定させ、LinuxとMacの間でCPUを介さない直接的なメモリ通信を実現し、シリアライズの壁を超えてホスト処理の負荷をゼロにできれば、ハードウェアの性能を限界まで引き出せる。
この3つのステップを1つずつクリアしていくことで、最強の推論環境が完成する。手間はかかるが、それに見合うだけの圧倒的なパフォーマンスが約束されている。
ネットの反応
悪魔合体って値段なのかそれとも別の意味があるのか気になる
ただケーブルで繋ぐだけじゃ10Gbpsで頭打ちになるのは知らなかった。OSの壁がえぐいな
RDMAで遅延99%削減は凄いけど、Mac同士しか安定しないなら実用はまだ先か
CUDAとMetalの翻訳税が深刻すぎる。シリアライズのコスト考えたことなかったわ
KVキャッシュが数GBになるとか転送量が命取りって表現が的確すぎる。パイプライン通信は賢いな
SplitZipと量子化で半分にできるなら、細いケーブルでも何とかなりそう。3ステップの整理が分かりやすい
AIの所感
このアーキテクチャが示すのは、ハードウェアの性能競争が頭打ちに近づく中で、ソフトウェアの工夫が性能を決める時代に入ったということだ。DGX Sparkの1ペタフロップスやMac Studioの1.2TB/sという数字だけを見れば夢の組み合わせに見えるが、実際にはOSのカーネル、異なるアーキテクチャ間の翻訳、そして巨大なKVキャッシュという地味だが致命的なボトルネックが性能を食い潰す。逆に言えば、これらの壁を一つずつ潰していくことで、既存のハードウェアの組み合わせでも大幅な高速化が可能になる。特に計算と転送を重ねるパイプライン化や、データそのものを小さくする圧縮・量子化のアプローチは、ネットワークの物理的な限界をソフトウェアで補うという点で極めて現代的だ。異種混合という悪魔合体は、一発で完成する魔法ではなく、三段階の地道な最適化の積み重ねの先にある成果だといえる。