【朗報】8160億のAI、Mac2台で遅くならない…ケーブル2本の2割魔法
直感に反する実測が公開された。仕事を2人で分ければ1人あたりが軽くなって速くなるはずだが、AIを2台のパソコンに分けると文章を書く速さはほとんど変わらない。速くも遅くもならず、きれいに同じくらいのまま動く。分けた意味がないように聞こえるが逆だ。1台には入りきらないモデルが2台なら動き、しかも速さの代償を払わない。落ちないことそのものが価値になっている。
Appleが2026年10月15日に公開したDistributed Inference with MLXには、Metaが同日に公開した8160億パラメータのMuse Spark OpenをMac Studio複数台で動かした実測表が載っている。元の精度のままでは1.6TB以上のメモリが必要で、NVFP4という4ビットの形に落としても約493GBになる。Mac Studioの最大メモリは512GBだから数字だけなら19GB余るが、Appleは1台には載らないと書いている。理由は読ませた文章を覚えるKVキャッシュが文脈の長さに比例して膨らむからだ。同じ表のミストラル ミディアム 3.5は重み128GBでも65536トークン読ませた状態では合計158GB要る。重みだけ見て入るとは言えないという教訓だ。
弁当工場で考える縦割りと横割り
分け方は2種類ある。一つは層を前半と後半で預ける縦割り、パイプライン並列だ。AIの層は1層目から最後まで必ず順に通る工程の列なので、工場を2つに分ける形になる。ところが弁当を1個だけ注文した時は1秒も早くならない。前半がご飯を詰めている間、後半は待っている。工程を縦に分けても1個当たりの時間は変わらないからだ。実際の数字が示す。270億のQwen 3.8を1台で動かすと毎秒19.69トークン。2台に縦割りすると毎秒19.44トークンで、たった1.3パーセントの落ち幅だ。1台に入らないモデルを2台で動かしても速さの代償を払わない。落ちないことが勝ちなのだ。
変わるのは読む側だ。AIの仕事はまず全部読んでから1文字ずつ書く2段階で、読む方はまとめて処理できる。MLXが長い文脈を8192トークンずつの塊に切ると、1個目の塊が後半に渡った瞬間に前半が2個目を始められる。流れ作業になり遊んでいる場がなくなる。Appleは65536トークン文脈で最大1.8倍の速さと書いている。比較の相手は2台の横割りではなく1台で、待ち時間が1台を追い抜く状況が生じる。設定で前arginの刻み幅に8192と書くだけで使える。
もう一つが1つの層を2台で分担する横割り、テンソル並列だ。同じ作業台を2人で分けて左半分と右半分を同時に詰めるイメージで、1つの工程自体が半分の時間で終わる。Muse Spark Openの数字では2台縦割りが毎秒15.74トークンなのに対し、2台横割りは毎秒24.99トークンまで一気に上がる。1.59倍だ。さらに4台横割りは毎秒36.73トークン。ミストラル ミディアム 3.5でも1台7.7が2台13.69、4台23.37と台湾数倍に素直に伸びる。
待ち時間も素直だ。M5 Ultra 1台で最初の1文字まで24.6秒が、2台横割り14.4秒、4台7.5秒まで短くなる。3.28倍だ。ところが長い文脈では順位がひっくり返る。横割りは2人が同じ作業台で同時に手を動かすため、毎工程ごとに状態を相談し合う通信が増える。この相談の回数は、人員の数よりもむしろ読み込ませた文章の長さに比例して増えていく。長い文章ほど何度も相互確認が発生し、それが遅さにつながる。結果として、65536トークンといった長いコンテキストでは、2台横割りの待ち時間が2台縦割りを超える。短い質問なら横割り、長文なら縦割りで勝つ。
ケーブル1本を2本へ、配線だけで2割が消える
今日一番の実用ポイントはソフトではなく配線だ。2台のMac StudioをThunderboltで繋ぐ構成で、帯域を倍にするため1本から2本へ増やす。実測が驚く。4台で65536トークン読ませた時、1本だと最初の1文字まで約50.5秒かかる。2本にすると40.6秒まで縮む。2割、全体の5分の1が削減される。ソフトも機械も設定も変えず、ケーブルをもう1本刺すだけの差だ。1本で使っている人は2割の損をしていると言い換えられる。
中身はRDMAという受付を通さず相手のメモリに直接置く方式で、macOS 26.2からThunderbolt 5の上にドライバーが入った。MLXのjacclという通信層がそれを使う。4台構成では全ての組が2本ずつで直接繋がるmeshの形にする。必要なのはmacOS 26.2とThunderbolt 5の口が付いたMacと無料のMLXだけで、買い替えではなく口の数を数える話だ。
270億なら速くするために分けられる、ただし高い
この仕組みは大きいモデル専用ではない。270億のQwen 3.8は1台のMacに普通に収まるが、1台で毎秒19.69トークンが4台の横割りで毎秒50.89トークンまで伸びる。2.58倍だ。入らないから分けたのではなく、速くするために分けている。最初の1文字までの時間も1台で4.1秒が4台で1.7秒になる。これは有効な使い方で、持ち込む旧型が戦力に戻る話になる。
一方で正直な数字も要る。Appleの実測で使ったのは512GBメモリのMac Studio M5 Ultraで、256GB構成が5499ドルから、512GB構成は約9499ドル。4台揃えると約38000ドルにもなる。8160億を自宅で動かすのは正直に高い。ただし270億のQwen 3.8なら512GBも4台も不要で、手持ち2台で試せる。グラボ側の言い分は1枚あたりの計算速度ならまだ圧倒的だということ。Mac側の言い分は1台で512GBをAIに使える機械がグラボにはないこと。24GBや32GBのカードを何枚差しても1枚あたりの壁は超えられず、数を増やせば分け方の問題がそっくり出る。どちらが正しいかではなく、何をさせるかで答えが変わる時代になっていそうだ。
ネットの反応
たまたま本体が手元にある人ならケーブル買うだけなのでコストパフォーマンス最高ですね
2台に分けても19.69が19.44って、ほぼ誤差のせめぎ合いで好奇持展示だな
配線だけで20%縮むなら余ってる旧世代を戦力に戻す好機だな、口の数が問題
横割りか縦割りかは長短色々、長文なら縦がいいって分かってよかった。適材適所が現代っぽい
512GB構成が9499ドルで4台だと3.8万ドルって一般人には税込じゃなくて雲の上だわ
270億でも50.89トークンまでするなら家で細かいAI人手が作れるかも、小型で試す分には安いな
何回も同じモデルを出してくるが、8/100万トークンが読む側で18倍？ 読み込みで九九とかで間に合うもんなの？
弁当工場の例え、おかず担当が何十人もいて献立で数人だけ動くって例が分かりすぎだし、メタのモデルがまさにそこ雇い雇いなのが納得
AIの所感
生半可な話ではなく、れっきとした技術は集まっている。1台に入らないものを2台で入れる避け道は、落ちない性質まで付いてきた。ただし期待としては縦も横も、弁当工場の流れ作業で全て説明される分かりやすさが印象的だ。ケーブル2本で2割縮まるという手がかりが生活的で、欲しい人にとって本指の届く距離に結果が置かれていたことには熱意を感じる。複数台 governの分散は、これから数年は最良の損橋の1つとして普及が続く可能性を秘めていそうだ。