【謎解決】「MacのAI、答えるのは速いのに読ませると激遅」の正体──生成は帯域、読み込みは計算力で決まる「二重人格」だった
「話しかけるとサクサク返ってくるのに、長い資料を読ませた瞬間うんともすんとも言わなくなる」──ローカルLLMユーザーから寄せられるこの疑問、コメント欄で最多ハートを集めた要望だ。SitePointの実測（M3 Max 128GB vs RTX 4090）では、生成（返事の速さ）は約2倍差なのに、読み込み（3.2万トークン＝原稿用紙100枚超）はM3 Max 200秒超、RTX 4090 約10秒で**約20倍差**がついた。同じマシン、同じモデルなのになぜ「書く」と「読む」で性格が豹変するのか。答えはAI推論が「プリフィル（読み込み）」と「デコード（生成）」という**正反対の性質を持つ2つの仕事**に分かれており、それぞれ**全く別のハードウェア能力**でボトルネックが決まるからだ。Apple自身もM5で「計算力側」を強化し、読み込みを3.3〜4倍高速化したと公式発表している。
生成は「トラックが荷物1個だけ下ろして帰る」極端な帯域依存
AIが1文字生成するたび、モデル全体（8B 4bitなら約4.6GB）をメモリから丸ごと読み出す。毎秒60文字出れば毎秒276GBを往復し続ける。だが運んできたデータに対して計算はわずか1〜2回。GPU計算能力の**約1%しか使われていない**。残り99%は「荷物が届くのを待っている」待機時間だ。だから生成速度は**メモリ帯域÷モデル容量÷2**というシンプルな式でほぼ当たる（M2 Max 400GB/sで理論87 tok/s、実測64.9 tok/s＝効率75%）。M3 Maxは帯域400GB/sとRTX 4090の1008GB/sに対し2.5倍劣るが、生成では実測約2倍差に収まる。Macの統合メモリ「広い帯域」が生成では武器になる。
読み込みは「満載トラックが荷物を使い切って帰る」計算力依存
一方プリフィルは入力が最初から全部揃っているため、モデル重みを1回運べばそれを数千回再利用できる。1バイトあたり**100〜400回の行列積和**を行う。分かれ目は**演算強度156 FLOPs/byte**とされ、これ以上なら計算力律速、未満なら帯域律速になる。生成は約1 FLOP/byte（帯域側）、読み込みは100〜400（計算力側）で、同じAIの中で**正反対の性質の仕事が2つ走っている**。RTX 4090はTensor Core等の行列計算専用回路を大量搭載しFP16約330 TFLOPS、M3 Maxは専用回路なしで約18〜22 TFLOPS。**計算力で約15倍差**がつき、読み込み実測約20倍差の主因だ。帯域2.5倍差・計算力15倍差から「生成約2.5倍・読み込み約15倍」を予言し、実測（生成約2倍・読み込み約20倍）と綺麗に一致する。
Apple公式が認めた「足りないのは計算力」──M5でNeural Accelerators搭載
Apple機械学習研究ページのM5記事（自社発表）で明かされた数字が決定的だ。M4→M5で帯域は120→153 GB/s（**+28%＝1.28倍**）しか伸ばしていないのに、最初のトークンまでの時間（プリフィル）は**3.3〜4.06倍高速化**、以降の生成（デコード）は**1.19〜1.27倍**に留まる。生成の伸び（1.19〜1.27倍）が帯域の伸び（1.28倍）とほぼ一致する一方、プリフィルの4倍高速化は帯域では絶対に説明できない。M5では**全GPUコアに行列積和専用エンジン（Neural Accelerators、Tensor Core相当）を搭載**し、計算力側を集中強化したからだ。Apple自身が「最初のトークンは計算力律速、以降は帯域律速」と我々の説明と全く同じ構造を公式に認めた形だ。到達点は14B密で最初のトークン10秒未満、30B MoEで3秒未満（M4比4倍速なら従来40秒→10秒）。
「大きいモデルではMacが逆転」──VRAM壁の向こう側
RTX 4090のVRAM 24GBは70B級モデルで溢れ、溢れた分をシステムメモリ（帯域細い）へオフロードするため生成速度が毎秒8文字まで崩れる。同条件でM3 Max 128GBは毎秒14文字を維持し**Macが逆転**。統合メモリの「巨大倉庫」が効く場面だ。M5 Max/Ultraで帯域がさらに広がれば、大容量モデルでの優位性は揺るぎない。
今すぐできる「読み込み待ち時間」短縮術──プロンプトキャッシュと順番設計
買い替えなしで待ち時間を減らすには「同じ文章を読み直させない」のが最速。llama.cpp / LM Studio等に実装される**プロンプトキャッシュ**（共通プレフィックスを再利用）が鍵だが、**「頭がピッタリ一致している時だけ効く」**という罠がある。よくある失敗が「指示冒頭に今日の日付を入れる」こと。日付が毎日変わるだけでキャッシュが全無効化し、待ち時間が倍増する。**「変わらない資料を先に、変わる質問を後ろに」置く順番設計**と「無関係な部分を削って渡す」地味な削減が、読み込み量にまっすぐ効く確実な手だ。
ネットの反応
仮に両者の出す結果が同一になるとして、一つの仕事をこなすための電力比較もしてほしい
じゅうごさんギガバイト
いくらハードで上回ったとしてもCUDAじゃない時点でソフト面で厳しいんだよなぁ。PC2台以上持ちで限定専門用途なら有りだけど値段を考えると一般人にはきつい
肝心の数字の読み上げがいい加減なのはちょっと…
M5 Ultra は prefill もそこそこ速いですよ
また古い話だな。
とても良質な内容ですね！今後の活動も応援してます！
NV は早いけど output token で詰まる……（エージェントで動かしてるとKVキャッシュが埋まる）
M5 MaxとUltraのスペックが判明しましたね。今頃大慌てで動画を作成されてるのでしょうか？Maxクラスであれば4060を全ての面でぶっちぎりそうですね。Ultraだと、一時的に単体のマシンとしては最速になるのではないでしょうか？いや、まあ、私は金も知識もないので、全く関係ない話なのですが（苦笑）色々勉強になります。これからも頑張ってください。
AIの所感
「生成は帯域、読み込みは計算力」というローラインモデルの二律背反構造を、第三者実測・帯域/演算力比からの予言・Apple公式発表の三点で裏打ちしたこの動画は、ローカルLLMユーザーが抱える「なぜか片方だけ遅い」というモヤモヤを物理法則レベルで晴らした傑作だ。特に「演算強度156」という分かれ目の線引きと、M5でAppleがTensor Core相当を全コア搭載しプリフィルだけ4倍速くしたという事実は、ハードウェアベンダーが「どちらの律速を解くか」で設計判断を分けている証左だ。ユーザー側の教訓はシンプル：**「自分が読ませる側（プリフィル多用）か、書かせる側（デコード多用）かを先に決めろ。それによって見るべきカタログ値（帯域かTFLOPSか）が一発で決まる」**という一点に尽きる。70B以上の巨大モデルをローカルで回すならMacの統合メモリ容量が命綱、短文チャット中心ならNVIDIAの計算力が正義。どちらが正しいかではなく「自分のワークフローの重心がどこにあるか」を定量化せずに機材投資するのは、トラックの積載量だけ見てエンジンを見ない、あるいはその逆をやるのと同じ愚だ。M5 Max/Ultra実測でこの構図がどう塗り替わるか、猿博士の答え合わせ動画が待たれる。