M3 Ultra vs RTX 5090：機械学習における最終決戦

M3 Ultra搭載のMac StudioとRTX 5090搭載のPCを比較し、特に大規模言語モデル（LLM）の実行における両者の性能と特性を検証しています。

主なポイント：

• 消費電力： スリープ時でさえ、RTX 5090搭載PCが約100Wを消費するのに対し、Mac Studioは7〜9Wと圧倒的な電力効率を誇ります。
• メモリの優位性（M3 Ultra）：
  • M3 Ultraは最大512GBのユニファイドメモリを搭載し、CPUとGPUが同じメモリを共有します。これにより、LLMのような大量のメモリを必要とするタスクにおいて、モデル全体をGPUメモリに収めることが容易になり、パフォーマンスの低下を防ぎます。
  • RTX 5090のVRAMは32GBであり、これを超えるモデルはシステムRAMにスピルオーバーし、大幅な速度低下を引き起こす可能性があります。
• パフォーマンス比較（小規模モデル）：
  • Gemma 3（4Bパラメータ）のような小規模モデルでは、RTX 5090とM3 Ultraの性能差はわずかであり、RTX 5090がわずかに速い結果を示しました（99トークン/秒 vs 98トークン/秒）。
  • LM Studioでの比較では、Macの方がわずかに速い結果も出ており、ツールによって結果が異なることが示唆されました。
• パフォーマンス比較（大規模モデル）：
  • DeepSeek R1 Distill Llama 70B（70Bパラメータ、39.6GB）のような大規模モデルでは、M3 Ultraが圧倒的な優位性を示しました。RTX 5090ではGPUメモリに収まらずCPUに負荷がかかり、1.8トークン/秒と実用不可能な速度になったのに対し、M3 Ultraは13トークン/秒と、依然として実用的な速度を維持しました。
  • これは、M3 Ultraのユニファイドメモリが、モデルの一部がGPUメモリに収まらない場合でも、CPUとGPU間で効率的にデータを共有できるためです。
• コストと選択：
  • RTX 5090は単体で高価であり、さらに大規模モデルを扱うにはプロフェッショナルグレードのGPU（A6000 AdaやH100など）が必要となり、そのコストはMac Studioを複数台購入してクラスターを組むよりもはるかに高くなる可能性があります。
  • Mac Studioは、絶対的なピーク性能ではRTX 5090に及ばない場合があるものの、大規模モデルを効率的に実行できる大容量のユニファイドメモリと、優れた電力効率、そしてコストパフォーマンスのバランスが魅力です。

結論：

小規模な機械学習モデルであればRTX 5090も十分な性能を発揮しますが、大規模なLLMをローカルで実行する場合、M3 Ultra搭載のMac Studioは、その大容量ユニファイドメモリと効率性により、RTX 5090を大きく上回る実用性とコストパフォーマンスを提供します。特に、GPUメモリに収まらないモデルを扱う際には、Mac Studioの優位性が際立ちます。

-パソコン