【驚愕】最小LLM用PCを自作！RTX Pro 6000搭載で96GB VRAMを実現
【驚愕】最小LLM用PCを自作！RTX Pro 6000搭載で96GB VRAMを実現
今回は、大規模言語モデル（LLM）を動かすための、最小かつ最強のPC自作に挑戦した動画をご紹介します。驚くべきは、そのコンパクトな筐体に搭載されたハイスペックパーツの数々です。
RTX Pro 6000搭載！96GB VRAMのモンスターマシン
このLLM用PCの心臓部となるのは、96GBものVRAMを搭載した「RTX Pro 6000」です。RTX 5090を凌駕するLLM処理能力を持ちながら、発熱を抑える工夫が凝らされています。さらに、リード速度14,700MB/sを誇る超高速SSDや、発熱の少ないRyzen 9 9900X CPU、そして薄型Noctuaファンなど、厳選されたパーツが組み込まれています。
小型ケースに全てを詰め込む！
マザーボードにはUSB4ポートを搭載したASUS Stricks X870iを採用し、データ転送の高速化を図っています。ケースはCooler Master NR200P V3を使用し、コンパクトながらも全てのパーツを収めることに成功しています。内部には6基のファンとポンプが搭載され、効率的な冷却を実現しています。
LLMの動作検証と驚きの結果
実際にLLMを動作させたところ、Llama 3.3 70Bモデル（70GB）をGPUにフルオフロードすることで、19.18トークン/秒という高速な処理速度を達成しました。CPUの使用率はわずかで、ほとんどの処理がGPUで行われていることが確認できます。このコンパクトな筐体で、これほどのLLM処理能力を実現できるのは驚きです。
Mac Studio M3 Ultraとの比較
動画では、Mac Studio M3 Ultra（512GBメモリ）との比較も行われています。生のスループットではRTX Pro 6000搭載PCが2倍高速ですが、筐体サイズを考慮した「トークン/秒/立方センチメートル」という指標では、Mac Studioが2倍以上の性能を発揮しています。また、電力効率の面でもMac Studioが優位に立っています。
今回の自作PCは、LLMをローカルで動かすための新たな可能性を示してくれました。今後のLLMの進化と、それを支えるハードウェアの発展に期待が高まります。