YouTubeチャンネル「Alex Ziskind New details」の動画「I Stuffed an RTX Pro into the Smallest Mini PC」では、大規模言語モデル(LLM)を実行するために設計された、コンパクトでありながらパワフルなコンピューターの構築プロセスが詳細に説明されています。
このプロジェクトの主な目標は、LLM向けに最大限のパワーを持つ最小のPCを作成することであり、パフォーマンス指標として「1立方センチメートルあたりのトークン数」が重視されました。このビルドの核となるコンポーネントは、96 GB VRAMのRTX Pro 6000 GPUであり、作成者はこれが他のハイエンドGPUよりもはるかに大規模なLLMを実行できると述べています。
ビルドに使用された主要なコンポーネントには、AMD Ryzen 9800X3D CPU、MSI B650i Gaming Edge Wi-Fiマザーボード、そしてRTX Pro 6000の電力要求に対応するための1000W SFXフォームファクター電源が含まれます。動画では、これらの強力なコンポーネントを小さなケースに収めることの課題も強調されており、6つのファンによる効率的な冷却と適切なケーブルマネジメントの重要性が述べられています。作成者は、LLM向けの高性能マシンを構築することに成功し、その能力をM3 Ultraと比較しています。