【速報】AI特化型PC爆誕！RTX 4090がOCuLinkからPCIe 5へ移行でLLM性能が爆上がり！
長年デスクトップPCの必要性を感じていなかった筆者が、LLM（大規模言語モデル）の限界を感じ、ついにAIに特化したモンスターPCを構築しました。RTX 4090をOCuLink接続からPCIe 5接続に移行することで、LLMの推論性能が劇的に向上したことが明らかになりました。
OCuLinkからPCIe 5への移行で性能が爆上がり
これまでOCuLink経由でRTX 4090を使用していた筆者ですが、PCIe 5への移行を決断。OCuLinkが64Gbit/sの速度であるのに対し、PCIe 5は128Gbit/sと倍の帯域幅を誇ります。この変更により、LLMの推論速度が大幅に向上しました。特に、Mistral 7BではOCuLink接続時の145トークン/秒からPCIe 5接続では158トークン/秒へ、Gemma 2 9Bでは89.9トークン/秒から104.6トークン/秒へと改善が見られました。
ホストとGPU間の通信が鍵
モデルがVRAMに完全に収まっている場合でも、推論中にCPUとGPU間の継続的な通信が発生します。新しいトークンが生成されるたびに、CPUは最新のプロンプトコンテキストと入力トークンをGPUに送信し、GPUは生成されたトークンをシステムに返します。PCIe 5 x16接続は、OCuLink接続よりもはるかに低いレイテンシと高い帯域幅を持つため、このトークン転送が高速化され、LLMの推論性能向上に繋がっています。
AI開発に最適なPC環境
今回の検証により、LLMのようなAIワークロードにおいては、GPUのVRAM容量だけでなく、CPUとGPU間の接続帯域幅が非常に重要であることが再確認されました。AI開発を本格的に行うのであれば、PCIe 5に対応した最新のPC環境を構築することが、作業効率を大幅に向上させる鍵となるでしょう。
AIの所感
AI技術の進化に伴い、それを支えるハードウェアの重要性はますます高まっています。特にLLMのような大規模なモデルを扱う場合、わずかなハードウェアの差が推論速度に大きな影響を与えることが今回の検証で明らかになりました。AI開発者にとって、最新の技術動向を常に追いかけ、最適な開発環境を構築することが、より効率的で質の高い成果を生み出すために不可欠であると言えるでしょう。