【衝撃】WindowsとLinux、LLMの実行速度を徹底比較！意外な結果が明らかに
今回は、WindowsとLinux（Ubuntu）環境におけるLLM（大規模言語モデル）の実行速度を比較した動画をご紹介します。開発者にとって、どちらのOSがLLMの実行に適しているのか、興味深い結果が明らかになりました。
WindowsとWSL（Windows Subsystem for Linux）での比較
まず、Windows環境でLM Studioを使用し、Gemma 34Bモデルを実行したところ、約102トークン/秒の速度を記録しました。次に、WSL（Windows Subsystem for Linux）環境で同じモデルを実行したところ、Windowsとほぼ同等の速度（約108トークン/秒）を記録しました。WSLはWindows上でLinuxカーネルを動作させるため、パフォーマンスの低下が懸念されますが、LLMの実行においてはほとんど影響がないことが示されました。
Ubuntu（ネイティブLinux）での驚異的な速度
最も驚くべき結果は、Ubuntu（ネイティブLinux）環境でGemma 34Bモデルを実行した際に記録されました。なんと、約170トークン/秒という、WindowsやWSLを大きく上回る速度を記録したのです。これは、LinuxがGPUの性能をより効率的に引き出せるためと考えられます。特に小規模なモデルにおいては、その差は顕著でした。
モデルサイズによるパフォーマンスの違い
動画では、様々なモデルサイズでの比較も行われています。小規模なモデルではUbuntuが圧倒的な速度を誇る一方で、大規模なモデル（32Bパラメータなど）では、VRAMの容量不足により、Windows環境でもLinux環境でもパフォーマンスが大幅に低下する傾向が見られました。これは、VRAMに収まらない部分がCPUにオフロードされるため、処理速度が極端に遅くなるためです。
結論：LLM実行にはLinuxが有利、ただしVRAM容量が重要
今回の検証から、LLMの実行においては、ネイティブLinux環境が最も高いパフォーマンスを発揮することが明らかになりました。特に、小規模なモデルを高速に実行したい場合は、Linux環境が有利です。しかし、大規模なモデルを実行する際には、OSの種類に関わらず、十分なVRAM容量を持つGPUが不可欠であることも再確認されました。
開発者は、自身のLLMの用途やモデルサイズに合わせて、最適なOSとハードウェアを選択することが重要です。Linux環境の構築はWindowsよりも手間がかかる場合がありますが、LLMの性能を最大限に引き出したいのであれば、検討する価値は十分にあるでしょう。