【悲報】WindowsがローカルLLMを処理！Linuxが破壊する前に…
YouTubeチャンネル「Alex Ziskind New details」の動画「Windows Handles Local LLMs… Before Linux Destroys It」は、Windows、Windows Subsystem for Linux（WSL）、およびネイティブLinux（Ubuntu）上でのローカル大規模言語モデル（LLM）の実行パフォーマンスを比較しています。
動画の調査結果は、微妙なパフォーマンスの状況を示しています。
- 小規模なLLMモデルの場合、Windowsは驚くべきことに、WSLとネイティブUbuntuの両方を上回るトークン生成速度を示すことがあります。例えば、Gemma 3 1 billionはWindowsで307トークン/秒を達成しましたが、Ubuntuでは288、WSLでは193でした。
- しかし、大規模なLLM（例：320億パラメータモデル）の場合、Ubuntuが一般的に優れたパフォーマンスを発揮します。Windowsはこれらの大規模モデルで苦戦することが多く、VRAMの制限により処理をCPUにオフロードすることが頻繁にあり、これによりパフォーマンスが大幅に低下します。
- WSLは、テストされた様々なモデルにおいて、ネイティブWindowsとUbuntuの両方と比較して一貫して低いパフォーマンスを示しています。
Linuxは最適化とフレームワークのネイティブサポートにより、AI/MLタスクで好まれることが多いですが、この比較は、特にGPUオフロードが効率的に利用される場合、Windowsが特定の小規模LLMワークロードで競争力があり、場合によっては優れていることを示唆しています。逆に、他のレポートでは、ネイティブLinuxは、特に複数のGPUを扱う場合、Windowsと比較してオーバーヘッドが少ないため、大幅に速い推論速度を提供できることが示唆されています。