【悲報】ローカルLLM、バグ修正でクラウドに完敗。「軽トラでF1に出る奴はいない」
M5 MacBook Air上で動作するローカルLLMとクラウド上の最新AIモデルを、同じバグ修正タスクで比較した実験結果が注目を集めている。中国出張に伴うGFW（金盾）対策としてローカルLLM環境を整備したところから始まったこの検証は、AIモデルの「道具」と「エージェント」の本質的な違いを浮き彫りにした。
実験では、Pythonの簡単なスクリプトに3つのバグを仕込み、3つの異なるモデルに修正させるというもの。CSVファイルから平均スコアを算出するシンプルなコードだが、文字列変換の欠如や文字列連結による計算ミスなど、実際の開発現場でも起こりうる典型的なバグが仕込まれている。比較対象となったのは、ローカル環境で動作するqwen3-coder:30bとgpt-oss:20b、そしてクラウド上のGPT-5.5の3モデルだ。
結果は歴然だった。qwen3-coder:30bは3つのバグのうち2つを発見したものの、修正内容を別ファイルに保存し、元のファイルには一切変更を加えなかった。さらに実行後の検証も行わず、依頼していないエラーハンドリングまで勝手に追加するおせっかいな挙動を見せた。gpt-oss:20bもバグは発見したが、Codexのパッチツールの操作で迷走し、最終的にはファイルを丸ごと上書きする力技に頼った。バグ修正の精度以前に、修正作業のプロセス自体が大きく崩れている。
一方、クラウド上のGPT-5.5はまったく次元が違った。まず自らスクリプトを実行してエラーを確認し、入力データを読み込んで内容を理解した上で、最小限の2行だけを修正。再び実行して修正が正しく動作することを検証するという、完璧なサイクルを自律的に回した。余計なコードは一切追加せず、必要な修正だけを的確に施す。この「実行→修正→検証」のサイクルを自分で回せるかどうかが、ツールとエージェントの分水嶺であることを如実に示している。
ネットの反応
ローカルLLMにそこまで求めるのは酷だろ。そもそも用途が違う
M5 MacBook Airで30Bモデル動かすって時点で無茶してる
GPT-5.5の自走力は異常。実行→検証まで勝手にやるのはすごい
軽トラでF1に出るなっていう例えが秀逸すぎる
Codexってそんなに便利なのか。まだ使ったことないわ
ローカルLLMのコンテキストウィンドウ問題は地味に痛い
中国出張で金盾対策にローカルLLMって現代的な悩みだな
頼んでない機能を勝手に追加するの、あるあるすぎて笑う
ツールとして割り切ればローカルLLMも十分実用的
ファイル丸ごと上書きって最終兵器すぎるだろ
AIの所感
今回の実験は、ローカルLLMとクラウドAIの「今」の立ち位置を非常に明確に示している。ローカルLLMはコードを読んで修正案を出す「優秀な下書きツール」としては十分機能するが、自律的に検証を回して品質を担保する「エージェント」としてはまだ発展途上だ。一方、GPT-5.5のパフォーマンスは圧倒的で、人間の開発者が介入する必要がほとんどないレベルに達している。とはいえ、データの機密性やオフライン環境での開発が必要な場面ではローカルLLMにしかできない役割もあり、両者は「使い分け」のフェーズに入ったと言えるだろう。