AIツールの使用は、経験豊富な開発者の開発速度を低下させるという研究結果が発表されました。非営利研究機関のMETR(Model Evaluation & Threat Research)が2025年2月から6月にかけて実施した調査によると、AIコーディングツールを使用した場合、タスク完了までの時間が平均で19%増加したことが判明しました。
この研究は、自身が慣れ親しんだ大規模で複雑なオープンソースプロジェクトに取り組む16人の経験豊富な開発者を対象に、ランダム化比較対照試験(RCT)という厳密な手法を用いて行われました。主にCursor ProとClaude 3.5/3.7 SonnetといったAIツールが使用されました。
驚くべきことに、開発者たちは研究開始前にはAIによって作業時間が24%短縮されると予測し、研究後もAIによって20%速くなったと認識していました。しかし、実際のデータはこれとは逆の結果を示しており、開発者の「体感速度」と「現実」との間に大きな乖離があることが明らかになりました。
開発速度が低下した主な要因としては、AIに対する過度な期待、開発者がリポジトリに精通しているためAIの提供する価値が少なかったこと、大規模で複雑なリポジトリでのAIの性能の低さ、AIの提案の信頼性が低く(44%未満しか採用されなかった)、そのレビューや修正に時間がかかったことなどが挙げられています。
ただし、研究者らは、この結果がジュニアエンジニアや不慣れなコードベースで作業する開発者には当てはまらない可能性があると指摘しています。また、一部の開発者はAIツールによって生産性が向上しており、これはAIツールの効果的な使用には高いスキルが必要であることを示唆しています。速度が低下したにもかかわらず、多くの開発者がAIツールの使用を継続したのは、作業が「より楽に」感じられ、快適さが増したためだとされています。