コーディングエージェントが実際に動作するために必要なコンテキストとは？

最近のAIは、まるで魔法のようにプログラムのコードを書き換えてくれる「コーディングエージェント」が注目されています。これらのAIは、開発者が書いたたくさんのコードを一度に読み込んで、どこをどう直せばいいか判断しようとします。まるで、分厚い本を丸ごと読んでから、一文だけ直すようなイメージでしょうか。

しかし、最新の研究によると、実はAIが大量のコードを読み込む必要はほとんどないことが分かってきました。この研究では、「AIが実際にコードを編集しなければならない、一番大事な場面」に焦点を当てて、AIがどれだけの情報を使えばうまくいくのかを調べました。

研究者たちは、AIが「どこを直すべきか」を見つける作業と、「実際にどう直すか」という作業を分けて考えました。「どこを直すべきか」は、AIに「ここを直してね」とあらかじめ教えてあげる（オラクルで固定）ことで、AI自身の判断に頼らないようにしました。そして、AIがコードをどう理解するか、その「表現方法」だけを変えて、どれだけ問題が解けるかを試したのです。

その結果は、驚くほど「最小限」でした。つまり、AIがコードを直す上で一番大事なのは、編集する「コードそのもの」だということです。では、コードを分かりやすく説明した「自然言語の要約」はどうだったのでしょうか？

実は、これが期待外れの結果でした。AIがプログラムの質問に答える場合、コードそのものから答えを見つけられたのは45問中27問だったのに対し、自然言語の要約から答えを見つけられたのはわずか4問でした。これは、AIにコードを理解させるのが苦手なのではなく、コードを分かりやすい言葉で説明する「表現方法」に課題があることを示唆しています。さらに驚くべきことに、最新の高性能AI（フロンティアモデル）の要約も、比較的小さなAI（3Bモデル）の要約と、ほとんど変わらない性能だったのです。周りのたくさんのコードも、ほとんど重要ではないという結果も出ています。

この研究は、AIに「全部を理解させよう」とするのではなく、「何が重要で、どう伝えればAIが理解しやすいか」という、より的を絞ったアプローチが大切であることを教えてくれます。開発者のみなさんにとっても、AIとの付き合い方が変わるかもしれませんね。