Скачать или смотреть Оценка AGENTS.md: влияние context-файлов на поведение агентных систем

Этот текст представляет собой научную статью, посвященную анализу эффективности контекстных файлов, таких как AGENTS.md, в работе ИИ-агентов для написания кода. Авторы провели масштабное исследование, используя новый бенчмарк AGENTBENCH, чтобы выяснить, помогают ли эти инструкции при решении реальных задач на GitHub. Результаты показали, что файлы, созданные нейросетями, часто снижают вероятность успеха и увеличивают стоимость вычислений более чем на 20%. Напротив, написанные людьми инструкции дают лишь незначительный прирост производительности, побуждая агентов к избыточному исследованию репозитория. В итоге исследователи рекомендуют использовать только минималистичные требования в документации, так как сложные инструкции перегружают ИИ.