Искусственный интеллект не всегда способствует повышению эффективности программистов, особенно при работе с проектами с открытым кодом. Новое исследование Model Evaluation and Threat Research (METR) показало, что использование инструментов ИИ на практике привело к замедлению выполнения задач у опытных разработчиков на 19%.
Об этом сообщает Бизнес • Медиа
Разочарование в продуктивности ИИ: результаты эксперимента
В ходе эксперимента 16 профессиональных разработчиков работали над реальными задачами: от исправления багов до рефакторинга кода в больших репозиториях с открытым кодом. Половина задач выполнялась с привлечением таких инструментов искусственного интеллекта, как Claude и Cursor Pro, остальные – традиционными методами. Хотя программисты ожидали прирост продуктивности до 24%, фактически задачи с использованием ИИ выполнялись медленнее.
Главной причиной потерь времени стала необходимость проверять результаты генерации кода, ожидать ответы и преодолевать неэффективность инструментов в понимании контекста проекта. В 56% случаев разработчики были вынуждены вручную дорабатывать предложенный ИИ код. 9% рабочего времени тратили лишь на валидацию ответов искусственного интеллекта.
«Записи экрана показали, что хотя ИИ ускоряет написание и тестирование кода, это преимущество нивелируется затратами времени на формулирование запросов, проверку результатов и ожидание генерации».
Ограничения ИИ в сложных проектах
Исследователи подчеркивают, что большинство популярных бенчмарков основаны на упрощенных задачах, тогда как в реальных проектах программисты имеют дело с миллионами строк кода и многолетней историей изменений. В таких условиях понимание скрытых зависимостей, стандартов качества и негласных требований к коду является критически важным – и здесь ИИ пока что демонстрирует слабые результаты.
В итоге исследователи пришли к выводу, что современные инструменты искусственного интеллекта малоефективны при выполнении сложных задач в зрелых проектах, где скорость уступает важности качества. Тем не менее, METR считает, что с усовершенствованием моделей, в частности Claude 3.7, ситуация может улучшиться.
В целом, в исследовании подчеркивается: хотя ИИ уже полезен для отдельных аспектов программирования, его реальное применение в больших, сложных проектах пока что остается ограниченным. Разработчикам и компаниям рекомендуется учитывать эти ограничения и не завышать ожидания от автоматизации кодирования с помощью искусственного интеллекта.