Несмотря на значительный прогресс в области автоматизации разработки программного обеспечения, искусственный интеллект еще далеко от полной замены программистов, особенно в вопросах отладки и тестирования кода. Это подтверждают результаты исследований компании Microsoft Research, которая представила новое окружение debug-gym — специальный симулятор для тестирования и совершенствования ИИ-агентов в процессе отладки реальных кодовых баз.
Об этом сообщает Бизнес • Медиа
Ограничения современных моделей искусственного интеллекта в отладке
В отличие от популярных инструментов, таких как GitHub Copilot, debug-gym предоставляет ИИ доступ к функциям, которые ранее были недоступны моделям искусственного интеллекта. Это включает точки останова, навигацию по коду, чтение переменных и создание тестов. Такие возможности позволяют моделям действовать ближе к работе настоящего разработчика, но даже при этом они демонстрируют лишь 48,4% успешных решений, отмечают эксперты.
“Исправления, предлагаемые агентом кодирования с возможностями отладки, а затем одобренные программистом, будут основываться на контексте соответствующей кодовой базы, выполнении программы и документации, а не полагаться исключительно на догадки, основанные на ранее просмотренных данных обучения”
Причины ограничений и перспективы развития
Исследователи указывают, что главной причиной недостаточной эффективности ИИ в отладке является отсутствие достаточных обучающих данных с пошаговыми сценариями тестирования и отладки. Кроме того, модели еще не обучены эффективно использовать отладочные инструменты. Следующим шагом может стать создание вспомогательной модели, которая собирала бы необходимую информацию для основной системы.
Авторы подчеркивают, что главная ценность искусственного интеллекта — это помощь человеку, а не его замена. Даже при генерации кода под конкретные задачи, модели могут создавать уязвимости и нестабильные решения. Поэтому полная автоматизация процесса разработки в настоящее время остается недостижимой целью.
Роль человека в будущем разработки
Эксперты подводят итог, что развитие агентных ИИ-систем в программировании движется вперед, но роль человеческих разработчиков остается незаменимой, особенно в сложных задачах анализа, интерпретации и исправления ошибок.
Напомним, ранее сообщалось, что компания Shopify планирует нанимать только тех специалистов, которых не сможет заменить искусственный интеллект.