Попри значний прогрес у сфері автоматизації розробки програмного забезпечення, штучний інтелект ще далеко до повної заміни програмістів, особливо у питаннях налагодження та тестування коду. Це підтверджують результати досліджень компанії Microsoft Research, яка представила нове середовище debug-gym — спеціальний симулятор для тестування та вдосконалення ШІ-агентів у процесі налагодження реальних кодових баз.
Про це розповідає Бізнес • Медіа
Обмеження сучасних моделей штучного інтелекту у налагоджуванні
На відміну від популярних інструментів, таких як GitHub Copilot, debug-gym надає ШІ доступ до функцій, які раніше були недоступними моделям штучного інтелекту. Це включає точки переривання, навігацію по коду, читання змінних та створення тестів. Такі можливості дозволяють моделям діяти ближче до роботи справжнього розробника, але навіть при цьому вони демонструють лише 48,4% успішних рішень, зазначають експерти.
“Виправлення, пропоновані агентом кодування з можливостями налагодження, а потім схвалені програмістом, ґрунтуватимуться на контексті відповідної кодової бази, виконання програми та документації, а не покладатимуться винятково на здогади, що ґрунтуються на раніше переглянутих даних навчання”
Причини обмежень та перспективи розвитку
Дослідники вказують, що головною причиною недостатньої ефективності ШІ у налагоджуванні є відсутність достатніх навчальних даних із покроковими сценаріями тестування та налагодження. Крім того, моделі ще не навчені ефективно використовувати налагоджувальні інструменти. Наступним кроком може стати створення допоміжної моделі, яка збирала б необхідну інформацію для основної системи.
Автори наголошують, що головна цінність штучного інтелекту — це допомога людині, а не її заміна. Навіть при генерації коду під конкретні завдання, моделі можуть створювати уразливості та нестабільні рішення. Тому повна автоматизація процесу розробки наразі залишається недосяжною ціллю.
Роль людини у майбутньому розробці
Експерти підсумовують, що розвиток агентних ШІ-систем у програмуванні рухається вперед, але роль людських розробників залишається незамінною, особливо у складних задачах аналізу, інтерпретації та виправлення помилок.
Нагадаємо, раніше повідомлялося, що компанія Shopify планує наймати лише тих фахівців, яких не зможе замінити штучний інтелект.