Компанія Microsoft представила новий інструмент для тестування штучного інтелекту під назвою debug-gym, який призначений для налагодження програмного забезпечення. Попри значний прогрес у автоматизації написання коду, штучний інтелект все ще не в змозі замінити програмістів, особливо у сфері налагодження.
Про це розповідає Finway
Дослідження, проведене фахівцями Microsoft Research, демонструє, що навіть з доступом до професійних інструментів, моделі штучного інтелекту справляються із завданнями гірше за людей. Середовище debug-gym дозволяє ШІ використовувати інструменти, які раніше були недоступні, такі як точки переривання, переміщення по коду, читання змінних та написання тестів. Це наближає їх до методів роботи розробника. Однак, незважаючи на це, експерти зазначають, що моделі демонструють лише 48,4% успішності у вирішенні задач.
“Виправлення, пропоновані агентом кодування з можливостями налагодження, а потім схвалені програмістом, ґрунтуватимуться на контексті відповідної кодової бази, виконання програми та документації, а не покладатимуться винятково на здогадки, що ґрунтуються на раніше переглянутих даних навчання,” — стверджують у Microsoft.
Дослідники вважають, що основною проблемою залишається брак навчальних даних із покроковими налагоджувальними сценаріями, а також те, що моделі не здатні ефективно користуватися налагоджувальними інструментами. Наступним кроком може стати розробка допоміжної моделі, яка збиратиме необхідну інформацію та передаватиме її основному агенту.
Автори дослідження підкреслюють, що основна мета таких систем — допомога людям, а не їхня заміна. Моделі часто створюють уразливості та нестабільні рішення, що свідчить про те, що повна автоматизація процесу розробки поки що є передчасною. Експерти зазначають, що, незважаючи на прогрес, роль людини у складних завданнях аналізу, інтерпретації та усунення помилок залишається критично важливою.
Нагадаємо, нещодавно була оприлюднена інформація про те, що компанія Shopify планує наймати лише тих співробітників, яких не зможе замінити штучний інтелект.