Дослідження організації Model Evaluation and Threat Research (METR) виявило, що впровадження штучного інтелекту у процес розробки програмного забезпечення з відкритим кодом уповільнює виконання завдань на 19%. Це суперечить поширеним очікуванням серед розробників щодо підвищення продуктивності завдяки ШІ.
Про це розповідає Finway
Основні причини сповільнення: перевірка та неефективність
У ході експерименту брали участь 16 досвідчених розробників, які працювали над реальними завданнями підтримки репозиторіїв open source — від виправлення помилок до рефакторингу коду. Половина завдань виконувалася із застосуванням інструментів ШІ, таких як Claude і Cursor Pro, інша частина — без їхньої допомоги. Попри те, що програмісти сподівалися на приріст ефективності до 24%, фактично робота з ШІ займала більше часу.
Аналіз записів екранів показав, що прискорення написання і тестування коду зводиться нанівець через витрати часу на формулювання звернень до ШІ, перевірку пропонованих рішень і очікування на генерацію відповідей. У 56% випадків розробникам довелося самостійно виправляти створений ШІ код, а 9% часу було витрачено лише на перевірку результатів.
“Основні втрати часу пов’язані з перевіркою результатів генерації, очікуванням відповідей і контекстною неефективністю”.
Перспективи використання ШІ у складних проєктах
Дослідники звертають увагу, що існуючі тести продуктивності ШІ зазвичай базуються на спрощених завданнях, тоді як у реальних проєктах із мільйонами рядків коду та багаторічною історією критично важливим є розуміння контексту. Саме тут штучний інтелект наразі демонструє обмеження.
Фахівці METR підкреслили: сучасні ШІ-інструменти малоефективні у випадках, коли для якісної роботи необхідно враховувати приховані залежності або негласні вимоги до коду. Це особливо помітно у великих і зрілих open source проєктах, де якість важить більше, ніж швидкість виконання.
Водночас у звіті зазначається, що подальший розвиток ШІ, зокрема вдосконалення моделей на кшталт Claude 3.7, може згодом змінити ситуацію. На сьогодні ж розробникам і компаніям, які інтегрують ШІ у свої процеси, варто враховувати існуючі обмеження та не переоцінювати очікувану вигоду.
Нагадаємо, у чверті стартапів Y Combinator 95% коду вже написано ШІ-моделями, що свідчить про зростання ролі штучного інтелекту в ІТ-сфері, попри наявні виклики.