Компания Microsoft представила новый инструмент для тестирования искусственного интеллекта под названием debug-gym, который предназначен для отладки программного обеспечения. Несмотря на значительный прогресс в автоматизации написания кода, искусственный интеллект все еще не в состоянии заменить программистов, особенно в области отладки.
Об этом сообщает Finway
Исследование, проведенное специалистами Microsoft Research, демонстрирует, что даже с доступом к профессиональным инструментам, модели искусственного интеллекта справляются с задачами хуже людей. Среда debug-gym позволяет ИИ использовать инструменты, которые ранее были недоступны, такие как точки останова, перемещение по коду, чтение переменных и написание тестов. Это приближает их к методам работы разработчика. Однако, несмотря на это, эксперты отмечают, что модели демонстрируют лишь 48,4% успешности в решении задач.
“Исправления, предлагаемые агентом кодирования с возможностями отладки, а затем одобренные программистом, будут основываться на контексте соответствующей кодовой базы, выполнения программы и документации, а не полагаться исключительно на догадки, основанные на ранее просмотренных данных обучения,” — утверждают в Microsoft.
Исследователи считают, что основной проблемой остается нехватка обучающих данных с пошаговыми отладочными сценариями, а также то, что модели не способны эффективно пользоваться отладочными инструментами. Следующим шагом может стать разработка вспомогательной модели, которая будет собирать необходимую информацию и передавать ее основному агенту.
Авторы исследования подчеркивают, что основная цель таких систем — помощь людям, а не их замена. Модели часто создают уязвимости и нестабильные решения, что свидетельствует о том, что полная автоматизация процесса разработки пока что является преждевременной. Эксперты отмечают, что, несмотря на прогресс, роль человека в сложных задачах анализа, интерпретации и устранения ошибок остается критически важной.
Напомним, недавно была опубликована информация о том, что компания Shopify планирует нанимать только тех сотрудников, которых не сможет заменить искусственный интеллект.