Компания Anthropic в рамках тестирования искусственного интеллекта запустила инициативу Claude Plays Pokémon, в рамках которой их новейшая модель, Claude 3.7 Sonnet, пытается управлять персонажем в классической игре для Game Boy. Однако, за более чем месяц попыток, ИИ так и не смог «победить» покемонов, сообщают эксперты сайта ArsTechnica.
Об этом сообщает Finway
Хотя разработчики заявляют, что новая модель демонстрирует улучшенные навыки планирования, запоминания целей и адаптации к изменениям в игре, Claude все еще сталкивается с рядом трудностей. ИИ может застревать в тупиках, неудачно взаимодействовать с игровыми персонажами (NPC) или повторять одни и те же ошибки.
Вызовы в восприятии визуальной информации
Одной из главных проблем для Claude 3.7 Sonnet является восприятие визуальной информации. Модель использует текстовые данные игры и считывает информацию непосредственно из памяти, однако ее возможности интерпретации пиксельных изображений остаются ограниченными. По словам разработчика проекта Дэвида Херши, ИИ значительно легче распознавал бы элементы с более реалистичной графикой.
Кроме того, навигация в игре является еще одним вызовом. Claude не всегда осознает, что некоторые здания непроходимы, и может часами пытаться пройти через стену.
Ограничения памяти и самокоррекция
Проблема памяти также вызывает сложности. Контекстное окно модели имеет ограничение в 200 000 токенов, и когда оно заполняется, ИИ пытается подвести итоги накопленным знаниям, что иногда приводит к потере важных деталей. Если модель делает ошибку, она может застрять на неверных данных, полагая, например, что выход из локации находится не там, где есть на самом деле.
Тем не менее, последние версии Claude уже демонстрируют элементы самокоррекции, что является важным шагом для дальнейшего развития искусственного интеллекта. Разработчики считают, что расширение контекста и улучшение обработки изображений могут помочь модели приблизиться к успешному прохождению игры.
В настоящее время эксперимент показывает, что даже передовые языковые модели, несмотря на достижения в анализе текстовой информации и планировании, все еще сталкиваются с основными ограничениями при взаимодействии с миром, что отдаляет их от настоящего искусственного общего интеллекта (AGI).
Напомним, мы писали, что ИИ позволил парализованному пациенту управлять роботизированной рукой с помощью силы мысли.