Исследователи из Университета Аризоны провели комплексное исследование, ставящее под сомнение глубину и надежность так называемых «цепочек размышлений» в современных больших языковых моделях (LLM). Эксперты подчеркивают, что эти модели в основном воспроизводят знакомые шаблоны, а не развивают истинные навыки абстрактного мышления.
Об этом сообщает Finway
Хрупкая природа рассуждений в языковых моделях
В рамках исследования была разработана специализированная тестовая среда под названием DataAlchemy. Ученые обучили небольшие LLM выполнять простые текстовые преобразования, такие как шифр ROT и циклические сдвиги. После этого модели должны были комбинировать эти операции в новые последовательности, с которыми они не сталкивались во время обучения.
Результаты экспериментов выявили ряд проблем: искусственный интеллект часто предоставлял правильный ответ, но сопровождал его ложным объяснением, или, наоборот, рассуждал правильно, но выдавал неверный результат. Даже незначительные изменения, такие как длина текста или используемые символы, резко снижали точность ответов моделей.
«Цепочки размышлений в их текущей форме представляют собой структурированное отображение на образец, которое ломается при малейшем изменении условий. В то же время способность модели генерировать связный, но неверный текст создает иллюзию надежности, которая может ввести пользователей в заблуждение.»
Риски для критически важных секторов
Ученые отмечают, что добавление даже небольшого объема релевантных данных через контролируемую тонкую настройку (SFT) улучшает результаты моделей. Однако это лишь частичное решение проблемы, так как не обеспечивает истинные способности абстрактного мышления. Исследователи охарактеризовали этот подход как «заплатку», а не фундаментальное решение.
Авторы исследования призывают разработчиков и пользователей проявлять осторожность при применении ИИ в областях, где ошибочные выводы могут иметь критические последствия: в медицине, финансах и праве. Они подчеркивают, что приравнивание выводов CoT к человеческому рассуждению опасно, и будущие модели должны научиться выходить за рамки простого распознавания шаблонов, чтобы обеспечить подлинные способности рассуждения.
По мнению исследователей, современные бенчмарки должны уделять больше внимания задачам, выходящим за пределы обучающих данных, чтобы своевременно выявлять слабые места искусственного интеллекта.