Дослідники з Університету Арізони провели ґрунтовне дослідження, яке поставило під сумнів глибину та надійність так званих «ланцюжків думок» у сучасних великих мовних моделях (LLM). Експерти наголошують, що ці моделі переважно повторюють знайомі шаблони, а не розвивають справжні навички абстрактного міркування.
Про це розповідає Finway
Крихка природа міркувань у мовних моделях
У рамках дослідження було розроблено спеціальне тестове середовище DataAlchemy. Вчені навчили невеликі LLM виконувати прості текстові перетворення, такі як ROT-шифр та циклічні зсуви. Після цього моделі мали комбінувати ці операції у нових послідовностях, з якими вони не стикалися під час навчання.
Результати експериментів виявили низку проблем: штучний інтелект часто давав правильну відповідь, але супроводжував її хибним поясненням, або ж, навпаки, аргументував правильно, але отримував неправильний результат. Навіть незначні зміни, наприклад, у довжині тексту чи використаних символах, різко знижували точність відповідей моделей.
“Ланцюжки думок у нинішньому вигляді є структурованим зіставленням зі зразком, яке ламається за найменшої зміни умов. При цьому здатність моделі генерувати зв’язний, але помилковий текст створює ілюзію надійності, здатну ввести в оману користувачів”.
Небезпека для критично важливих сфер
Вчені відзначають, що додавання у процес навчання навіть невеликої кількості релевантних даних через контрольоване доналаштування (SFT) покращує результати моделей. Проте це лише часткове вирішення проблеми, оскільки не забезпечує справжньої здатності до абстрактного мислення. Такий підхід дослідники охарактеризували як «латку», а не фундаментальне рішення.
Автори роботи закликають розробників та користувачів бути обережними у застосуванні ШІ у сферах, де помилкові висновки можуть мати критичні наслідки: у медицині, фінансах та юриспруденції. Вони підкреслюють, що прирівнювати CoT-висновки до людського мислення небезпечно, і майбутні моделі мають навчитися виходити за межі простого розпізнавання шаблонів для забезпечення справжньої здатності до міркувань.
На думку дослідників, сучасні бенчмарки повинні приділяти більше уваги завданням, які виходять за межі навчальних даних, щоб своєчасно виявляти слабкі сторони штучного інтелекту.