Журналіст BBC Томас Жермен продемонстрував, наскільки легко можна вплинути на відповіді популярних чат-ботів зі штучним інтелектом — ChatGPT та Google AI Overview — лише одним публічним повідомленням у мережі. Експерти наголошують: ШІ-системи сьогодні набагато простіше ввести в оману, ніж традиційні пошукові сервіси, а ця вразливість несе реальні ризики для користувачів.
Про це розповідає Finway
Маніпуляції через відкриті джерела: як працює вразливість ШІ
Томас Жермен описав у своєму журналістському експерименті, як можна змусити великі мовні моделі видавати неправдиві твердження. Для цього він опублікував у блозі вигадану інформацію, наче є «чемпіоном із поїдання хотдогів», і невдовзі після цього ChatGPT, Google Gemini та AI Overview почали використовувати цей факт у своїх відповідях на відповідні запити, вважаючи його достовірним.
За словами журналіста, така маніпуляція можлива через механізм, за якого деякі ШІ-системи автоматично залучають дані з відкритих джерел, якщо їхніх власних знань недостатньо. Це робить їх особливо чутливими до дезінформації, що потрапляє в інтернет.
Жермен звертає увагу, що навіть один оптимізований текст може змінити результати відповідей для багатьох користувачів, а системи рідко чітко показують, що використовують лише одне джерело інформації.
Загрози для користувачів та реакція компаній
Віцепрезидентка зі стратегії та досліджень SEO в агенції Amsive Лілі Рей підкреслила, що індустрія ШІ розвивається швидше, ніж встигає впроваджувати надійні механізми контролю якості відповідей, що посилює потенційні ризики. Вона зазначила:
«Обдурити чат-боти зі штучним інтелектом легко, набагато легше, ніж обдурити Google два-три роки тому», — заявила Рей.
У Google повідомили, що використовують системи ранжування, які мають забезпечити майже повну відсутність спаму у відповідях. Компанія визнає наявність спроб маніпуляцій і працює над удосконаленням захисту, а OpenAI також запевняє, що вживає заходів для виявлення та припинення прихованого впливу на відповіді ШІ. Водночас обидві компанії застерігають: їхні моделі можуть помилятися.
Старший технолог Electronic Frontier Foundation Купер Квінтін наголошує, що подібні вразливості відкривають широкі можливості для зловживань — від шахрайства та дезінформації до репутаційних атак і навіть більш небезпечних сценаріїв. У матеріалі наведені випадки, коли ШІ-огляди спиралися на рекламні тексти та пресрелізи щодо продуктів і фінансових послуг, що може вводити користувачів в оману.
Фахівці рекомендують розміщувати більш помітні застереження та чітко вказувати джерела, особливо якщо інформація базується на одному джерелі чи пресрелізі. Томас Жермен підкреслює важливість обережного підходу до застосування ШІ для отримання медичних, юридичних чи локальних порад, закликаючи користувачів перевіряти походження тверджень та уважно ставитися до посилань.