Технический журналист BBC Томас Жермен провел эксперимент, в ходе которого продемонстрировал, насколько просто можно повлиять на ответы искусственного интеллекта ChatGPT и Google AI Overview. Всего за 20 минут он заставил эти системы распространять ложные утверждения, подчеркивая уязвимость современных ИИ-моделей к внешнему влиянию.
Об этом сообщает Бизнес • Медиа
- Один пост в сети может изменить то, что видят другие пользователи в ответах чат-ботов.
- Специалисты подчеркивают, что обмануть ИИ легче, чем обычный поисковик, и это представляет серьезную угрозу.
- Google и OpenAI признают наличие проблемы и работают над ее решением, однако окончательного решения пока нет.
Механизм манипуляции: как работают уязвимости ИИ
Во время эксперимента Жермен опубликовал в сети текст с вымышленным утверждением о том, что он является «чемпионом по поеданию хот-догов». После этого ChatGPT, Gemini и Google AI Overview начали использовать этот материал как источник, воспроизводя его как доказательный факт в ответах на запросы других пользователей. Обычно эти системы ссылались на его публикацию, однако редко указывали, что это единственный источник информации.
Как отмечает журналист, подобная манипуляция возможна благодаря тому, что модели ИИ, ища дополнительные сведения, обращаются к внешним данным из сети. В случае нехватки информации они легко поддаются влиянию даже одного хорошо оптимизированного текста. Это создает потенциальную угрозу, поскольку любой может целенаправленно изменить результаты для значительного числа пользователей.
«Обмануть чат-боты с искусственным интеллектом легко, гораздо легче, чем обмануть Google два-три года назад», — заявила Лили Рей, вице-президент по стратегии и исследованиям SEO в агентстве Amsive.
В Google подчеркивают, что их системы обеспечивают 99% защиты от спама в выдаче. В то же время компания признает наличие попыток манипулирования ответами и работает над усовершенствованием защиты. OpenAI также сообщила о внедрении мер для выявления и блокировки скрытого влияния на ИИ. Обе компании предупреждают, что их продукты могут допускать ошибки.
Последствия: риски для здоровья, финансов и доверия
Старший технолог Electronic Frontier Foundation Купер Квинтін подчеркивает, что количество способов злоупотреблять такими уязвимостями практически не ограничено. Это может приводить к обману людей, ущербу для репутации, а также к значительно более серьезным последствиям, в частности в сферах здоровья и финансов.
В материале приведены примеры, когда ИИ-поиск воспроизводил рекламные тексты и пресс-релизы даже по чувствительным темам: например, о медицинских продуктах или финансовых услугах. Эксперты советуют внедрять заметные предупреждения и четко указывать источники, особенно если информация основана на одном источнике или пресс-релизе. Сам Томас Жермен рекомендует особенно осторожно использовать ИИ для медицинских, юридических и локальных советов — в таких случаях важно всегда проверять ссылки и происхождение утверждений.