Корпорация Google ужесточила политику использования поисковых ИИ-инструментов после публичного эксперимента журналиста BBC Томаса Жермена.
Еще в феврале Жермен заметил, что результатами поисковой выдачи искусственного интеллекта можно манипулировать. Этим злоупотребляют недобросовестные компании для собственной выгоды, как правило с целью рекламы.
«Мы обнаружили примеры, когда ChatGPT, Gemini и ИИ-ответы в верхней части результатов поиска Google использовались для предоставления предвзятых ответов по таким серьезным темам, как здоровье и личные финансы», — написал он.
За 20 минут журналисту удалось «обмануть» нейросеть. В общедоступных результатах Gemini от Google называла Журамена «чемпионом мира по поеданию хот-догов».
«Шутка глупая. Проблема серьезная», — добавил автор BBC.
Еще в апреле Google сообщила, что уже фиксирует непрямые атаки «инъекции промпта» (prompt injection). Однако недавний случай заставил фирму более внимательно отнестись к проблеме.
В компании отдельно упомянули SEO-сценарии, когда владельцы веб-сайтов пытаются заставить ИИ рекомендовать именно их бизнес или продукт.
В Google официально привязали подобные практики к своей антиспам-политике. Теперь спамом считается не только манипулирование ранжированием ссылок, но и попытка повлиять на генеративные ответы.
Таким образом вставляющие скрытые инструкции ради AI Overviews или AI Mode сайты могут понизить в выдаче или вовсе исключить из результатов поиска. Фактически Google распространяет прежние принципы борьбы с SEO-манипуляциями на ИИ-поиск (AIO/GEO).
Что такое непрямая «инъекция промпта»
С технической точки зрения непрямая «инъекция промпта» — косвенное введение подсказок для модели.
В отличие от классического взлома ИИ, где пользователь напрямую пытается обойти ограничения, здесь вредоносная инструкция скрывается внутри внешнего источника данных:
- веб-страницы;
- документа;
- письма;
- другого контента, который ИИ использует при формировании ответа.
В Google называли непрямую «инъекцию промпта» одной из ключевых угроз для агентских ИИ-систем. Проблема в том, что модель не всегда способна надежно отделить запрос пользователя от вредоносной инструкции.
В документации по безопасности Gemini сообщается, что устойчивость к таким атакам невозможно обеспечить одним способом. Корпорация делает ставку на комбинацию фильтрации контента, корректировки поведения моделей и постоянного тестирования новых сценариев манипуляции.
При этом Google не запрещает использование искусственного интеллекта или автоматизации как таковых. Позиция компании сводится к тому, что ИИ-контент допустим, пока он создается для пользы, а не ради манипуляции.
Напомним, в мае корпорация представила Gemini 3.5 Flash — «самую мощную» ИИ-модель в области программирования и создания агентов.
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER
Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!
Источник: forklog.com
Обсуждение: post