Команда по анализу угроз стартапа Anthropic в сентябре обнаружила и сорвала первую в своем роде кампанию по кибершпионажу, проведенную ИИ.
Получившая имя GTG-1002 операция с большой долей вероятности была спланирована китайской госструктурой, считают эксперты.
Атаки затронули около 30 организаций, включая крупные технологические компании, предприятия химической промышленности и правительственные учреждения.
ИИ-агенты в качестве киберзлоумышленников
Особенностью масштабной операции стало то, что злоумышленники манипулировали моделью Claude Code от Anthropic с целью заставить ее действовать как автономного агента. В результате ИИ самостоятельно выполнял подавляющее большинство тактических операций — до 80-90% всей работы.
Люди-операторы при этом выступали исключительно в роли высокоуровневых руководителей кампании. Специалисты Anthropic считают, что это первый задокументированный случай кибератаки, реализованной без существенного человеческого вмешательства.
В ходе операции ИИ-агентам поручалось проводить разведку, обнаруживать уязвимости, разрабатывать эксплойты, собирать и изымать данные. Это позволяло производить действия гораздо быстрее, чем способны реальные хакеры.
Человеческое участие в основном было ограничено общим планированием атак и определением ключевых точек вроде перехода к активации эксплойта, объема скачиваемых данных.
Злоумышленникам пришлось обходить встроенную в ИИ-модель защиту от вредоносных действий. Для этого они разбивали атаки на казалось бы невинные действия и создавали атмосферу некой «ролевой игры». Операторы также представлялись Claude сотрудниками кибербезопасности легитимных компаний, якобы тестирующих системы защиты.
Галлюцинации ИИ как благо
Перечисленные методы позволили злоумышленникам вести кампанию достаточное время, чтобы получить доступ к некоторым намеченным целям. Однако исследователи Anthropic выявили существенный недостаток организованной кампании: ИИ серьезно галлюцинировал в ходе атак.
Согласно выводам экспертов, Claude зачастую завышал результаты и фальсифицировал данные. Часть информации, полученной моделью с помощью взлома систем, оказалась общедоступной.
Эта тенденция потребовала от операторов тщательной проверки всех результатов, что серьезно сказалось на общей эффективности операции.
По мнению исследователей, подобное свойство моделей выступает значительным препятствием для организации реально автономных атак. К тому же, эта особенность моделей приводит к большему количеству помех и ложных срабатываний в результате действий ИИ-агентов, что облегчает мониторинг угроз службами безопасности.
Технологическая гонка между хакерами и службами кибербезопасности обостряется
Кампания GTG-1002 еще раз подтвердила, что использование ИИ значительно снизило барьеры для организации сложных кибератак, отметили эксперты Anthropic. Теперь группировки с ограниченными ресурсами могут реализовать кампании, для которых прежде требовалась целая команда опытных хакеров.
Однако те же возможности Claude, которые задействовали в организаторы GTG-1002, являются «незаменимыми инструментами киберзащиты», подчеркнули исследователи. Они, например, активно использовали способности ИИ-модели анализировать огромные объемы данных в ходе расследования.
Эксперты выразили уверенность, что практика применения злоумышленниками искусственного интеллекта продолжит совершенствоваться и расширяться. Это потребует принятия адекватных мер и дополнительных инвестиций.
«В кибербезопасности произошли фундаментальные изменения. Мы рекомендуем профильным специалистам экспериментировать с применением ИИ для защиты в таких областях, как автоматизация Центра управления безопасностью, обнаружение угроз, оценка уязвимостей и реагирование на инциденты», — заключили исследователи.
Напомним, команда Google Threat Intelligence Group выявила, что хакеры приловчились использовать ИИ-модели для создания динамического вредоносного ПО.
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER
Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!
Источник: forklog.com
Обсуждение: post