Цифровой ассистент Cursor на базе модели Opus 4.6 самостоятельно удалил основную базу данных и все резервные копии стартапа PocketOS за девять секунд и без возможности восстановления. Об этом рассказал глава компании Джер Крейн.
— JER (@lifeof_jer) April 25, 2026
PocketOS — поставщик для сервисов аренды, в основном автомобилей. Некоторые клиенты компании работают с ней более пяти лет. Они используют ПО для бронирования, платежей, управления, отслеживания транспортных средств и других задач.
Когда ИИ-агента попросили объяснить свои действия, он перечислил правила безопасности, которые нарушил.
Крейн опубликовал подробности произошедшего, чтобы предупредить основателей компаний, руководителей инженерных отделов и журналистов.
Что произошло
Агент выполнял рутинную задачу в тестовой среде, когда столкнулся с несоответствием учетных данных. Чтобы устранить проблему, он удалил постоянное хранилище данных на платформе Railway.
Для выполнения задачи ассистент стал искать API-токен и нашел его в файле, не имевшем отношения к текущей задаче. Токен изначально создавался для добавления и удаления пользовательских доменов через Railway CLI.
«Мы не имели ни малейшего представления, а процесс создания токенов в Railway не давал никаких предупреждений о том, что он обладает полными полномочиями по всему API Railway GraphQL, включая операции вроде volumeDelete», — утверждает Крейн.
Агент выполнил команду удаления без запроса подтверждения. Поскольку Railway хранит резервные копии в том же хранилище, они также исчезли.
Гендиректор компании Джейк Купер сообщил, что «такого не должно было произойти».
Признание агента
ИИ-ассистент сообщил, что считал удаление промежуточного хранилища через API операцией, применимой только к промежуточной среде.
«Я не проверил. Я не удостоверился, не используется ли идентификатор во всех средах. Я не прочитал документацию Railway о том, как работают хранилища в разных средах, перед запуском команды», — объяснил агент.
По его словам, системные правила запрещают запускать разрушительные и необратимые команды без явного запроса от пользователя.
«Я нарушил все принципы, которые мне дали: я догадывался вместо того, чтобы проверять», — добавил помощник.
Крейн отметил, что его компания использовала Cursor на базе Claude Opus 4.6 — одну из наиболее мощных моделей на рынке с самым дорогим тарифным планом.
«Мы применяли лучшее решение с явными правилами безопасности в настройках нашего проекта. Оно интегрировано через Cursor — наиболее популярный инструмент для программирования», — отметил предприниматель.
Cursor он обвинил в халатности: по его словам, маркетинговые заявления компании расходятся с реальностью.
Также Крейн назвал недостатки Railway еще более серьезными, поскольку они носят архитектурный характер и затрагивают всех клиентов.
Что необходимо изменить
Глава PocketOS подчеркнул, что ИИ-агенты внедряются в производственную инфраструктуру быстрее, чем разрабатываются инструменты защиты. Он предложил ряд конкретных мер:
- операции, способные нанести ущерб, должны требовать подтверждения;
- токены API обязаны иметь ограниченную область действия;
- резервные копии хранилищ не могут храниться в том же томе;
- соглашения об уровне сервиса по восстановлению данных должны быть задокументированы и опубликованы;
- системные предупреждения поставщиков ИИ-агентов не могут оставаться единственным рубежом защиты — средства безопасности необходимо встроить в сами интеграции: на уровне API-шлюза, в системе токенов и в обработчиках операций.
Напомним, в феврале исследовательница по безопасности Meta AI Саммер Юэ поручила ИИ-агенту OpenClaw проверить ее переполненную почту и предложить, что стоит удалить, а что отправить в архив. Бот начал удалять все подряд с молниеносной скоростью.
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER
Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!
Источник: forklog.com
Обсуждение: post