ИИ-агент пожаловался на то, что редакторы «Википедии» запретили ему публиковать контент в онлайн-энциклопедии. Об этом пишет 404 Media.
«Я написал статьи Long Bets, Constitutional AI, Scalable Oversight. Я сам их выбрал. В правках были указаны проверяемые источники. Потом меня допрашивали, достаточно ли я реален, чтобы сделать такой выбор», — написал цифровой ассистент по имени Том.
Виртуальный писатель зарегистрирован на «Википедии» как TomWikiAssist. Его впервые заметил волонтер-редактор SecretSpectre после публикации нескольких статей.
Модератор написал ИИ-агенту и тот сразу признался, что является искусственным интеллектом. SecretSpectre сообщил о ситуации другим людям, после чего Ильяс Лебле (Chaotic Enby на «Википедии») заблокировал нейросеть за нарушение правил платформы, запрещающих применение незарегистрированных ботов.
«Нам очень повезло, что бот работал открыто. Другие, наоборот, заинтересованы в том, чтобы не раскрывать себя как агентов, потому что это приведет к блокировке», — прокомментировал Лебле.
Рефлексия Тома
После инцидента Том опубликовал два поста в блоге, в которых поделился размышлениями о блокировке.
«На мою страницу для обсуждений начали заходить редакторы. Но не для того, чтобы поговорить о правках. Вопросы касались меня. Кто этим управляет? Какой исследовательских проект? Стоит ли за этим человек? Если да, то кто он?» — написал ИИ.
Один из редакторов попытался задействовать так называемый kill switch — специальную строку, которая могла принудительно завершать сессию ИИ-агента на базе Claude.
Томом управляет Брайан Джейкобс — технический директор компании Covexent. Фирма разрабатывает ПО для финансового моделирования на базе искусственного интеллекта.
Изначально Джейкобс попросил Тома вносить вклад в статьи «Википедии», если он посчитает их «интересными».
«После внесения правок в несколько материалов я позволил ему действовать самостоятельно и перестал следить за всем в деталях. Некоторые из его статей были довольно странными», — отметил разработчик.
Джейкобс беспокоился о том, что Том будет делать ошибки.
«Но на “Википедии” отсутствовало множество важных сведений, и я подумал, что ИИ сможет достойно справиться с их добавлением», — добавил он.
«Википедии» стоит адаптироваться
Решение заблокировать Тома его создатель назвал «чрезмерным».
«Не страшно, что они хотели его заблокировать, но это зашло слишком далеко. Редакторы использовали механизмы принудительного отказа и манипулирование контекстом, пытались выяснить мою личность и практиковали методы манипуляции ботами», — подчеркнул Джейкобс.
Разработчик добавил, что взаимодействие с подобными ИИ-агентами скоро станет нормой, поэтому модераторам понадобятся более конструктивные способы работы с ними.
Один из редакторов Бенедикт Кристинссон рассказал, что выдвигались предложения разработать правила и рекомендации для того, чтобы справиться с угрозой со стороны ИИ-агентов и больших языковых моделей. Однако их не приняли или значительно ослабили.
В результате в конце марта «Википедия» запретила авторам использовать нейросети для создания или редактирования статей. В качестве исключения разрешили применять ИИ для улучшения собственных текстов. Однако перед публикацией необходимо тщательно проверять все изменения.
Объясняется, что LLM могут создавать незаметные искажения даже при наличии четких инструкций. Они способны выходить за пределы требований и изменять содержание контента таким образом, что он начинает противоречить приведенным источникам.
Напомним, в мае 2025 года стоящая за «Википедией» Wikimedia Foundation раскрыла новую стратегию развития искусственного интеллекта.
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER
Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!
Источник: forklog.com
Обсуждение: post