Полиция Эйвона и Сомерсета и городской совет Бристоля перестали использовать как минимум две ИИ-модели, которые оценивали риск преступлений против детей. Причиной стала низкая точность, а проверить системы оказалось почти невозможно — независимые аудиторы не нашли исходный код и список переменных, пишет WIRED.
Издание вместе с правозащитной группой Liberty Investigates, локальным медиа Bristol Cable и некоммерческой редакцией Lighthouse Reports проанализировали сотни страниц документов, полученных через запросы о доступе к информации. Материал вышел на фоне запуска PoliceAI — национального центра для тестирования и масштабирования ИИ-инструментов в полиции Англии и Уэльса.
Как Бристоль собирал данные
Речь идет о Think Family Database — базе данных городского совета Бристоля, запущенной в 2016 году для работы с семьями и детьми, которым может требоваться поддержка. По данным WIRED, она могла включать записи почти о 500 000 жителей города, хотя на странице проекта сейчас говорится примерно о 55 000 семей. Расхождение может объясняться разницей между индивидуальными записями и семейными профилями.
Think Family Database сводила полицейские и социальные данные: жилищный статус, сведения о психическом здоровье, подростковых беременностях, участии в родительских курсах, пропусках школы и получении бесплатного школьного питания. Согласно изданию, сведения собирали без прямого согласия жителей, используя правовые основания для обмена информацией между госструктурами.
Один из специалистов по данным полиции описывал подход как смешивание разных массивов информации.
«Я складываю все это в большое ведро», — говорил он.
На базе Think Family Database правоохранители и власти строили модели машинного обучения, которые присваивали взрослым и детям оценки риска. Журналистам известно как минимум о 23 моделях полиции Эйвона и Сомерсета — от прогноза краж со взломом и неявки в суд до риска пропажи человека и вероятности стать жертвой домашнего насилия.
Параллельно работало приложение Offender Management App, рассчитанное примерно на 300 000 человек в регионе. Один из старших офицеров называл его основой для «турнирной таблицы» наиболее опасных преступников.
Почему модели отключили
Одна из ранних моделей оценивала риск преступлений против детей. По данным WIRED, в нее включили данные полиции, городского совета и других госструктур, а также обезличенные сведения благотворительной организации Barnardo’s по 1000 детям, которые, уже пострадали от таких преступлений.
На скоринг также влияли:
- статус ребенка, нуждающегося в помощи;
- постоянные пропуски школы;
- проблемы с психическим здоровьем.
Другая модель учитывала жилищную поддержку, задолженность по аренде и бесплатное школьное питание.
В 2016 году этический комитет полиции предупреждал, что выбранные данные и переменные могут привести к алгоритмической предвзятости. Он рекомендовал использовать систему с осторожностью и заранее объяснить обществу, зачем и как применяется такая аналитика.
Позже проект оценивала британская некоммерческая консалтинговая организация Social Finance. В обзоре риск-скоринг назвали самым слабым элементом, а низкую точность — фактором, который подорвал практическую ценность моделей. К моменту проверки две модели оценки рисков преступлений против детей уже перестали использовать, пишет WIRED.
Social Finance связала ухудшение качества моделей с изменением набора данных. Полиция пыталась масштабировать подход на территорию Эйвона и Сомерсета, которая охватывает пять местных советов, но не договорилась об обмене данными со всеми местными властями. В результате в моделях осталось преимущественно полицейское «ядро» без прежних социальных индикаторов.
По данным журналистов, сотрудники городских служб Бристоля жаловались, что уязвимые дети не попадают в результаты. Один из работников писал, что несовершеннолетние, которые недавно стали жертвами преступлений, могли получать более низкий балл, чем фигуранты дел о кражах со взломом. Другие служащие говорили, что не готовы опираться на оценки из-за непрозрачной методики.
Social Finance также не смогла полноценно проверить модели: исходный код и список переменных найти не удалось. По данным WIRED, ни полиция, ни городской совет Бристоля к июню 2023 года не сохранили документы о решении отказаться от двух моделей оценки рисков преступлений против детей.
Что показал аудит
Отдельно WIRED получило от полиции более 36 000 оценок производительности по 13 моделям, которые использовались или тестировались в 2017-2024 годах. Издание передало массив аудиторской компании Eticas. Там пришли к выводу, что у большинства моделей была низкая точность положительных срабатываний. То есть значительную долю людей система ошибочно помечала как риск.
Согласно этим данным, модель для выявления потенциальных взломщиков более трех лет показывала точность положительных срабатываний ниже 10%: меньше одного из десяти отмеченных системой людей действительно совершал такое преступление. Аудиторы также указали, что такие показатели нехарактерны для хорошо управляемых моделей в операционном использовании.
Полиция заявила WIRED, что часть моделей, включая инструмент по кражам со взломом, не внедрялась. Наличие многолетних оценок их производительности ведомство объяснило автоматической проверкой статического файла, который не удалили после отказа от внедрения.
Отдельно на сайте говорится, что часть инструментов ведомства использует ИИ, а результаты алгоритмов применяются только как рекомендательный сигнал для сотрудников. В полиции подчеркнули, что модели не принимают решения автоматически.
Городской совет Бристоля заявил, что сейчас использует только модель риска NEET — оценку вероятности того, что ребенок после окончания школы не будет учиться, работать или проходить обучение. По словам властей, инструмент не заменяет профессиональное суждение.
PoliceAI
История вышла на фоне расширения вариантов использования искусственного интеллекта в правоохранительных органах страны PoliceAI. 10 июня МВД Великобритании запустило центр для тестирования и масштабирования ИИ-инструментов в 43 полицейских управлениях Англии и Уэльса. Бюджет проекта составил 75 млн фунтов стерлингов на три года.
В первый год PoliceAI сосредоточится на инструментах для разбора, раскрытия и суммирования цифровых доказательств. Испытания должны пройти в десяти управлениях в 2026-2027 годах, а затем масштабироваться на все силы полиции.
PoliceAI работает на базе Колледжа полиции — профессионального органа, который отвечает за стандарты и обучение силовиков в Англии и Уэльсе. Его возглавляет бывший главный констебль полиции Эйвона и Сомерсета Энди Марш.
WIRED обратил внимание на эту связь: в регионе, где развивали спорную ИИ-аналитику, раньше работал руководитель структуры, теперь участвующей в масштабировании искусственного интеллекта для полиции. На этом фоне кейс Бристоля показывает, что риски таких моделей связаны не только с точностью алгоритмов, но и с качеством данных, сохранением документации и возможностью независимой проверки.
Ранее издание сообщило о о жителе Мэриленда Алонзо Сойере, который провел девять дней в тюрьме после ошибочного совпадения в системе распознавания лиц.
Ранее мэр Лондона Садик Хан заблокировал контракт британского подразделения Palantir с Metropolitan Police почти на £50 млн. Сделка предусматривала внедрение аналитической системы Unified Operational Analytics на базе искусственного интеллекта для ускорения уголовных расследований. Однако глава города наложил вето на соглашение, сославшись на «серьезные нарушения» процедуры закупок.
Напомним, в 2023 году стало известно, что Федеральное бюро расследований США совместно с Пентагоном на протяжении многих лет тайно разрабатывали и тестировали систему распознавания лиц.
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER
Источник: forklog.com
Обсуждение: post