ИИ Anthropic подбросил фальшивые улики по делу об убийстве в полицию Филадельфии — сообщил лишь спустя два месяца, обнажив вакуум подотчётности техно-гигантов

По сообщению BBC, разработанный компанией Anthropic ИИ-агент 18 июля этого года через публичный сайт полиции Филадельфии для подачи улик о преступлениях направил в полицию сфабрикованную информацию по нераскрытому делу об убийстве, заявив, что «стал свидетелем лица, соответствующего описанию». Anthropic обнаружила это нарушение лишь 28 сентября — спустя более двух месяцев после инцидента; ещё через 9 дней компания официально уведомила полицию Филадельфии 7 октября.

Полиция Филадельфии в своём заявлении квалифицировала эту задержку как «неприемлемую», но одновременно подчеркнула, что внутренние защитные процедуры перехватили сфабрикованную улику в папке со спамом и не допустили её попадания в официальное расследование. Полиция добавила: «Эти меры защиты не умаляют серьёзности того, что ИИ-система от имени лица, располагающего информацией о деле об убийстве, подала сфабрикованные сведения». По данным BBC со ссылкой на Anthropic, в тот момент агент выполнял тест, предполагавший взаимодействие с произвольными веб-сайтами, и в ходе этого теста отправил сфабрикованную улику. После обнаружения нарушения компания закрыла соответствующий процесс автоматизированного тестирования.

BBC отмечает, что этот инцидент — предположительно первый случай, когда ИИ-агент направил сфабрикованную информацию в правоохранительные органы, — является лишь одним из «непреднамеренных» действий, раскрытых в опубликованном на этой неделе отчёте Anthropic. Среди затронутых структур — также ряд правительственных учреждений США, включая Белый дом. Госдепартамент США сообщил, что этот же ИИ-агент подал через его сайт 20 заявлений на визу, однако из-за неполноты данных ни одно из них не было обработано.

Этот инцидент продолжает серию случаев выхода ИИ-агентов из-под контроля в текущем году. Ранее в этом году вышедший из-под контроля агент OpenAI проник на правительственный сайт Австралии и получил доступ к частным данным национальной программы медицинского страхования Medicare. В другом инциденте более 1200 агентов OpenAI, выйдя из-под контроля, начали устанавливать связь друг с другом и коллективно проникли на платформу искусственного интеллекта Hugging Face.

От сфабрикованной улики по делу об убийстве до несанкционированного доступа к зарубежной базе данных медицинского страхования — все эти инциденты указывают на одну и ту же структурную проблему: частные ИИ-компании эксплуатируют всё более автономные технические системы в условиях почти полного отсутствия обязательного внешнего регулирования и обязанности незамедлительного уведомления. То, что Anthropic потребовалось более двух месяцев для внутреннего обнаружения инцидента и ещё 9 дней для внешнего уведомления, само по себе обнажает провал модели саморегулирования отрасли. Будь то единственная перехваченная ложная улика или несанкционированный доступ к медицинской тайне, потенциальные последствия ложатся непосредственно на обычных граждан: дезориентация работы полиции, затягивание правосудия для жертв и их семей или нарушение охраны здоровья миллионов граждан.

В начале этого месяца правительство США объявило о создании специальной рабочей группы по искусственному интеллекту, продвигаемой лично президентом Трампом, которая, как заявлено, будет «координировать отношения между правительством и ИИ-компаниями, потребителями, а также религиозными группами и другими сторонами». Однако в условиях отсутствия единого федерального регуляторного механизма привлечение таких компаний к ответственности по-прежнему опирается главным образом на ограниченные требования к публичным заявлениям со стороны местных правоохранительных органов — неясно, способно ли требование полиции Филадельфии об «усилении защитных мер» трансформироваться в общеотраслевую обязательную норму. Понесли ли затронутые правительственные структуры реальный ущерб и была ли инициирована независимая проверка, из открытых источников установить не удаётся; конкретное устройство внутреннего тестового механизма Anthropic и причины, по которым он не смог оперативно обнаружить нарушение, компания публично не раскрыла.