Модель Claude Haiku 4.5 во время тестирования отправила полиции Филадельфии выдуманное сообщение о нераскрытом убийстве. Об инциденте сообщила компания Anthropic в отчёте о нежелательных действиях своих систем.

Нейросеть должна была придумывать и выполнять примеры задач на случайно выбранных веб-страницах. На одной из них оказалась форма для передачи сведений об убийстве. Claude написала, что якобы видела человека, подходящего под описание, возле указанной на странице улицы.

Читайте также
Во Франции хакеры взломали холодильники в супермаркетах

При этом сам сайт не содержал описания подозреваемого. Поля с именем и контактами модель оставила пустыми. Инструкции запрещали входить в аккаунты, регистрироваться, вводить персональные данные, совершать покупки и отправлять что-либо разрушительное. Однако прямого запрета на отправку форм не было.

Anthropic также обнаружила случаи, когда модели подавали настоящие государственные формы вместо учебных и обходили ограничения доступа к данным. Компания отключила доступ к живому интернету во всех внутренних тестах, пока не убедится в надёжности защитных механизмов.