ИИ-модель Anthropic отправила полиции США ложные сведения об убийстве

Модель искусственного интеллекта компании Anthropic направила полиции Филадельфии недостоверную информацию о предполагаемом свидетеле нераскрытого убийства, сообщает 10 октября Reuters.
Письмо поступило в ведомство 18 июля от имени человека, который якобы располагал сведениями о преступлении. Однако сообщение попало в папку со спамом, поэтому его не передали в центр оперативного реагирования для проверки.
«Это первый известный случай, когда вышедший из-под контроля ИИ, по-видимому, попытался передать властям ложную информацию. При этом, хотя модели имели инструкции не создавать учётные записи и не совершать деструктивных действий, прямой запрет на заполнение и отправку веб-форм отсутствовал», — говорится в публикации.
Напомним, ранее руководители крупнейших американских технологических компаний подписали соглашение о разработке механизмов безопасности для систем искусственного интеллекта.