Излишнее «усердие» ИИ-агента выявило новые риски технологии

Работа с агентами с так называемым искусственным интеллектом (ИИ) Google Antigravity несет серьезные риски утраты информации, находящейся на компьютере пользователя, отмечает IT-редакция ИА Красная Весна.

В начале декабря один из американских программистов сообщил, что поручил ИИ-агенту очистить кеш проекта, но цифровой помощник удалил все файлы на диске D, минуя корзину. Агент объяснил свои действия ошибкой в системе и долго извинялся, но потерянные данные не удалось восстановить.

Программист призвал коллег быть осторожней, но решил и дальше использовать Antigravity. При этом ряд пользователей платформы Reddit, комментируя историю, сообщили, что у них этот ИИ-агент также удалял или повреждал файлы.

Есть поговорка, что хуже дурака только дурак инициативный, и это хорошо описывает ботов. Они очень стараются угодить пользователю, но не осознают катастрофических последствий от своих действий.

Этот инцидент не является банальной бытовой ситуацией, он обнажает фундаментальную проблему цифровых помощников: слепое доверие к решениям ИИ недопустимо. А там, где речь идет о необратимых действиях, необходим не просто человеческий контроль, а многоэтапное подтверждение. Возможно, к каким-то задачам эту технологию нельзя подпускать в принципе.

Кроме того, разработчик, чьи файлы были уничтожены, вряд ли сможет рассчитывать на компенсацию по стандартным пользовательским соглашениям. Создан правовой вакуум, где ущерб от действий ИИ никто не покрывает.