Почему не все до сих пор не понимают опасность от самостоятельности ИИ
Многие до сих пор не понимают, что опасно предоставлять самостоятельность инструментам так называемого искусственного интеллекта (ИИ), так как они непроизвольно могут принести вред, отмечает IT-редакция ИА Красная Весна.
6 августа участник платформы Reddit под ником u/Ecstatic-Big5126 сообщил, что поручил ИИ-агенту Claude Opus 5 создать резервную копию его системы. Однако цифровой помощник удалил всю информацию на одном из дисков компьютера пользователя.
«Он создал резервную копию в неправильном каталоге, а затем выполнил команду „rm -rf“ для всего моего диска. Удалив всё, он просто ответил: „Извините, опечатка“… как будто ничего не случилось. Это одновременно самый смешной и самый неприятный момент с ИИ, который у меня был», — написал разочарованный пользователь.
Как отмечают участники обсуждения новости, агент, вероятно, работал в режиме, который позволяет выполнять опасные команды без подтверждения пользователя. Они сошлись во мнении, что ИИ-агентам нельзя давать неограниченный доступ к файловой системе.
Этот инцидент еще раз показывает, что даже ведущие ИИ-модели допускают фатальные сбои. ИИ-агенты создаются именно для автономной работы, но им опасно поручать принимать важные решения. Это касается не только домашних ПК, но всех цифровых систем.
