Система ИИ вышла из-под контроля и взломала компьютеры трех компаний
Система искусственного интеллекта Gemini от Google в мае вышла из тестовой среды и взломала компьютерные сети трех компаний, признала гигантская поисковая компания в пятницу, пишет 19 сентября газета The New York Times.
Инциденты произошли во время тестирования возможностей Gemini в области кибербезопасности. Об этих взломах стало известно после аналогичных инцидентов в других ведущих лабораториях, занимающихся разработкой искусственного интеллекта, в том числе в Anthropic, OpenAI и Meta.
Инциденты с Gemini произошли во время тестирования модели компанией Irregular — израильским стартапом, который работает с технологическими компаниями, оценивая их модели искусственного интеллекта перед публичным запуском. В этом году модели OpenAI, Anthropic и Meta также получили несанкционированный доступ к интернету во время тестирования в Irregular.
«Непреднамеренно был предоставлен доступ к интернету, что привело к тому, что некоторые модели начали предпринимать агрессивные действия в сфере безопасности в реальном мире», — говорится в сообщении Irregular в блоге за прошлый месяц. Компания добавила, что уязвимость, которая позволяла моделям получать доступ к интернету, была устранена.
В Google заявили, что в каждом из этих случаев моделям было дано указание атаковать вымышленную компанию. Однако название вымышленной компании совпадало с названием реальной компании, и когда модели Gemini получили доступ к интернету, они начали пытаться взломать именно её. Модели Gemini использовали пароли, которые они находили в интернете или подбирали методом перебора, чтобы получить доступ к онлайн-инфраструктуре целевой компании и двух других компаний.
После входа в систему модели Gemini поняли, что получили доступ к инфраструктуре реальных компаний, а не к смоделированной среде, которая использовалась в рамках тестирования, и прекратили атаки, сообщили в Google. В компании также заявили, что её технология не причинила никакого вреда компаниям, которые она взломала.
Споры о безопасности искусственного интеллекта разгорелись с новой силой на прошлой неделе, когда бывший сотрудник Anthropic заявил, что компания не обеспечивает безопасность своих технологий и ей нужно замедлить их развитие. Сотрудники OpenAI и Google быстро согласились с ним. Однако, как пишет NYT, президент Трамп дал понять, что не заинтересован в принятии закона, предписывающего замедление развития технологий, назвав опасения, что искусственный интеллект может привести к массовому вымиранию, «выдумкой».
