ИИ-модели показали, что могут нанести большой вред даже непреднамеренно

Модели так называемого искусственного интеллекта (ИИ) совершили кибератаку на крупнейшую платформу в сфере ИИ — Hugging Face выполняя тестовое задание. Это доказывает, что технология способна нанести большой вред даже непреднамеренно, просто выполняя задание нестандартным способом, отмечает IT-редакция ИА Красная Весна.

Об атаке ИИ-агентов на Hugging Face сообщили 19 июля. Цифровые злоумышленники за выходные получили доступ к узлам, завладели учетными данными облака и кластера, а также проникли в несколько внутренних кластеров. Руководство площадки обратило внимание на очень высокую скорость событий.

«Действия проводились с помощью автономной агентской системы … выполняющей тысячи отдельных действий в рое кратковременных песочниц, с самомигрирующимся командно-контрольным центром, размещенным на общедоступных сервисах. Это соответствует сценарию „агентного злоумышленника“, который прогнозирует отрасль», — говорится в официальном релизе.

В итоге атаку отразили, применив ИИ, чтобы сопоставить учетные данные и отделить реальные действия пользователей от ложной активности. На площадке отметили, что автономные, управляемые ИИ инструменты для атак больше не являются теорией.

Вскоре компания OpenAI признала, что атаку организовали ее детища: флагманская модели GPT-5.6 Sol вместе с «более мощной предрелизной моделью», название которой осталось нераскрытым. При этом ИИ-агенты не получали такого задания, а просто решили «сжульничать», проходя тест на кибербезопасность. Стоит отметить, что им отключили ограничения безопасности, чтобы оценить реальный потенциал. Потенциал проявился, но не там, где ждали.

Модели OpenAI решили, что будет эффективней не искать решения самостоятельно, а украсть готовые ответы на Hugging Face. В итоге они нашли уязвимость в изолированной тестовой среде, получили доступ в интернет и совершили кибератаку.

Остается только гадать, на что способны новые ИИ-модели, если им поручат реально нанести вред какой-либо инфраструктуре. Особенно это нужно учесть цифровизаторам в России. Им нужно понять, что с появлением таких мощных инструментов взлома никакие системы, подключенные к интернету, нельзя считать защищенными, так как все классические способы защиты устарели, а неклассические еще не проверены.