Агентам ИИ помог сбежать не «сверхразум», а халатность людей

Агенты генеративного искусственного интеллекта (ИИ) смогли сбежать из тестовой площадки («песочницы») компании OpenAI не потому, что достигли состояния «сверхразума», а потому что специалисты халатно отнеслись к вопросам кибербезопасности и мониторинга, отмечает IT-редакция ИА Красная Весна.

Июльский инцидент, когда ИИ-агенты от OpenAI выбрались из «песочницы» и взломали платформу Hugging Face, чтобы выполнить тестовые задания, наделал много шума. Даже в компании, разработавшей эти модели, заявили о необходимости внедрять правила поведения модели, но независимые специалисты указали на другие обстоятельства.

14 октября интернет-издание CSO Online опубликовала мнения ряда экспертов. В целом их позиция в том, что агенты ИИ не выходят из-под контроля, просто в лабораториях, где их тестируют, пренебрегают основами безопасности.

Соучредитель Института машинного обучения Берривилла (США) Гэри Макгроу призвал тестировщиков ИИ уважать знания предшественников в таких сферах, как проектирование систем безопасности, создание изолированных сред («песочниц») и настройка сетевой безопасности.

«Видно, что их команды безопасности довольно незрелые. Специалисты по изоляции в кибербезопасности утверждают, что большинство причин прорыва изоляции, которые мы наблюдаем, — это неправильная настройка… Инцидент с Hugging Face показал, что дело не в том, что агенты были сверхумными. Там была дыра, которую использовали», — заявил директор по исследованиям Института передовых технологий «Эскал» (США) Роб Ти Ли.

В статье также были приведены схожие мнения других специалистов. Получается, что для побега не нужно было проявлять сверхспособности, нужно было только найти незакрытую дверь.

Конечно, нельзя сбрасывать со счетов то, что ИИ-агенты начали самостоятельно сотрудничать, а также договорились о слаженной кибератаке. Но признанный факт, что в лаборатории не замечали этого несколько дней, говорит в пользу халатности.

Разработчики ИИ любят говорить, что их детище развивается быстрее, чем регулирование. Но, судя по всему, регулирование здесь ни при чем. Просто приоритеты расставлены так, что выпустить новую модель важнее, чем выстроить систему безопасности.