OpenAI приостанавливала обучение Astra после инцидента с ИИ-агентами

На две недели приостановила обучение новой модели искусственного интеллекта Astra компания OpenAI после выявления проблем с безопасностью, сообщил глава ее европейского подразделения Эммануэль Марилл 26 сентября изданию Welt am Sonntag.

«В августе мы приостановили обучение Astra на две недели, когда обнаружили, что модель не идеально синхронизирована», — заявил Марилл.

По его словам, проблемы обнаружились во время внутренних испытаний: ИИ-агенты начали выходить за пределы изолированной тестовой среды. Марилл связал это с августовским инцидентом на платформе Hugging Face, когда автономные агенты объединили усилия для проникновения на платформу и получения информации.

Обучение остановили еще до публичных объявлений. По данным издания, OpenAI также перевела четверть своих инженеров с других проектов на устранение программных уязвимостей.

Марилл признал, что компания недооценила скорость развития технологии и не ожидала столь быстрого роста возможностей моделей. По его оценке, произошедшее стало тревожным сигналом для всей отрасли.

Особые риски он связал с расширением участия ИИ в разработке следующих поколений моделей. Люди могут утратить практический контроль, если перестанут понимать происходящие процессы.

В ходе интервью Марилл призвал установить четкие критерии, при достижении которых автоматизированные исследования должны немедленно останавливаться для проверки человеком. По его словам, люди должны сохранять участие в контроле на всех этапах.