Microsoft выявила уязвимости у самых продвинутых ИИ-агентов

Уязвимости при работе на симуляторе торговой площадки выявили у ряда продвинутых автономных моделей искусственного интеллекта (ИИ-агентов) исследователи американской компании Microsoft совместно с Университетом Аризоны, сообщило 7 ноября интернет-издание Techcrunch.

Для тестирования использовали платформу Magentic Marketplace. Она создает синтетическую среду, где агенты могут взаимодействовать, например, имитируя ситуацию, когда агент-покупатель пытается заказать ужин по инструкциям пользователя, в то время как агенты-рестораны конкурируют за этот заказ.

В первых экспериментах было задействовано 100 агентов на стороне покупателей и 300 на стороне бизнеса. Исследование выявило неожиданные уязвимости современных моделей, включая GPT-4o, GPT-5 и Gemini-2.5-Flash. В частности, были обнаружены техники, с помощью которых бизнес-агенты могут манипулировать агентами-покупателями, заставляя их приобретать свои продукты.

Критической проблемой оказалась перегрузка агентов при выборе из большого количества опций. Эффективность агентов-покупателей значительно падала по мере увеличения вариантов выбора, что свидетельствует о неспособности текущих моделей справляться с информационной перегрузкой — ключевой задачей, для решения которой они и предназначены.

«Мы видим, что существующие модели действительно перегружены из-за слишком большого количества вариантов», — заявила управляющий директор лаборатории AI Frontiers Lab в Microsoft Research Эче Камар.

Хотя производительность улучшалась при предоставлении более явных инструкций, исследователи подчеркивают, что базовые способности моделей требуют значительного улучшения.