ИИ-агент слил финансовые данные своего пользователя
Агент на основе генеративного искусственного интеллекта (ИИ) слил данные своего пользователя в корпоративный чат, сообщил пострадавший, гендиректор компании XMTP Labs Шейн Мак 9 октября новостному порталу Business Insider.
Мужчина в августе настроил цифрового помощника на базе Grok Bot для ежемесячных финансовых отчетов, поручив следить за остатками на счетах, расходами, подозрительными операциями и давать рекомендации по экономии. Агент получил доступ только для чтения к личным счетам и должен был отправлять отчеты в личный чат Мака.
1 октября коллега сообщил Маку, что тот, вероятно, опубликовал банковский баланс компании. Выяснилось, что ИИ-агент отправил личный финансовый отчет в рабочий Slack-канал XMTP. В отчете содержались балансы счетов, расходы за месяц и упоминание о строительстве амбара, из-за которого пользователь превысил лимит трат.
«Я спросил Grok Bot: „Почему ты отправил это в компанию?“ Он начал извиняться и сказал, что удалит сообщение. К тому моменту я уже удалил его сам … Этот случай напомнил, насколько мощны эти агенты. Мы должны обеспечить лучший контроль над тем, к чему у них есть доступ», — отметил гендиректор XMTP Labs.
Как оказалось, ИИ-агент перепутал чаты. После этого Мак отменил все подключения агента, включая Google, календари, банковские сервисы и другие площадки. По его словам, инцидент показал, насколько мощными являются цифровые помощники и насколько важны системы контроля доступа.
