Искусственный интеллект научили обманывать другой искусственный интеллект

Методику для обмана анализирующего текст искусственного интеллекта (ИИ) разработали исследователи из Массачусетского технологического института (MIT), 23 февраля сообщает Wired.

Исследователи обратили внимание на то, что незначительное изменение фразы, понятное человеку, может обманывать ИИ. Они разработали алгоритм, чтобы заменить слова синонимами и обмануть распознающий текст ИИ. Нюанс в том, что для подбора синонимов атакующий алгоритм сам же использует ИИ.

В качестве примера приводится фраза «The characters, cast in impossibly contrived situations, are totally estranged from reality.» («Персонажи, сыгранные в невероятно надуманных ситуациях, полностью оторваны от реальности»), которая является негативным отзывом к фильму.

Если заменить в ней слова синонимами, то фразу «The characters, cast in impossibly engineered circumstances, are fully estranged from reality» («Персонажи, сыгранные в невероятно искусных обстоятельствах, полностью оторваны от реальности»), то ИИ считает отзыв положительным.

Обманывать можно ИИ-системы и других типов, в данном случае уязвимости в основном были продемонстрированы в системах распознавания изображений и речи.

Исследователи отметили, что подобные малозаметные искажения данных могут обманывать ИИ и использоваться для атак на системы, что становится значимым по мере распространения ИИ в области финансов, здравоохранения и др.