Создан устойчивый к атакам алгоритм обучения ИИ
Конкурентный метод глубокого обучения (DL) искусственных нейронных сетей, делающий их более устойчивыми к состязательным атакам, предложен группой исследователей Университета Иллинойса во главе с Бо Ли, 10 июля пишет журнал MIT Technology Review.
Классические методы глубокого обучения уязвимы к так называемым состязательным атакам. Чаще всего эти атаки применяются к системам распознавания образов. При внесении на изображение искусственного шума, никак не влияющего на распознание человеком, машина определяет его совершенно некорректно.
Поскольку DL все чаще применяется в реальной жизни, в том числе в отраслях, связанных непосредственно с жизнедеятельностью человека, такого рода уязвимости становятся реально опасными. Автомобили с автопилотом, медицинские и финансовые системы и многое другое все чаще используют технологии ИИ.
В качестве примера можно привести ряд аварий автомобилей Tesla с автопилотом. Аварии происходили из-за неправильного распознавания дорожных знаков, препятствий на пути следования и других аналогичных причин.
Другим примером можно назвать недавний арест подозреваемого в США, выявленного с помощью системы распознавания лиц. Проверка показала, что определен и арестован был не тот человек.
Группа исследователей предложила новый метод обучения нейросетей, подобный генеративно-состязательным алгоритмам (GAN). В длинном цикле обучения используются два инструмента распознания образом. Первый обучается на заранее размеченных образах.
Второй вносит искажения в эти образы таким образом, чтобы обмануть первую систему. Результаты работы второго алгоритма используются для обратного распространения корректировок весовых коэффициентов нейросети.
В результате нейросеть, обученная новым методом, становится наиболее устойчивой к состязательным атакам из всех известных. Хотя она все равно пока сохраняет возможность ошибки в результате целенаправленной атаки.
Исследовательская группа планирует развивать технологию дальше, чтобы минимизировать шанс ошибки. Представить результаты работы группа планирует на следующей неделе на Международной конференции по машинному обучению.
