Новое исследование ученых выявило слабые места искусственного интеллекта
Работая над выявлением недостатков алгоритмов искусственного интеллекта (ИИ), исследовательская группа факультета компьютерных наук Копенгагенского университета первая в мире доказала, что, кроме простых задач, невозможно создать алгоритмы машинного обучения, которые всегда будут стабильны, сообщает 11 января пресс-служба университета.
Популярность ChatGPT и других решений на основе машинного обучения стремительно растет. Однако и у самых успешных алгоритмов есть определенные ограничения. Так, первыми в мире учеными из Копенгагенского университета было математически доказано, что алгоритмы для ИИ всегда будут стабильны только для решения простых задач.
Проведенное учеными исследование, результаты которого они представили в статье «Надежность и стабильность в обучении» на конференции Foundations of Computer Science (FOCS) 2023 года, может помочь в создании рекомендаций по эффективному тестированию алгоритмов, а также напомнит всем, что машины всё-таки человеческим интеллектом не обладают.
Да, ИИ успешно и точнее, чем врачи, интерпретирует сканированные медицинские изображения; он достаточно хорошо переводит с одних языков на другие и вскоре научится управлять автомобилем безопаснее, чем водители-люди. Но…
Предположим, беспилотный автомобиль, который отлично читает дорожные знаки, столкнется с тем, что кто-то наклеил на такой знак наклейку. Водителя-человека это не смутит, а вот ИИ, который управляет машиной, был обучен на совсем другом изображении, и он может прекратить движение.
Возглавляющий группу ученых профессор Амир Йегудаев пояснил решаемую ими в исследовании задачу:
«Мы хотели бы, чтобы алгоритмы были стабильными в том смысле, что если входные данные немного изменяются, выходные данные останутся почти такими же. Реальная жизнь включает в себя всевозможные шумы, которые люди привыкли игнорировать, а машины могут быть сбиты с толку».
Он отметил, что непосредственно автоматизированными автомобильными приложениями группа не занималась, но именно в таких случаях особенно хотелось бы, чтобы алгоритмы были стабильны, пусть подобные сбои не обязательно влекут за собой серьезные последствия:
«Если алгоритм ошибается только в нескольких очень редких обстоятельствах, это вполне приемлемо. Но если это происходит при большом количестве обстоятельств, это уже плохие новости».
Их научная статья не может использоваться в производстве для выявления ошибок в алгоритмах ИИ. Ученые, объясняет профессор, такой задачи перед собой не ставили:
«Мы разрабатываем язык для обсуждения слабых сторон алгоритмов машинного обучения. Это может привести к разработке руководств, описывающих, как следует тестировать алгоритмы. И в долгосрочной перспективе это может привести к разработке лучших и более стабильных алгоритмов».
Он указал, что их исследование может быть использовано, например, при тестировании алгоритмов защиты цифровой конфиденциальности.
«Некоторая компания может заявить, что разработала абсолютно безопасное решение для защиты конфиденциальности. Во-первых, наша методология может помочь установить, что решение не может быть абсолютно безопасным. Во-вторых, она сможет выявить слабые места», — пояснил Амир Йегудаев.
Однако главная заслуга данной научной статьи — это вклад в теорию. Особенно новаторским является математическое содержание, добавил ученый:
«Мы интуитивно понимаем, что стабильный алгоритм должен работать почти так же хорошо, как и раньше, при воздействии небольшого количества входного шума. Точно так же, как в случае дорожного знака с наклейкой. Но нам, как ученым-теоретикам в области информатики, необходимо четкое определение. Мы должны уметь описать задачу на языке математики. Какой именно шум должен выдерживать алгоритм и насколько близким к заданному результату должен быть результат, если мы хотим признать алгоритм стабильным? Именно на это мы и предложили ответ».
В настоящее время эта научная статья датских ученых вызвала большой интерес со стороны их коллег из мира теоретической информатики, но пока не в технологической отрасли.
«Машинное обучение продолжает стремительно развиваться, и важно помнить, что даже решения, которые очень успешны в реальном мире, всё еще имеют ограничения. Иногда может показаться, что машины способны мыслить, но в конце концов они не обладают человеческим интеллектом. Это важно иметь в виду», — подчеркнул в заключение ученый.
