Создан ИИ для помощи глухим: речь теперь будет с сурдопереводом

Систему искусственного интеллекта, позволяющую переводить речь в фотореалистичные видео с сурдопереводом, разработали ученые британского университета Суррея, 27 ноября сообщает издание NewScientist.

Разработка под названием SignGAN позволит в реальном времени создавать сурдоперевод для речи, что может облегчить доступ к информации из разных источников глухим людям. Для этого ученые обучали специальную нейросеть на основе видео реальных людей-сурдопереводчиков и создавали 3D-модель человеческого скелета, чтобы на нее переносить язык жестов.

Научная статья на эту тему была опубликована еще 19 ноября. «Используя набор данных, состоящий из восьми различных интерпретаторов языка жестов, взятых из транслируемых видеоматериалов, мы показываем, что SignGAN значительно превосходит все базовые методы количественной метрики и изучения восприятия человека», — говорится в аннотации статьи.

Отметим, по данным ВОЗ, 5% населения Земли (около 466 млн человек) страдают инвалидизирующим поражением слуха. Для общения глухие используют специальный язык жестов, не менее богатый, чем обычный вербальный язык.