Нейросети научились преобразовывать сигналы в мозгу в речь
Современный интерфейс «мозг-машина», способный при помощи нейросетей преобразовывать сигналы из мозга человека в синтетическую речь естественного звучания, создали неврологи Калифорнийского университета в Сан-Франциско, 24 апреля сообщает Medical Xpress.
Исследованием руководили научный сотрудник Калифорнийского университета в Сан-Франциско Гопала Ануманчипалли и аспирант биоинженерии Джош Шартье.
Ученые указывают, что черепно-мозговая травма, а также ряд тяжелых заболеваний может приводить к необратимой потере способности говорить. Для таких людей специалисты создают специальные устройства, которые помогают компенсировать утраченную человеческую речь при помощи речи синтетической. Однако на сегодняшний день подобные устройства позволяют человеку произносить не более 10 слов в минуту, при естественном темпе человеческой речи 100–150 слов в минуту.
Интерфейс, созданный американскими специалистами, управляется непосредственно сигналами из человеческого мозга и позволяет воспроизводить не только отдельные слова, но и целые фразы. Виртуальный голосовой тракт, моделирующий губы, челюсть, язык и гортань человека, передает не только сами слова, но и эмоции человека.
Настройка интерфейса и его испытания проводились в Центре эпилепсии Калифорнийского университета в Сан-Франциско. Пациентов с неповрежденной речью попросили прочитать несколько сотен предложений вслух.
Расшифровкой сигналов, поступающих из мозга пациентов, занимались обучающиеся нейросети. Задача сети — проанализировать сигнал и отправить команду в голосовой синтезатор.
Проводившие эксперимент ученые отметили, что нейросетям удается правильно расшифровать более 2/3 несложных слов, при этом 43% предложений были расшифрованы с идеальной точностью. Сложные слова сети распознают лишь в половине случаев. Нейросетям удалось расшифровать речь даже в том случае, когда человек произносил слова про себя.
Ученые заявляют, что симуляция голосового тракта одного человека может быть адаптирована для реагирования на нейронные инструкции, поступившие из мозга другого человека. Полученные в исследовании результаты показывают, что люди с потерей речи смогут научиться управлять речевым протезом, смоделированным по образцу человека с неповрежденной речью.
Напомним, обучающиеся нейронные сети находят все более широкое применение при решении сложных задач. В 2018 году нейронная сеть AlphaZero за несколько часов самостоятельно обучилась игре в шахматы, после чего со значительным перевесом обыграла сильнейший из существующих в мире шахматных компьютеров.
