Нейросеть научили определять музыку по телодвижениям исполнителей

Программный продукт, основанный на нейронной сети, способный анализировать движения тела музыканта с целью идентификации и выделения звучания инструмента, на котором он играет, разработан инженерами Массачусетского технологического института, 27 июня сообщает институтский новостной ресурс MIT News.

Как пишет издание, программа, получившая коммерческое название Music Gesture, сопоставляет движения музыкантов с темпом отдельных партий, позволяя выделить одну флейту или одну скрипку из ряда подобных инструментов. Music Gesture можно использовать для разных целей: от микширования звука и увеличения громкости инструмента в записи и до снижения уровня посторонних шумов, которые могут служить помехой во время конференц-связи.

Авторы разработки отмечают, что для проведения обучения нейросети они использовали синхронизированные аудио и видео треки различных исполнителей музыки.

«Мультисенсорная обработка является предшественником систем ИИ, которые смогут выполнять более сложные задачи», — поясняет профессор MIT и соавтор разработки Антонио Торралба.

Как отмечает издание, Music Gesture разработали на базе уже имеющейся разработки, позволяющей кликать на музыкальные инструменты в концертном видео, чтобы сделать их звучание громче или тише. Новая разработка включает анализ данных о ключевых положениях тела музыканта. Это же используют спортивные комментаторы для отслеживания движений спортсменов, сообщает MIT News.