Китайский ученый из ОАЭ объединился с роботом для создания музыки
Китайский ученый-компьютерщик и профессиональный музыкант профессор Гас Г. Ся, приглашенный в Университет искусственного интеллекта Мохамеда бин Зайда (MBZUAI), использует машинное обучение, чтобы заставить роботов импровизировать и предлагать идеи для создания новых музыкальных произведений, 21 июня пишет Khaleej Times.
Если музыкант-барабанщик или пианист не может участвовать в выступлении, профессор Ся спасет положение с помощью своего робота с искусственным интеллектом.
«Я использую интерактивные интеллектуальные системы и технологии для расширения человеческого музыкального самовыражения и возможностей», — сказал профессор Ся, который в настоящее время является доцентом компьютерных наук в Нью-Йоркском университете в Шанхае. Он получил докторскую степень на факультете машинного обучения Университета Карнеги-Меллона (США), где изучал цифровую музыку.
Исследовательская работа профессора Ся оснащает систему автоматического аккомпанемента машинным обучением, роботизированным воплощением и импровизацией на народную, поп-музыку или любые другие песни или мелодии.
Существующая система автоматического аккомпанемента заключается в том, что компьютер получает заранее заданную партитуру, и, как только человек играет произведение, система обеспечивает исполнение, дополняющее динамику и темп.
Профессор Ся занимается исследованиями взаимодействия человека с компьютером в течение последних 10 лет.
«Есть несколько уровней применения. На первом уровне компьютер знает, на чем я буду играть. В режиме реального времени я могу ускориться или замедлиться, алгоритм отслеживает мой темп и доставляет дополнение. На втором уровне, когда я делаю экспрессивное представление, машина может учиться на репетиции, чтобы лучше предвидеть мое следующее движение. На третьем уровне есть воплощение робота. У робота могут быть свои собственные жесты тела и выражения лица в зависимости от моего музыкального выражения и времени», — сказал профессор Ся, директор Music X Lab.
В настоящее время профессор Ся выводит его на новый уровень, позволяя системе импровизировать, объединяя свои идеи с музыкой, которую играет человек, для создания новой композиции.
«На четвертом уровне, которым я занимаюсь сейчас, находится импровизация. В этом случае робот не до конца знает, что я буду играть. Это не предопределенная оценка. Это предопределенный ведущий лист (форма нотной записи) только с сырым наброском того, что я собираюсь сделать. Я могу импровизировать и сыграть существующую пьесу или что-то новое, и на основе этого материала робот будет импровизировать. Он объединит некоторые из своих собственных идей с моей музыкой и представит что-то новое. Есть разные слои, и я строю пятый слой», — добавил Ся.
Исследовательская работа профессора Ся включает тестирование системы на фортепиано, саксофоне и флейте. Он использует алгоритмы, которые уходят своими корнями в область компьютерного зрения и компьютерной графики.
«Я не собираюсь заменять людей своей системой. Но система может быть частью группы», — рассказал ученый, который с оптимизмом смотрит на то, что роботизированная система с искусственным интеллектом может принять запрос от аудитории и сыграть мелодию.
Профессор Ся начал заниматься музыкой, когда ему было 3 года, начал играть на саксофоне в 10 лет и на китайской флейте, когда ему было 12. Он был главным солистом Института китайской музыки Пекинского университета и дал сольный концерт в 2010 году. Его изобретения были частью экспериментов, проведенных во время его докторской диссертации.
«Одна из причин, по которой я создал этого робота, который будет дополнять меня, заключается в том, что во время учебы в докторантуре я не мог позволить себе профессионала для своей работы и решил изобрести своего собственного. Я планирую провести тематический концерт в Дубае в следующем месяце. Надеюсь, роботизированная система будет частью этого», — заключил Ся.
В ближайшие месяцы профессор Ся планирует дальше общаться со студентами и заниматься исследовательской работой в MBZUAI в Абу-Даби.
