Нейросеть научили раскрашивать ч/б видео по нескольким кадрам с примерами
Нейросеть, способную в диалоговом режиме улучшать и раскрашивать черно-белое кино, создали японские ученые, 8 февраля сообщает YouTube-канал Two Minute Papers.
Исходными данными для раскрашивания являются несколько заранее раскрашенных вручную кадров из видео. Для каждого видеокадра нейросеть находит наиболее похожие кадры из набора примеров, чтобы использовать их цвета.
Более того, нейросеть для каждого видеокадра показывает вклад каждого из кадров-примеров. Так что если автоматическое раскрашивание дало сбой, то понятно, что в исходном наборе следует поменять для улучшения результата.
Последнее качество особенно важно. Обычно отладка нейросетевых алгоритмов является сложным процессом из-за невозможности визуализации самого процесса принятия решений подобным типом искусственного интеллекта. В данном случае исследователи сумели преодолеть данную особенность.
Перед раскрашиванием нейросеть также удаляет артефакты и устраняет мерцание яркости, характерные для старых видеокадров.
По сравнению с предыдущими работами в этой области за 2017-18 года, разработка японских ученых показывает в целом лучшее качество раскрашивания.
Улучшения появились, в том числе благодаря использованию нейросети с механизмом внимания (attention-based) вместо рекуррентной нейросети.
Механизм внимания позволяет нейросети акцентировать свое «внимание» на повторяющихся визуальных паттернах, а отказ от рекуррентности (строго связывающей последующий кадр с предыдущим) позволяет достигнуть большей скорости работы благодаря параллелизму и использовать больше одного кадра-примера.
Авторы Сатоси Иидзука и Эдгар Симо-Серра приводят сравнение работы их собственного и других алгоритмов на разных примерах видеоряда. Новая нейросеть выдает более насыщенную картинку, которая значительно реже теряет цветность, чем у аналогов.
В итоге предложенный алгоритм дает возможность резко сократить усилия при улучшении и раскрашивании старых фильмов или кинохроники.
Читайте также: Google представил новую технологию перевода при помощи нейронной сети
