В Google создали технологию увеличения фото в 256 раз без потери качества
Результаты исследования «Создание высокоточных изображений с использованием моделей диффузии» представлены компанией Google, 30 августа сообщает англоязычный новостной портал о фотографиях и камерах PetaPixel.
Исследовательская команда Google Brain Team создала алгоритм и обучила модель машинного обучения SR3 увеличивать фотографии почти без потери качества. Вместо привычных глубоких генеративных моделей была применена диффузионная модуль обучения.
Результаты работы нового алгоритма качественно лучшие, чем все предыдущие аналоги. Алгоритм создает увеличенное изображение на основе оригинального и добавляет к нему шум. Действие продолжается, пока на изображении не остается один только шум. После этого алгоритм постепенно удаляет шум, ориентируясь на исходное изображение меньшего размера.
Алгоритм позволяет получить качественную версию фотографии, увеличенную до 256 раз по количеству пикселей в два прохода. Например, изображение 64 на 64 пикселя может быть увеличено сначала до 256 на 256 пикселей, а затем до 1024 на 1024 пикселя.
Двухпроходная реализация построена с применением еще одной модели — CDM. CDM обучена на 14 млн изображений с высоким разрешением. Алгоритм генерирует на основе качественных изображений небольшие. Затем небольшие изображения увеличиваются с помощью SR3 в несколько подходов. Обучение происходит за счет сопоставления восстановленных изображений с уменьшенными (но в меньшее количество раз) или оригинальными.
