Новый искусственный интеллект Movie Gen научился создавать видео со звуком

О создании новой модели искусственного интеллекта под названием Movie Gen, способной генерировать реалистичные видео- и аудиоклипы по запросам пользователей, объявила компания Мета (организация, деятельность которой запрещена в РФ), 4 октября сообщает Reuters.

Компания заявляет, что новая модель опережает ведущие стартапы в области создания медиа, такие как OpenAI и ElevenLabs.

Представленные примеры видеороликов от Movie Gen показывают животных, плавающих и занимающимися серфингом, а также видеоролики с использованием изображений реальных людей, на которых те, например, рисуют на холсте.

Movie Gen также может генерировать фоновую музыку и звуковые эффекты, синхронизированные с содержанием видео, а также накладывать сгенерированный звук на любые другие готовые видео.

Видеоролики, создаваемые Movie Gen, пока ограничены по длительности 16 секундами, а аудио — не более 45 секундами.

Объявление прозвучало на фоне попыток Голливуда в 2024 году использовать технологию генеративного искусственного интеллекта для создания видео. В феврале 2024 года компания OpenAI впервые продемонстрировала, как ее продукт Sora может создавать высокохудожественные видеоролики в соответствии с текстовыми описаниями пользователя.