TechFusion.ruНовостиВ Nvidia нейросеть научили менять стиль видеороликов

В Nvidia нейросеть научили менять стиль видеороликов

Nvidia
Екатерина Рыбачёк

Екатерина Рыбачёк

Новостной редактор TechFusion.ru,
гедонист, оптимист,
любитель котиков и технологий
Екатерина Рыбачёк

Искусственный интеллект, созданный инженерами Nvidia, умеет анализировать видео и создать на его основе такое же, но в другом стиле. Например, с помощью такой нейросети можно мультик превратить в фильм, и наоборот

Nvidia часто показывает наработки новых нейросетей, связанных с обработкой изображений. Искусственный интеллект в компании уже научили восстанавливать поврежденные изображения и улучшать четкость зернистых кадров. И даже «на лету» подделывать видео и фото оказалось под силу специалистам компании и их разработкам.

Новая нейросеть анализирует кадры и создает из них стабильную картинку. Искусственный интеллект рассчитывает оптический поток на основе базового видео и создает маску деформации для последнего кадра. После анализа и подготовки алгоритм создает первый кадр и формирует видеоряд.

Nvidia

Label-to-Streetview Results

Алгоритм представляет собой генеративно-состязательную нейросеть. Умение системы анализировать каждый кадр позволяет создавать стабильную и реалистичную последовательность кадров в новом ролике. Чтобы кадры согласовывались, искусственный интеллект рассчитывает оптический поток на основе предыдущих кадров и создает маску деформации для последнего кадра.

Nvidia

Pose-to-Body Results

На завершающем этапе нейросеть создает новый кадр. Он формируется из деформируемого предыдущего кадра и картинки, дорисованной искусственным интеллектом. Подробнее о принципе работы нового алгоритма можно прочитать в в статье Video-to-Video Synthesis в журнале Computer Vision and Pattern Recognition.

Иллюстрация на обложке: tcwang0509.github.io