bts merchandisebts shopbts sweatshirtbts clothesarmy bombbts official army bombbangtan bombbts army bomb ver 4bts army bomb ver 3bts army bombbts light stickbts official light stickbts light stick ver 4bts light stick ver 3bts dollsbt21 plushiesbts hoodiebts jacketbt21 hoodiebts shirt
TechFusion.ruНовостиВ Nvidia нейросеть научили менять стиль видеороликов

В Nvidia нейросеть научили менять стиль видеороликов

Nvidia

Искусственный интеллект, созданный инженерами Nvidia, умеет анализировать видео и создать на его основе такое же, но в другом стиле. Например, с помощью такой нейросети можно мультик превратить в фильм, и наоборот

Nvidia часто показывает наработки новых нейросетей, связанных с обработкой изображений. Искусственный интеллект в компании уже научили восстанавливать поврежденные изображения и улучшать четкость зернистых кадров. И даже «на лету» подделывать видео и фото оказалось под силу специалистам компании и их разработкам.

Новая нейросеть анализирует кадры и создает из них стабильную картинку. Искусственный интеллект рассчитывает оптический поток на основе базового видео и создает маску деформации для последнего кадра. После анализа и подготовки алгоритм создает первый кадр и формирует видеоряд.

Nvidia

Label-to-Streetview Results

Алгоритм представляет собой генеративно-состязательную нейросеть. Умение системы анализировать каждый кадр позволяет создавать стабильную и реалистичную последовательность кадров в новом ролике. Чтобы кадры согласовывались, искусственный интеллект рассчитывает оптический поток на основе предыдущих кадров и создает маску деформации для последнего кадра.

Nvidia

Pose-to-Body Results

На завершающем этапе нейросеть создает новый кадр. Он формируется из деформируемого предыдущего кадра и картинки, дорисованной искусственным интеллектом. Подробнее о принципе работы нового алгоритма можно прочитать в в статье Video-to-Video Synthesis в журнале Computer Vision and Pattern Recognition.

Иллюстрация на обложке: tcwang0509.github.io