TechFusion.ruНовостиПриложение Puppets.World «оживляет» фотографии: они могут двигаться и разговаривать

Приложение Puppets.World «оживляет» фотографии: они могут двигаться и разговаривать

Puppets.World

Компания Puppets.World объявила о запуске одноименного приложения для анимации фотографий, картин и рисунков.  Алгоритмы искусственного интеллекта «оживляют» картинки, загруженные пользователями в приложение, делая из них видео со звуком

Приложение Puppets.World позволяет анимировать «марионетку» — фотографию человека, картину с портретом, рисунок от руки, изображение мультипликационного персонажа. Для этого нужно записать видео, которое будет использоваться для «оживления», выбрать «марионетку» и нажать кнопку «Puppet”. Система сгенерирует ролик, на котором «марионетка» будет повторять слова и мимику с исходного видео.

Puppets.World можно скачать в App Store бесплатно. Для создания роликов длиной больше 30 секунд можно приобрести PRO-минуты (PRO minutes). Это ускорит процесс генерации нового видео, улучшит качество видео, позволит удалить маркировку Puppets.World и рекламу.

Разработчики заявляют, что их технология уникальна и принципиально отличается от процесса «морфинга», который используется в так называемых deepfake-приложениях ReFace и FaceApp. В последних нейронные сети применяются для модификации лица на исходном видео знаменитости так, чтобы оно приобрело черты пользователя. В итоговом ролике модифицированное лицо повторяет мимику знаменитости. Puppets.World применяет тот же класс нейронных сетей — Generative Adversarial Network (GAN), но подход к созданию видео отличается.

«Puppets.World создает карту черт лица и отслеживает, как они меняются и двигаются на исходном видео, затем транслирует эти данные марионетке, заставляя ее повторять слова и мимику. Мы не генерируем новое лицо, не используем морфинг. По сути, мы оживляем портрет» — рассказал сооснователь и технический директор Puppets.World Александр Гунин.

Авторы приложения говорят, что оно создано для индустрии развлечений и медиа. Его могут использовать профессиональные блогеры и обычные пользователи. Но потенциал технологии намного больше, указывает основатель и генеральный директор Puppets.World Леонид Шейба: «Она может применяться в различных сценариях и отраслях: в маркетинге и рекламе, образовательных сервисах, контактных центрах банков и ритейлеров. Наша система пригодится для локализации кинофильмов. Например, при переводе с английского на русский, движения губ актёра и выражения лица в идеале тоже должны меняться. Это можно делать автоматически с помощью наших алгоритмов».