TechFusion.ruНовостиНейросеть CRAFT научили создавать анимацию по описанию

Нейросеть CRAFT научили создавать анимацию по описанию

CRAFT

Разработчики Института искусственного интеллекта Аллена и Иллинойсского университета в Урбане-Шампейне научили искусственный интеллект анимировать персонажей «Флинтстоунов» по текстовому описанию

Нейросеть под названием CRAFT — Composition, Retrieval and Fusion Network — обучили создавать короткие анимированные ролики с персонажами мультипликационного сериала «Флинтстоуны» по текстовому описанию. Она генерирует движение персонажей, основываясь на слова, которые описывают необходимые действия.

Алгоритм обучали на основе датасета из 25 тысяч 184 видеоролика, размеченных вручную. В текстовом описании анимации нейросеть научилась различать описание фона, композицию и саму сущность сцены — что должен делать персонаж или персонажи.

Стоит понимать, что нейросеть не рисует анимацию «с нуля», а выбирает подходящие картинки и движения из базы роликов. При этом, программа может допускать ошибки, но исследователи продолжают обучение. К сожалению, пока возможности нейросети сильно ограничены из-за необходимости вручную описывать и размечать все ролики.

Подробности исследования и результаты обучения и тестирования опубликованы в статье Imagine This! Scripts to Compositions to Videos в журнале Computer Vision and Pattern Recognition. Также пример работы CRAFT можно увидеть в видео ниже.

Фото на обложке: youtube.com