TechFusion.ruНовостиИскусственный интеллект научили раскрашивать видеоролики

Искусственный интеллект научили раскрашивать видеоролики

видеоролики
Екатерина Рыбачёк

Екатерина Рыбачёк

Новостной редактор TechFusion.ru,
гедонист, оптимист,
любитель котиков и технологий
Екатерина Рыбачёк

В Disney Research разработали нейросеть, которая качественно и естественно раскрашивает черно-белые видеоролики, превращая их в полноцветные

Искусственный интеллект постоянно учат обрабатывать видеоролики. Нейросети уже умеют подделывать видео и менять его стилистику. А теперь ИИ научили возвращать естественные цвета в монохромные изображения. При раскрашивании видеоизображения новая ИИ-система, обученная на датасете DAVIS и роликах YouTube, проводит семантический анализ кадров и учитывает при выборе цветов соответствия на соседних кадрах.

При начале работы, программе необходимо получить один цветной кадр. Для обработки видео используется гибридная система, где две нейросети обрабатывают изображения, распространяя цвет исходного кадра локально и глобально. Т.е., первая нейросеть окрашивает кадры последовательно, а вторая проверяет правильность окрашивания в целом, сравнивая не только соседние кадры, но и объекты в любой точке видео.

После этого пары цветных кадров, обработанные разными алгоритмами, объединяются с черно-белым изображенем и становятся одним окончательным вариантом. Подробнее метод возвращения цветности в монохромные видеоролики описан в статье Deep Video Color Propagation в журнале Computer Vision and Pattern Recognition.

Иллюстрация на обложке: youtube.com