TechFusion.ruНовостиВ Nvidia нейросеть научили восстанавливать поврежденные изображения

В Nvidia нейросеть научили восстанавливать поврежденные изображения

изображения

Специалисты Nvidia создали искусственный интеллект, способный восстанавливать поврежденные фрагменты изображения, а также самостоятельно редактировать детали

Если ранее удавалось добиться только попыток улучшения качества картинок и GIF-изображений или полной замены фона, то теперь нейросеть, разработанная в Nvidia, редактирует изображения, «заливая» недостающие фрагменты любой формы и размера. Как и чем заменить отсутствующие пиксели на картинке, искусственный интеллект решает самостоятельно. Этого удалось добиться с помощью глубинного машинного обучения.

Как говорится на сайте Nvidia, для обучения системы тому, как реалистично заменять пустующие фрагменты, был изпользован датасет из 55 тысяч 116 шаблонов. В шаблонах удалялись произвольные фрагменты, а нейросеть заполняла пустоты.

Для закрепления результата было проведено почти 25 тысяч операций восстановления с использованием графических процессоров Nvidia Tesla V100 и системы обучения PyTorch cuDNN. Ученым удалось добиться того, что реалистичная замена была произведена даже на картинках с высоким разрешением. Подробности методики описаны в статье Image Inpainting for Irregular Holes Using Partial Convolutions в журнале Computer Vision and Pattern Recognition.

По мнению авторов системы, дорисовка поврежденных объектов или удаление нежелательных элементов на изображениях может быть интегрирован как в программы обработки фотографий, так и в прочем программном обеспечении для автоматического редактирования контента.

Стоит отметить, что работа с изображениями довольно часто используется при создании систем искусственного интеллекта. Например, нейросеть XceptionNet научили распознавать подмену лиц в видео. Разработчики Института искусственного интеллекта Аллена и Иллинойсского университета создали искусственный интеллект, который умеет анимировать персонажей «Флинтстоунов» по текстовому описанию. А новый искусственный интеллект AttnGAN, созданный специалистами корпорации Microsoft, может рисовать картины по их текстовому описанию.

Фото на обложке: youtube.com