TechFusion.ruНовостиИскусственный интеллект обучили делать фото в полной темноте

Искусственный интеллект обучили делать фото в полной темноте

Искусственный интеллект

Группа ученых Иллинойсского университета в Урбане-Шампейне и компании Intel разработали метод получения качественных фотографий, снятых в полной темноте

Если ранее удавалось добиться только попыток небольшого улучшения качества картинок и GIF-изображений, то теперь искусственный интеллект, разработанный американскими исследователями научился делать минимальным шум и максимальной яркость на фотографиях, снятых в условиях низкой освещенности или в полной темноте.

Ранее уже существовали методы улучшения фотографий, снятых при плохом освещении. Их снимают либо при большой выдержке (что приводит к размытию изображения), либо повышают светочувствительность камеры (это приводит к появлению большого количества шумов). При всех недостатках, эти методы все равно не применимы к снимкам, сделанным в полной темноте — только при малом освещении.

Нейросеть, обученная учеными Иллинойсского университета в Урбане-Шампейне и компании Intel, обрабатывает обычные фотографии, снятые на простые камеры или смартфоны ночью, в сумерках и подобных условиях. Без специальной техники и освещения такие фотографии выглядят практически «черным квадратом». Но искусственный интеллект превращает их в довольно яркие и качественные фотографии.

Это слайд-шоу требует JavaScript.

Разработчики использовали метод глубокого машинного обучения с использованием полностью сверточной сети. Такая сеть получает данные сразу с матрицы аппарата, сделавшего снимок. Для обучения использовался датасет из пяти тысяч изображений, снятых при условии освещения не больше 0,1 люкса в помещении и 0,3 до 5 люкс — при имеющихся малых источниках света или на улице.

«Тренировка» нейросети по схеме end-to-end learning проходила на парных снимках — сделанных в полной темноте и тех же местах, но снятых при отличном освещении. На таких примерах искусственный интеллект научился восстанавливать недостающие детали, заменять искаженные объекты, а также сглаживать дефекты.

В итоге нейросеть научилась «читать» даже полностью черные снимки. На финальных тестах обработка одного изображения занимала до 0,66 секунд. Единственное, что не поддалось алгоритму — движущиеся объекты. Полное описание методики и результаты ее работы представлены в статье Learning to See in the Dark в журнале Computer Vision and Pattern Recognition.

Стоит отметить, что работа с изображениями довольно часто используется при создании систем искусственного интеллекта. Например, нейросеть XceptionNet научили распознавать подмену лиц в видео. Специалисты Nvidia создали алгоритм, способный восстанавливать поврежденные фрагменты изображения, а также самостоятельно редактировать детали.

Разработчики Института искусственного интеллекта Аллена и Иллинойсского университета разработали систему, которая умеет анимировать персонажей «Флинтстоунов» по текстовому описанию. А новый искусственный интеллект AttnGAN, созданный специалистами корпорации Microsoft, может рисовать картины  «на заказ».

Фото на обложке: pixabay.com