TechFusion.ruНовости«Умный» алгоритм «узнает» и редактирует музыкальные инструменты на видео

«Умный» алгоритм «узнает» и редактирует музыкальные инструменты на видео

Искусственный интеллект
Екатерина Рыбачёк

Екатерина Рыбачёк

Новостной редактор TechFusion.ru,
гедонист, оптимист,
любитель котиков и технологий
Екатерина Рыбачёк

Искусственный интеллект, разработанный специалистами Массачусетского технологического интитута, научили различать отдельные музыкальные инструменты в мелодии. Кроме того, алгоритм может менять их громкость на видео

Ученые MIT создали нейросеть, которая самостоятельно находит музыкальный инструмент на видео. Алгоритм способен найти указанный инструмент, определить его звучание и даже изменить его громкость, не меняя всей музыкальной композиции.

Искусственный интеллект, названный авторами PixelPlayer, обучался на датасете из 60 часов видео с музыкальными выступлениями. В основе системы лежат программы, анализирующие графическую и аудио составляющие видео. Синтезирующая программа сопоставляет проанализированные данные и выделяет звучание определенного инструмента в наборы пикселей.

Подробнее узнать о принципе работы алгоритма, а также увидеть примеры его работы можно на странице проекта или в статье доклада для конференции по компьютерному зрению European Conference on Computer Vision (ECCV) The Sound of Pixels.

Изменять громкость звучания определенных инструментов можно простым кликом мыши или с помощью клавиатуры. Авторы нейросети считают, что ее можно использовать для восстановления старых записей концертов и редактирования звуковых видео. Кроме того, на ее основе можно создавать системы аудиораспознавания для робототехники.

Фото на обложке: pixabay.com