bts merchandisebts shopbts sweatshirtbts clothesarmy bombbts official army bombbangtan bombbts army bomb ver 4bts army bomb ver 3bts army bombbts light stickbts official light stickbts light stick ver 4bts light stick ver 3bts dollsbt21 plushiesbts hoodiebts jacketbt21 hoodiebts shirt
TechFusion.ruНовости«Умный» алгоритм «узнает» и редактирует музыкальные инструменты на видео

«Умный» алгоритм «узнает» и редактирует музыкальные инструменты на видео

песен

Искусственный интеллект, разработанный специалистами Массачусетского технологического интитута, научили различать отдельные музыкальные инструменты в мелодии. Кроме того, алгоритм может менять их громкость на видео

Ученые MIT создали нейросеть, которая самостоятельно находит музыкальный инструмент на видео. Алгоритм способен найти указанный инструмент, определить его звучание и даже изменить его громкость, не меняя всей музыкальной композиции.

Искусственный интеллект, названный авторами PixelPlayer, обучался на датасете из 60 часов видео с музыкальными выступлениями. В основе системы лежат программы, анализирующие графическую и аудио составляющие видео. Синтезирующая программа сопоставляет проанализированные данные и выделяет звучание определенного инструмента в наборы пикселей.

Подробнее узнать о принципе работы алгоритма, а также увидеть примеры его работы можно на странице проекта или в статье доклада для конференции по компьютерному зрению European Conference on Computer Vision (ECCV) The Sound of Pixels.

Изменять громкость звучания определенных инструментов можно простым кликом мыши или с помощью клавиатуры. Авторы нейросети считают, что ее можно использовать для восстановления старых записей концертов и редактирования звуковых видео. Кроме того, на ее основе можно создавать системы аудиораспознавания для робототехники.

Фото на обложке: pixabay.com