преобразование wav в midi

Это более сложный процесс, чем вы можете себе представить.

Эту исследовательскую проблему часто называют транскрипцией музыки: преобразование низкоуровневого представления музыки (например, формы волны) в представление более высокого уровня, такое как MIDI или даже ноты.

Сложность вашего решения будет зависеть от сложности ваших входных данных. Тонны исследовательских работ посвящены транскрипции музыки только на монофоническом фортепиано или барабанах ... потому что их легко расшифровать. (Относительно.) Скрипка сложнее. Голос еще сложнее. Скрипка плюс голос плюс фортепиано намного сложнее. Симфония почти невозможна. Вы уловили картину.

Основные элементы транскрипции музыки включают в себя любую из следующих областей пересечения:

1. (мульти) оценка высоты тона
2. распознавание инструментов, тембральное моделирование
3. определение ритма
4. обратите внимание на обнаружение начала / смещения
5. моделирование формы / конструкции

Найдите статьи по «транскрипции музыки» в Google Scholar или в материалах ISMIR: http://www.ismir.net. Если вас больше интересует одна из вышеперечисленных подтем, я могу указать вам дальше. Удачи.

РЕДАКТИРОВАТЬ: При этом есть существующие решения, которые мы все можем найти в Интернете. Не стесняйтесь пробовать их. Но когда вы это сделаете, оцените их критическим взглядом и ухом. Какие типы аудиосигналов могут вызвать сбой транскрипции?

РЕДАКТИРОВАТЬ 2: Ах, вы делаете это только для фортепиано. Хорошо, это выполнимо. Транскрипция музыки продвинулась до такой степени, что она может довольно хорошо транскрибировать монофоническое фортепиано. Концерт Рахманинова все равно вызовет проблемы.

Наши рекомендации зависят от вашей конечной цели. Вы заявляете: «необходимо выполнить ... на Java». Похоже, вы просто хотите, чтобы что-то работало, независимо от того, как вы к этому добиваетесь. В этом случае я на 100% согласен с другими: используйте то, что существует.

На самом деле это интересный вопрос; все известные мне библиотеки MIR обычно относятся к C / C ++ / Python / Matlab. Но не Java. EchoNest имеет Java API, но я не думаю, что он поддерживает транскрипцию на уровне нот. http://developer.echonest.com. (Изменить: выполняет транскрипцию на уровне нот. Возвращаемые данные включают высоту тона, тембр, долю, татум и т. Д. Но я считаю, что полифония по-прежнему является проблемой.)

О, Марсий основан на Java. Прохладный. Я думал, это просто C ++. http://marsyas.info/ Я рекомендую это. Он разработан Джорджем Цанетакисом, профессором МИР. Он выполняет анализ уровня сигнала и должен быть хорошим вариантом.

Теперь, если это для забавного обучения, я думаю, вы можете использовать утилиты управления звуком в Java, чтобы поэкспериментировать с сигналом WAV и посмотреть, что получится.

РЕДАКТИРОВАТЬ: Эта страница описывает программное обеспечение MIR лучше, чем я могу: Инструменты, которые мы используем

Что касается Matlab, вас может заинтересовать MIR Toolbox

Вот хорошая страница с общими наборами данных: MIR Datasets

Это очень сложная задача для новичка в этой области, если вы не имеете в виду, что знакомы с анализом сигналов и обнаружением функций в целом и хотите более подробно изучить автоматическую транскрипцию.

API для преобразования WAV в MIDI отсутствует. Vamp - это фреймворк для плагинов извлечения функций, но для автоматической транскрипции вам нужно будет использовать все функциональность существующих плагинов, а также реализация функциональности, которой еще нет ни в одном из них.

Просмотрите описания подключаемых модулей на странице загрузки vamp, любые описания, которые вы не понимаете, считаются темы, которые вам следует начать исследовать, если вы хотите это сделать.

Если вам не нужно автоматизировать эту задачу (например, для веб-сайта, на котором люди могут загружать MP3-файлы и получать обратно MIDI-файлы), вам следует подумать об использовании такого инструмента, как Melodyne, который уже неплохо справляется с этим. Как заметил Стив, это очень сложная задача, и даже лучшие алгоритмы и решения, имеющиеся в настоящее время, не являются на 100% надежными.

Так что, если вы просто делаете студийную работу и вам нужно сделать несколько преобразований, это, вероятно, сэкономит вам немного времени (и много головной боли), чтобы использовать инструмент, уже разработанный для этой задачи.

Дельфин, извините за резкость, но вы полностью недооценили проблему. Чего вы хотите достичь - полной транскрипции звука фортепиано, включающей все параметры, которые использовались во время игры, потребует огромного количества исследований с людьми, которые работали в этой области много лет. Даже группе докторов наук в области обработки сигналов придется потрудиться, чтобы хотя бы приблизиться к тому, что вы имеете в виду. Для транскрипции музыки потребовались десятилетия работы, чтобы хотя бы она работала наполовину надежно. Я бы посоветовал вам выбрать другую проблему, с которой вы справитесь лучше этой.

Это область, которая все еще находится в стадии разработки, но есть некоторые (экспериментальные) алгоритмы.

Вы можете установить звуковой аннотатор и использовать несколько плагинов-вампиров.

Например:

./sonic-annotator file.wav -d vamp:qm-vamp-plugins:qm-transcription:transcription -w midi

./sonic-annotator file.wav -d vamp:silvet:silvet:notes -w midi

./sonic-annotator file.wav -d vamp:ua-vamp-plugins:mf0ua:mf0ua -w midi