MuScriptor: a partitura de volta a partir do som, com pesos abertos

Um músico com ouvido treinado escuta uma gravação e escreve a partitura. Parece um truque de salão, mas é uma das tarefas mais difíceis que existem em processamento de áudio — e uma das menos resolvidas por IA. O sinal chega como uma onda só: baixo, bateria, piano e voz somados num mesmo fluxo, que precisa ser desmembrado em quem tocou o quê, quando começou e quando parou.

O MuScriptor (arXiv 2607.08168) é uma tentativa aberta de fazer isso para múltiplos instrumentos ao mesmo tempo. Converte áudio em representação simbólica no estilo MIDI — a notação que diz nota, início, fim e instrumento — com pesos e código de inferência publicados no GitHub.

Três estágios, um de cada vez

A arquitetura é um transformer decoder-only — a mesma família dos modelos de linguagem — em quatro tamanhos: 60M, 100M, 300M e 1,3B de parâmetros. A entrada são mel-espectrogramas de trechos de 5 segundos: a representação visual do som, em que o tempo corre na horizontal e a frequência na vertical. Opcionalmente, informa-se quais instrumentos estão presentes, para restringir a saída.

O treino tem três estágios, e cada um resolve uma escassez diferente. Primeiro, pré-treino sintético em 1,45 milhão de arquivos MIDI, sintetizados na hora com soundfonts variadas — a anotação é perfeita e infinita, porque se parte da partitura e se fabrica o áudio. Depois, ajuste em dados reais: 170 mil gravações, 11 mil horas, com notas alinhadas, em gêneros diversos. Por fim, reforço, com o algoritmo GRPO, sobre 300 faixas curadas de alta qualidade.

A sequência tem lógica: o sintético ensina a estrutura em escala, o real ensina a sujeira do mundo — reverberação, instrumentos que não soam como a soundfont, execução humana —, e o reforço afina no que se sabe ser bom.

Os números, sem maquiagem

Vale ler os resultados com atenção, porque eles contam uma história de duas partes. O Frame F1 de 75,0 é bom: significa que, num instante qualquer, o modelo acerta bem quais notas estão soando. Já o Offset F1 de 49,0 é modesto — decidir onde a nota termina continua sendo o calcanhar de Aquiles.

Faz sentido físico. O início de uma nota é um evento marcado: há um ataque, uma mudança abrupta no espectro. O fim é difuso — a corda decai, o pedal sustenta, o eco da sala prolonga. Nem músicos concordam sobre onde uma nota acaba. Que a máquina fique em 49 pontos numa tarefa em que a verdade de referência é ela própria discutível diz mais sobre a tarefa do que sobre o modelo.

O dado mais impressionante é de generalização: no Dagstuhl ChoirSet, um conjunto de coro, o Frame F1 pulou de 51,0 do YourMT3+ para 80,7. Coro é caso difícil e fora da distribuição típica de treino — vozes humanas em harmonia, sem ataque percussivo. Um ganho de quase 30 pontos ali sugere que o pré-treino sintético em escala construiu algo mais robusto que memorização de timbres.

Onde ele quebra

Os autores listam os limites, e o principal é revelador: o modelo não transcreve notas sobrepostas do mesmo instrumento na mesma altura. Duas execuções da mesma nota no mesmo piano, uma começando antes da outra terminar, colapsam em uma. Incluir esses casos derruba de 8 a 9 pontos de F1 — o que mostra que não é detalhe de canto, é uma fatia real da música gravada.

Há também dificuldade com a precisão de início e fim em estilos específicos, coro entre eles — o mesmo conjunto onde o modelo brilha em Frame F1, o que sugere que ele sabe que a nota está soando sem cravar quando ela começou.

E os 5 segundos de janela são uma limitação de arquitetura com dois custos: a inferência fica lenta em faixas longas, e o modelo não vê estrutura musical maior que o compasso. Música tem forma — repetição, frase, refrão — e essa informação, que ajudaria a desambiguar passagens obscuras, está fora do campo de visão.

O que fica

Transcrição musical é um caso em que a IA aberta faz diferença desproporcional. Não é um mercado que sustente um laboratório de fronteira — é uma ferramenta para pesquisadores de musicologia, arquivistas, professores, músicos que querem tirar uma linha de baixo sem tirá-la de ouvido. Esse tipo de trabalho vive de modelo aberto, porque nenhuma API o justificaria.

O MuScriptor não resolve a tarefa: 49 pontos em offset e a incapacidade com notas sobrepostas deixam claro que a partitura ainda sai com erros. Mas a receita de três estágios — sintético em escala, real para calibrar, reforço para afinar — funciona bem o suficiente para tirar quase 30 pontos de um coro que o modelo anterior mal entendia. Numa área onde o dado anotado é escasso porque anotá-lo exige um especialista com ouvido absoluto, fabricar o dado a partir da partitura é menos um truque do que uma saída óbvia que alguém precisava executar direito.

Perguntas Frequentes

O que é transcrição musical automática?

É converter uma gravação de áudio em notação simbólica — quais notas foram tocadas, por qual instrumento, com que início e fim. O formato de saída costuma ser MIDI ou equivalente. É o inverso de tocar: em vez de partitura vira som, o som vira partitura.

O que significam Onset F1, Offset F1 e Frame F1?

São medidas de acerto sob ângulos diferentes. Onset F1 avalia se o modelo detecta corretamente o início das notas; Offset F1, o fim; Frame F1, se em cada instante do áudio as notas soando foram identificadas. É comum que o Frame seja alto e o Offset baixo — saber que uma nota está soando é bem mais fácil que cravar quando ela morre.

Por que treinar com áudio sintético?

Porque dado real anotado é escasso e caro: alguém precisa marcar cada nota de cada gravação. Partindo de arquivos MIDI e sintetizando o áudio, a anotação já vem pronta e perfeita, em qualquer quantidade. O risco é o modelo aprender o som das soundfonts em vez do som dos instrumentos — e é por isso que o ajuste posterior em 11 mil horas de gravações reais existe.