Um modelo de 0,9B que transcreve e identifica quem fala, em 50 idiomas, de graça

Transcrever uma reunião com várias pessoas falando é, tecnicamente, dois problemas em um: converter áudio em texto (transcrição) e descobrir quem falou cada trecho (diarização). A maioria dos sistemas resolve isso em dois passos separados, com dois modelos diferentes, que depois precisam ser reconciliados — um processo propenso a erro onde a fronteira entre uma fala e outra fica ambígua. O MOSS-Transcribe-Diarize, publicado pela equipe chinesa OpenMOSS, faz os dois numa única passada, com um único modelo de 0,9 bilhão de parâmetros — pequeno o bastante para rodar em hardware de consumo, sem quantização.

Como um modelo só resolve dois problemas

A arquitetura combina um codificador de áudio convolucional-transformer — que converte a onda sonora bruta em uma representação que a rede consegue processar — com um modelo de linguagem de alta capacidade que gera a transcrição já estruturada. A saída sai pronta no formato [0.48][S01] Bem-vindos a todos [1.66]: marcação de tempo em segundos, rótulo anônimo do locutor (S01, S02...) e o texto, tudo produzido de uma vez, sem etapa de reconciliação posterior.

O modelo aceita até 90 minutos de áudio numa única inferência, cobre mais de 50 idiomas e permite "hotword biasing" — instruir o modelo a dar preferência a termos técnicos ou nomes específicos do domínio, útil para transcrever, por exemplo, uma reunião médica ou jurídica cheia de jargão que um modelo genérico erraria.

Por que "numa única passada" não é só conveniência

Separar transcrição e diarização em dois sistemas cria um ponto de fricção estrutural: o modelo de transcrição não sabe quem está falando, e o modelo de diarização não sabe o que está sendo dito. Quando as fronteiras de fala se sobrepõem — pessoas interrompendo umas às outras, o cenário mais comum em reuniões reais —, essa cegueira mútua produz os erros mais frequentes. Um modelo único que vê os dois sinais ao mesmo tempo tem, em princípio, mais informação para resolver a ambiguidade — e o resultado no benchmark Podcast, com erros de atribuição de locutor notavelmente mais baixos que sistemas em duas etapas, é consistente com essa hipótese.

Onde isso é útil de imediato

Transcrição de reuniões, atendimento ao cliente, conteúdo em podcast e legendagem são os casos óbvios — qualquer contexto em que múltiplas vozes precisam virar texto atribuível. O tamanho reduzido do modelo (0,9B) e o suporte a inferência local via aplicativo web tornam viável rodar isso sem depender de uma API paga, o que muda o cálculo para times pequenos que hoje pagam por transcrição em nuvem.

As ressalvas

O número de 6,97% de cpCER vem de um único dataset (Podcast); o desempenho em áudio mais ruidoso — chamadas de telefone, ambientes com eco, sotaques fortemente regionais — ainda não tem número público comparável. E, como em todo sistema de diarização, a contagem de locutores em cenários com muitas pessoas falando ao mesmo tempo continua sendo o ponto mais frágil da tecnologia como um todo, não uma limitação exclusiva deste modelo.

O que fica

O MOSS-Transcribe-Diarize é um lembrete de que nem todo avanço em IA de áudio precisa de escala: 0,9B de parâmetros bastaram para vencer uma competição internacional de transcrição multilíngue, numa tarefa que a indústria vinha tratando como dois problemas separados havia anos. É o tipo de ganho que não gera manchete de "modelo maior que tudo", mas que resolve um problema de fricção real para quem precisa transcrever conversas com mais de uma pessoa falando.

Perguntas Frequentes

O que é diarização de locutores?

É o processo de identificar quantas pessoas diferentes falam num áudio e atribuir cada trecho de fala à pessoa correta — sem necessariamente saber o nome de cada uma, apenas rotulá-las como locutor 1, locutor 2, e assim por diante, junto com o momento exato em que cada uma fala.

Por que fazer transcrição e diarização juntas é melhor que separado?

Porque os dois problemas se informam mutuamente: saber quem fala ajuda a resolver ambiguidades na transcrição (e vice-versa), especialmente quando vozes se sobrepõem. Sistemas em duas etapas processam cada sinal isoladamente e depois tentam reconciliar, o que introduz erros nas bordas entre falas.

O que é cpCER?

É a Taxa de Erro de Caractere com Permutação Considerada (Character Error Rate com correção de permutação) — uma métrica de transcrição que primeiro encontra o melhor mapeamento entre os locutores previstos e os reais antes de calcular a taxa de erro de caracteres, evitando penalizar o modelo injustamente quando ele acerta a fala mas rotula o locutor com um número diferente do esperado.