Transplante de Tokenizador: Mitigando o Colapso Autorregressivo em ASR de Bengali Eficiente para Edge

arXiv:2607.09598v1 Tipo de anúncio: novo Resumo: Modelos leves de reconhecimento de fala são fundamentais para a implantação em edge, no entanto, arquiteturas altamente otimizadas como a Moonshine frequentemente falham em línguas morfologicamente ricas e não latinas, como o bengali. Este estudo identifica que a causa raiz dessa falha é o tokenizador de nível de byte centrado no inglês do modelo, que fragmenta as palavras em bengali em cadeias de bytes de alta fertilidade e desencadeia um colapso autorregressivo catastrófico durante a inferência. Para resolver isso, um no...