AraSSM: Um codificador bidirecional de espaço de estados para modelagem de linguagem mascarada em árabe

arXiv:2608.08256v1 Tipo de anúncio: novo Resumo: Codificadores Transformer pré-treinados como AraBERT, MARBERT e CAMeLBERT tornaram-se a espinha dorsal padrão para a compreensão de linguagem natural em árabe, mas seu mecanismo de autoatenção escala quadraticamente com o comprimento da sequência, o que limita a eficiência em documentos longos. O Mamba, um modelo seletivo de espaço de estados (SSM), oferece modelagem de sequência em tempo linear como uma alternativa competitiva à atenção, porém nenhum codificador Mamba bidirecional dedicado foi pré-treinado esp...