Avaliando Modelos Causais Monolíngues Dedicados e Multilíngues Conjuntos para Línguas Dravídicas

arXiv:2608.07727v1 Tipo de Anúncio: novo Resumo: As línguas dravídicas, principalmente tâmil, télugo, canará e malaiala, compõem apenas uma pequena parte dos dados usados para treinar modelos de linguagem multilíngues, portanto não está claro quanta capacidade por idioma esses modelos realmente mantêm. Eu treinei do zero cinco modelos com arquitetura GPT-2 para comparar quatro modelos monolíngues (um para cada uma das línguas tâmil, télugo, canará e malaiala, cada um com seu próprio tokenizador de subpalavras com vocabulário de 32K) contra um modo multilíngue...