Um modelo de fundação soberano e de código aberto para alemão e inglês

arXiv:2607.09424v1 Tipo de anúncio: novo Resumo: Apresentamos o Soofi S 30B-A3B, um modelo de fundação soberano e de código aberto do tipo Mixture-of-Experts (MoE), com arquitetura híbrida Mamba Transformer, voltado para alemão e inglês. Seu design híbrido ativa apenas 3B dos 30B parâmetros por token e mantém o cache de inferência quase constante à medida que o contexto cresce, o que lhe confere uma vantagem decisiva de throughput em relação aos modelos densos para implantações de contexto longo e alta concorrência. Pré-treinado em cerca de 27 trilhões de tokens com dados em alemão deliberadamente valorizados com peso maior...