Motif 3: Technical Report
Motif 3 is a large sparse mixture-of-experts language model using grouped differential latent attention and specialized training techniques to achieve strong reasoning, coding, and…
Hugging Face · Daily Papers
·Junghwan Lim, Joon Son Chung
·
·▲ 24 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Junghwan Lim, Joon Son Chung, Sungmin Lee, Wai Ting Cheung, Gihun Cho, Minsu Ha
- 24 upvotes da comunidade
- Temas: Mixture-of-Experts, sparse MoE, routed experts, Grouped Differential Latent Attention, Multi-head Latent Attention, manifold-constrained hyper-connections
Resumo
Resumo original (em inglês), extraído do paper:
Motif 3 is a large sparse mixture-of-experts language model using grouped differential latent attention and specialized training techniques to achieve strong reasoning, coding, and long-context performance.Onde ler
// relacionados
Leia também
Editorial
O modelo que continua aprendendo depois de entregue: dentro do Macaron-V1
Blog
Novo Nordisk e AWS levam IA agêntica à descoberta de medicamentos
Blog
Nvidia garante o valor de seus próprios chips para destravar US$ 500 bilhões em financiamento de infraestrutura de IA
Modelo