Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
Sparse Delta Memory extends gated linear RNNs with sparse addressing to dramatically increase hidden state capacity for improved long-context learning and retrieval while maintaini…
Hugging Face · Daily Papers
·Loïc Cabannes, Pierre-Emmanuel Mazaré
·
·▲ 7 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Loïc Cabannes, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina
- 7 upvotes da comunidade
- Temas: linear attention models, softmax-attention, transformer architectures, gated linear RNNs, sparse addressing scheme, Gated DeltaNet
Resumo
Resumo original (em inglês), extraído do paper:
Sparse Delta Memory extends gated linear RNNs with sparse addressing to dramatically increase hidden state capacity for improved long-context learning and retrieval while maintaining computational efficiency.Onde ler
// relacionados
Leia também
Editorial
GPT-Live-1: a OpenAI aposenta o walkie-talkie e faz a voz ouvir e falar ao mesmo tempo
Editorial
LingBot-VLA 2.0: a Ant abre um "cérebro" de 6B treinado em 60 mil horas de robôs reais
Editorial
UniClawBench: no mundo real, nenhum agente de IA passa da metade das tarefas
Blog