MultiHashFormer: Hash-based Generative Language Models
MultiHashFormer enables hash-based autoregression in language models by representing tokens as hash signatures processed through a Hash Encoder and Hash Decoder within a Transforme…
Hugging Face · Daily Papers
·Huiyin Xue, Atsuki Yamaguchi
·
·▲ 16 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras
- 16 upvotes da comunidade
- Temas: language models, embedding matrices, vocabulary size, parameter efficiency, causal LMs, MultiHashFormer
Resumo
Resumo original (em inglês), extraído do paper:
MultiHashFormer enables hash-based autoregression in language models by representing tokens as hash signatures processed through a Hash Encoder and Hash Decoder within a Transformer framework.Onde ler
// relacionados
Leia também
Editorial
O modelo que continua aprendendo depois de entregue: dentro do Macaron-V1
Blog
Novo Nordisk e AWS levam IA agêntica à descoberta de medicamentos
Blog
Nvidia garante o valor de seus próprios chips para destravar US$ 500 bilhões em financiamento de infraestrutura de IA
Modelo