DREAM: Dense Retrieval Embeddings via Autoregressive Modeling
DREAM trains dense retrieval embeddings using autoregressive language model attention mechanisms to supervise document-query similarity without requiring labeled examples.
Hugging Face · Daily Papers
·Yixuan Tang, Yi Yang
·
·▲ 2 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Yixuan Tang, Yi Yang
- 2 upvotes da comunidade
- Temas: dense retrieval embedding models, contrastive objectives, large language models, next-token prediction, autoregressive modeling, attention heads
Resumo
Resumo original (em inglês), extraído do paper:
DREAM trains dense retrieval embeddings using autoregressive language model attention mechanisms to supervise document-query similarity without requiring labeled examples.