Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads
Logit-Contribution Scoring (LOCOS) identifies attention heads responsible for non-literal context synthesis in large language models by measuring their output-value circuit's contr…
Hugging Face · Daily Papers
·Aryo Pradipta Gema, Beatrice Alex
·
·▲ 11 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini
- 11 upvotes da comunidade
- Temas: attention heads, logit-contribution scoring, OV-circuit, answer-token unembedding, non-literal retrieval, ROUGE-L
Resumo
Resumo original (em inglês), extraído do paper:
Logit-Contribution Scoring (LOCOS) identifies attention heads responsible for non-literal context synthesis in large language models by measuring their output-value circuit's contribution to answer tokens, outperforming existing methods on retrieval benchmarks.Onde ler
// relacionados
Leia também
Blog
O complicado problema do Claude Code com a China envolve proibições dos dois lados do Pacífico
Blog
AI Security Institute do Reino Unido descobre que benchmarks padrão subestimam sistematicamente o que agentes de IA realmente conseguem fazer
Dataset
ByteDance-Seed/EdgeBench
Blog