Paper
LLMs & Texto
Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss
Efficient knowledge distillation for small language models is achieved via cached teacher logits and a memory-linear chunked KL loss, enabling longer contexts and faster training.
Hugging Face · Daily Papers
·Bakbergen Ryskulov, Iker García-Ferrero
·
·▲ 10 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Bakbergen Ryskulov, Iker García-Ferrero, David Montero, David Jansen, Ali Hashemi, Jezabel R. Garcia
- 10 upvotes da comunidade
- Temas: knowledge distillation, offline KD, top-K logits, online distillation, fused chunked KL loss, vocabulary-sized logit tensor
Resumo
Resumo original (em inglês), extraído do paper:
Efficient knowledge distillation for small language models is achieved via cached teacher logits and a memory-linear chunked KL loss, enabling longer contexts and faster training.Onde ler
// relacionados
Leia também
Editorial
O modelo que continua aprendendo depois de entregue: dentro do Macaron-V1
Blog
Novo Nordisk e AWS levam IA agêntica à descoberta de medicamentos
Blog
Nvidia garante o valor de seus próprios chips para destravar US$ 500 bilhões em financiamento de infraestrutura de IA
Modelo