dOPSD: On-Policy Self-Distillation for Diffusion Language Models
Diffusion large language models face challenges in reasoning enhancement through post-training, but a novel on-policy self-distillation method using internal denoising trajectories…
Hugging Face · Daily Papers
·Phuong Tuan Dat, Qi Li
·
·▲ 9 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Phuong Tuan Dat, Qi Li, Xinchao Wang
- 9 upvotes da comunidade
- Temas: diffusion large language models, autoregressive models, supervised fine-tuning, exposure bias, reinforcement learning, on-policy self-distillation
Resumo
Resumo original (em inglês), extraído do paper:
Diffusion large language models face challenges in reasoning enhancement through post-training, but a novel on-policy self-distillation method using internal denoising trajectories improves mathematical reasoning and code generation performance.Onde ler
// relacionados
Leia também
Editorial
EdgeBench: 38 mil horas de agentes trabalhando revelam uma lei de escala inesperada
Editorial
Hy3: a Tencent libera seu modelo de 295 bilhões sob Apache 2.0 — e sem fronteiras
Editorial
InternVLA-A1.5: o robô que imagina o próximo segundo antes de mover o braço
Editorial