BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative Decoding
Speculative decoding with adaptive block size selection improves inference efficiency by predicting optimal block sizes from prefilling representations, achieving significant speed…
Hugging Face · Daily Papers
·Hao Zhang, Yiming Hu
·
·▲ 67 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Hao Zhang, Yiming Hu, Yong Wang, Mingqiao Mo, Xin Xiao, Xiangxiang Chu
- 67 upvotes da comunidade
- Temas: speculative decoding, draft model, target model, diffusion-based speculative decoding, block-level diffusion, inference block size
Resumo
Resumo original (em inglês), extraído do paper:
Speculative decoding with adaptive block size selection improves inference efficiency by predicting optimal block sizes from prefilling representations, achieving significant speedup with minimal overhead.Onde ler
// relacionados
Leia também
Blog
Vision Transformers aprendem pistas de figura-fundo semelhantes às da Gestalt a partir de imagens naturais
Blog
IB-Flow: destilação de CFG guiada por gargalo de informação para geração de texto para imagem em poucos passos
Blog
Inicialização por Componentes Guiada pela Complexidade para o Pré-treinamento de Modelos de Linguagem
Blog