From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models
Pretrained diffusion transformers can be adapted for dense prediction tasks by mapping tokens to task-native outputs instead of generating RGB images, achieving state-of-the-art re…
Hugging Face · Daily Papers
·Zanyi Wang, Xin Lin
·
·▲ 9 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Zanyi Wang, Xin Lin, Haodong Li, Dengyang Jiang, Yijiang Li
- 9 upvotes da comunidade
- Temas: text-to-image models, dense prediction, VAE latent space, DiT, task LoRA, token-local linear head
Resumo
Resumo original (em inglês), extraído do paper:
Pretrained diffusion transformers can be adapted for dense prediction tasks by mapping tokens to task-native outputs instead of generating RGB images, achieving state-of-the-art results with minimal additional parameters.Onde ler
// relacionados
Leia também
Blog
Vision Transformers aprendem pistas de figura-fundo semelhantes às da Gestalt a partir de imagens naturais
Blog
IB-Flow: destilação de CFG guiada por gargalo de informação para geração de texto para imagem em poucos passos
Blog
Inicialização por Componentes Guiada pela Complexidade para o Pré-treinamento de Modelos de Linguagem
Blog