PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception
PerceptionRubrics presents a rubric-based evaluation framework that identifies gaps between benchmark scores and real-world performance through atomic auditing and gated scoring me…
Hugging Face · Daily Papers
·Yana Wei, Hongbo Peng
·
·▲ 30 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Yana Wei, Hongbo Peng, Yanlin Lai, Liang Zhao, Kangheng Lin, En Yu
- 30 upvotes da comunidade
- Temas: rubric-based evaluation, atomic auditing, golden captions, Circular Peer-Review consensus, dual-stream system, Must-Right
Resumo
Resumo original (em inglês), extraído do paper:
PerceptionRubrics presents a rubric-based evaluation framework that identifies gaps between benchmark scores and real-world performance through atomic auditing and gated scoring mechanisms.Onde ler
// relacionados
Leia também
Editorial
Muse Glimmer: a Meta volta ao código aberto com um agente de 30B que cabe numa GPU
Blog
NeuPAT: Ajuste de Alocação de Plasticidade Ciente de Neurônios para MLLMs que Preservam a Linguagem
Blog
Classificação Multimodal de Lesões de Pele com Swin Transformer e Fusão de Metadados Clínicos
Blog