FinResearchBench II: Um Benchmark de Deep Research com Rubricas de Ouro Derivadas por Consenso para Distinguir a Qualidade de Relatórios Financeiros
arXiv:2607.12252v1 Tipo de Anúncio: novo Resumo: Agentes de deep research são cada vez mais usados para produzir relatórios financeiros de formato longo, mas a avaliação em larga escala continua limitada pela necessidade de especialistas humanos para definir e executar rubricas de alta qualidade. Abordamos esse problema propondo um pipeline escalável para gerar rubricas de alta qualidade sem especialistas humanos no ciclo final. Construímos um benchmark financeiro de deep research a partir de 104 consultas reais de usuários e sintetizamos automaticamente 14.450...
arXiv cs.CL
·Beidi Luan, Rui Sun, Sinuo Wang, Yan Gu, Chao Li, Zhenliang Xiong, Jing Li, Zuo Bai
·
// relacionados
Leia também
Blog
Orquestração agêntica: as organizações de IA corporativa têm um problema de implantação, não um problema de plataforma — e a maioria está chamando chatbots de agentes
Blog
Soofi Consortium lança o Soofi S 30B-A3B: um modelo de fundação MoE híbrido Mamba-Transformer aberto para alemão e inglês
Modelo
thinkingmachines/Inkling
Blog