UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks
UniClawBench introduces a capability-driven benchmark for evaluating proactive agents in real-world environments using live Docker container evaluation and closed-loop assessment w…
Hugging Face · Daily Papers
·Zhekai Chen, Chengqi Duan
·
·▲ 20 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Zhekai Chen, Chengqi Duan, Kaiyue Sun, Bohao Li, Yuqing Wang, Manyuan Zhang
- 20 upvotes da comunidade
- Temas: large language models, multimodal large language models, proactive agents, real-world environments, capability-driven benchmark, skill usage
Resumo
Resumo original (em inglês), extraído do paper:
UniClawBench introduces a capability-driven benchmark for evaluating proactive agents in real-world environments using live Docker container evaluation and closed-loop assessment with multiple agent roles.Onde ler
// relacionados
Leia também
Editorial
GPT-Live-1: a OpenAI aposenta o walkie-talkie e faz a voz ouvir e falar ao mesmo tempo
Editorial
LingBot-VLA 2.0: a Ant abre um "cérebro" de 6B treinado em 60 mil horas de robôs reais
Editorial
UniClawBench: no mundo real, nenhum agente de IA passa da metade das tarefas
Blog