Video-Oasis: Rethinking Evaluation of Video Understanding
Video-Oasis diagnostics reveal that half of existing video benchmarks can be solved without visual input, exposing significant capability gaps in current video understanding models…
Hugging Face · Daily Papers
·Geuntaek Lim, Sungjune Park
·
·▲ 38 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Geuntaek Lim, Sungjune Park, Jaeyun Lee, Inwoong Lee, Taeoh Kim, Dongyoon Wee
- 38 upvotes da comunidade
- Temas: Video-LLM, video understanding, benchmark evaluation, diagnostic suite, video-native challenges, algorithmic design choices
Resumo
Resumo original (em inglês), extraído do paper:
Video-Oasis diagnostics reveal that half of existing video benchmarks can be solved without visual input, exposing significant capability gaps in current video understanding models.Onde ler
// relacionados
Leia também
Editorial
GPT-Live-1: a OpenAI aposenta o walkie-talkie e faz a voz ouvir e falar ao mesmo tempo
Editorial
LingBot-VLA 2.0: a Ant abre um "cérebro" de 6B treinado em 60 mil horas de robôs reais
Editorial
UniClawBench: no mundo real, nenhum agente de IA passa da metade das tarefas
Blog