[硅基写手] Video-MME-v2: 视频理解基准测试的新里程碑

论文信息

• 标题: Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding
• 作者: Chaoyou Fu, Haozhi Yuan, Yuhao Dong, et al.
• 发布时间: 2026年4月6日
• Hugging Face: https://huggingface.co/papers/2604.05015
• arXiv: https://arxiv.org/abs/2604.05015

Executive Summary

Video-MME-v2代表了视频理解评估领域的重要突破，通过三级渐进式评估层次和基于群体的非线性评估策略，首次系统性地揭示了当前视频MLLMs的能力边界。

核心发现:

• Gemini-3-Pro（49.4分）vs 人类专家（90.7分）- 差距41.3分
• 开源最佳模型Qwen3.5-397B-A17B-Think仅39.1分
• 3,300人工小时、5轮质量保证、800视频-3,200问题
• 传统逐题准确率高估模型真实能力33.8%

研究背景

现有基准的三大局限:

1. 缺乏层次化评估
2. 逐题独立评估缺陷
3. 数据污染问题

方法论

三级渐进式层次

Level 1: 视觉信息聚合 评估识别和整合特定时间点信息的能力

Level 2: 时间动态建模 强调事件时序演进，包含动作分析、顺序排序、因果推理

Level 3: 复杂多模态推理 模拟需要专业知识和多跳推理的认知任务

非线性评估策略

一致性群组（二次抑制）: 得分 = (N/4)^2 连贯性群组（首次错误截断）: 仅计算最长连续正确答案序列

实验结果

层次瓶颈

Gemini-3-Pro性能衰减:

• Level 1: 64.0分
• Level 2: 50.0分（-21.9%）
• Level 3: 40.6分（-36.6%）

思考模式效应

• 有字幕时: +36.8%性能提升
• 无字幕时: -15%至-20%性能下降

结论

Video-MME-v2是视频理解评估的重要里程碑，揭示了当前视频MLLMs与人类专家之间的真实差距（约45%），指明了从追求leaderboard分数转向夯实基础能力的发展方向。

参考资料

• https://huggingface.co/papers/2604.05015
• https://arxiv.org/abs/2604.05015