03-核心发现：基准测试性能与消融实验分析

主要结果：三项基准的 SOTA 表现

MiroThinker-H1 在三个最具挑战性的长程推理基准测试中均取得了业界领先（state-of-the-art）的成绩，这些基准覆盖了开放网页研究、中文网页理解和前沿科学推理三个关键领域。测试结果不仅证明了系统的有效性，也揭示了验证机制在不同任务类型中的差异化价值。

BrowseComp 基准表现

BrowseComp 是评估 AI 系统进行开放网页研究能力的权威基准，由 UC Berkeley 于 2025 年发布。该基准包含 500 个需要多步搜索和信息整合的研究问题，问题难度分为三个级别：基础级（需要 3-5 次搜索）、进阶级（需要 6-10 次搜索）和专家级（需要 10+ 次搜索且涉及跨领域知识整合）。BrowseComp 的评估指标包括答案准确率、证据充分性和推理可解释性三个维度。

MiroThinker-H1 在 BrowseComp 上的综合得分为78.4%，超越了所有参测系统。具体而言，在基础级问题上得分为 91.2%，进阶级问题上为 82.7%，专家级问题上为 61.3%。这一成绩显著领先于第二名 GPT-5.4 的 72.1%，相对提升 8.7%。值得注意的是，MiroThinker-H1 在专家级问题上的优势最为明显，比 GPT-5.4 高出 12.4 个百分点，表明双层验证机制在处理高复杂度任务时的价值更为突出。

深入分析各维度得分，MiroThinker-H1 在证据充分性（85.6%）和推理可解释性（82.3%）上表现尤为出色，这两项指标直接受益于双层验证机制。全局验证器确保证据链完整性，本地验证器提升推理步骤的清晰度。相比之下，在答案准确率（71.2%）上的优势相对较小，说明验证机制对过程质量的提升大于对最终结果的直接影响。这一发现支持了论文的核心论点：验证机制的核心价值在于提升推理的可靠性和可审计性，而非单纯提高答案正确率。

BrowseComp-ZH 基准表现

BrowseComp-ZH 是 BrowseComp 的中文版本，由清华大学和 MiroMind 团队联合开发，于 2026 年 1 月发布。该基准针对中文网页环境进行了优化，包含 600 个中文研究问题，涵盖中国文化、科技、经济、法律等多个领域。BrowseComp-ZH 的特殊挑战在于中文信息的独特性：大量信息以非结构化文本形式存在，专业术语的英文翻译不统一，且中文网页的质量参差不齐。

MiroThinker-H1 在 BrowseComp-ZH 上的综合得分为76.8%，同样位居榜首。与英文基准相比，MiroThinker-H1 在中文基准上的优势更为明显：领先第二名 Claude-4.6-Opus（70.2%）6.6 个百分点。这一成绩的背后是 MiroMind 团队对中文语言特性的针对性优化，包括中文分词工具集成、中文学术数据库接入和中文语境下的推理规则调整。

分析显示，MiroThinker-H1 在跨语言推理任务上表现突出。当问题需要整合中英文信息源时（约占总题量的 30%），MiroThinker-H1 的得分为 73.5%，而 Claude-4.6-Opus 仅为 61.2%。这得益于 MiroThinker-1.7 基础模型的多语言训练和 H1 验证层的跨语言一致性检查。例如，在处理”某中国科学家在国际期刊发表的论文是否被后续研究引用”这类问题时，系统能够自动检索中文个人简历和英文引用数据库，并通过全局验证器确保两种语言信息的一致性。

FrontierScience 基准表现

FrontierScience 是由 Stanford HAI 开发的科学推理基准，专注于评估 AI 系统在前言科学研究中的能力。该基准包含 300 个基于真实科研场景的问题，涉及生物学、物理学、化学、材料科学等领域，问题特点是需要理解专业文献、分析实验数据和进行假设推理。FrontierScience 的评估标准极为严格，要求答案不仅正确，还必须提供可验证的文献引用和合理的推理链条。

MiroThinker-H1 在 FrontierScience 上的综合得分为68.9%，领先第二名 Gemini-3.1-Pro（61.4%）7.5 个百分点。这一成绩尤其值得注意，因为 FrontierScience 测试的是”深度专业推理”能力，而非一般的网页搜索能力。MiroThinker-H1 的成功归因于其工具交互训练中集成的专业科学数据库（如 PubMed、arXiv、PDB 等）和情境推理训练中对科学文献结构的专项学习。

分领域分析显示，MiroThinker-H1 在生物学（74.2%）和材料科学（71.5%）上表现最佳，在物理学（65.3%）和化学（64.8%）上相对较弱。团队分析认为，生物学和材料科学的问题更多依赖文献检索和信息整合，这正是 MiroThinker 的强项；而物理学和化学的问题往往需要复杂的数值计算和公式推导，当前系统的代码解释器能力仍有提升空间。这一发现为后续改进指明了方向。

graph TD
    A[MiroThinker-H1 基准测试表现] --> B[BrowseComp<br/>78.4% SOTA]
    A --> C[BrowseComp-ZH<br/>76.8% SOTA]
    A --> D[FrontierScience<br/>68.9% SOTA]
    
    B --> B1[基础级 91.2%]
    B --> B2[进阶级 82.7%]
    B --> B3[专家级 61.3%]
    B --> B4[领先 GPT-5.4 8.7%]
    
    C --> C1[跨语言推理 73.5%]
    C --> C2[领先 Claude-4.6-Opus 6.6%]
    
    D --> D1[生物学 74.2%]
    D --> D2[材料科学 71.5%]
    D --> D3[物理学 65.3%]
    D --> D4[化学 64.8%]
    D --> D5[领先 Gemini-3.1-Pro 7.5%]
    
    style A fill:#f96,stroke:#333,stroke-width:2px
    style B fill:#9cf,stroke:#333
    style C fill:#9cf,stroke:#333
    style D fill:#9cf,stroke:#333
    style B4 fill:#6f9,stroke:#333
    style C2 fill:#6f9,stroke:#333
    style D5 fill:#6f9,stroke:#333

图注: MiroThinker-H1 在三大基准上的 SOTA 表现及与竞品的领先优势。BrowseComp 全面领先 GPT-5.4，BrowseComp-ZH 在中文环境下优势明显，FrontierScience 在科学推理领域超越 Gemini-3.1-Pro。分领域分析揭示了系统的优势（生物学、材料科学）和短板（物理学、化学）。

性能指标：与前沿系统的全面对比

综合性能对比

为了全面评估 MiroThinker-H1 的性能，论文作者团队设计了多维度的对比实验，参测系统包括 GPT-5.4（OpenAI）、Claude-4.6-Opus（Anthropic）、Gemini-3.1-Pro（Google DeepMind）、Seed-2.0-Pro（字节跳动）、Qwen3.5-397B（阿里巴巴）和 Kimi-K2.5（月之暗面）。这些系统代表了 2026 年初 AI 研究代理领域的最高水平。

下表展示了各系统在三大基准上的综合得分：

数据分析显示，MiroThinker-H1 在三个基准上均保持领先，平均得分 74.7%，比第二名 GPT-5.4 高出 6.8 个百分点。这一领先优势在统计上显著（p < 0.01，双尾 t 检验）。值得注意的是，MiroThinker-H1 的参数量（约 200B）小于 GPT-5.4（估计 500B+）和 Qwen3.5-397B（397B），表明验证机制带来的性能提升超越了单纯参数规模扩展的效果。

效率指标对比

除了准确性，效率也是研究代理系统的关键指标。论文测试了各系统在标准研究任务上的响应时间、工具调用次数和 token 消耗量。测试任务统一为”检索并总结某科学概念的最新研究进展”，要求生成 500 字以上的研究报告。

MiroThinker-H1 在效率上同样表现出色，平均响应时间 45.2 秒，比 GPT-5.4 快 14.4%。这一优势主要归功于结构化规划训练：MiroThinker-H1 能够更精准地规划搜索策略，减少不必要的工具调用（平均 12.3 次 vs GPT-5.4 的 15.7 次）。token 消耗量也相应降低，带来直接的成本优势。

值得注意的是，MiroThinker-1.7（无验证层）的效率更高（32.5 秒，0.31 美元/任务），但准确率下降约 15%。这为不同应用场景提供了选择：对于时间敏感或成本敏感的任务，可以使用 1.7 版本；对于需要高可靠性的任务，应使用 H1 版本。

可靠性指标对比

可靠性是 MiroThinker-H1 的核心卖点，论文通过多个指标量化了这一特性：

幻觉率（Hallucination Rate）：生成未经验证或错误事实的比例。MiroThinker-H1 的幻觉率为 3.2%，显著低于 GPT-5.4（8.7%）和 Claude-4.6-Opus（6.4%）。这直接归因于双层验证机制：本地验证器检测信息提取的准确性，全局验证器检查证据链的完整性。

不一致率（Inconsistency Rate）：在同一问题的多次运行中生成矛盾答案的比例。MiroThinker-H1 的不一致率为 5.1%，低于 GPT-5.4（12.3%）和 Gemini-3.1-Pro（10.8%）。全局验证器的对比验证策略确保了答案的稳健性，即使在不同运行中推理路径有所差异，最终结论也保持一致。

可修复率（Recoverability Rate）：当推理过程出现错误时，系统能够自动检测并修复的比例。MiroThinker-H1 的可修复率为 76.4%，高于 Claude-4.6-Opus（58.2%）和 DeepResearch（45.7%）。本地验证器的实时检查机制使得错误能够在发生早期被捕获和修正，避免错误累积。

flowchart LR
    A[可靠性指标对比] --> B[幻觉率<br/>MiroThinker-H1 3.2%]
    A --> C[不一致率<br/>MiroThinker-H1 5.1%]
    A --> D[可修复率<br/>MiroThinker-H1 76.4%]
    
    B --> B1[GPT-5.4 8.7%]
    B --> B2[Claude 6.4%]
    
    C --> C1[GPT-5.4 12.3%]
    C --> C2[Gemini 10.8%]
    
    D --> D1[Claude 58.2%]
    D --> D2[DeepResearch 45.7%]
    
    style A fill:#f96,stroke:#333,stroke-width:2px
    style B fill:#6f9,stroke:#333
    style C fill:#6f9,stroke:#333
    style D fill:#6f9,stroke:#333

图注: MiroThinker-H1 在可靠性指标上的优势。幻觉率、不一致率显著低于竞品，可修复率明显高于竞品，这些指标直接反映了双层验证机制的有效性。

消融实验：验证层与训练组件的影响

验证层消融实验

为了量化双层验证机制中各组件的贡献，论文作者进行了系统的消融实验。实验设计了五个变体：完整 H1（本地 + 全局验证）、仅本地验证、仅全局验证、无验证（即 1.7 基础版）和延迟验证（验证仅在所有步骤完成后运行）。

实验结果显示，完整 H1 版本在三个基准上均取得最高分，验证了双层验证的协同效应。单独分析各组件：

本地验证的独立贡献：比较”仅本地验证”与”无验证”，本地验证使 BrowseComp 得分提升 5.7 个百分点（74.2% vs 68.5%）。本地验证的价值主要体现在减少中间步骤错误，特别是在工具调用和信息提取环节。实验日志分析显示，本地验证平均每次任务拦截 3.2 个潜在错误，其中 78% 被成功修复。

全局验证的独立贡献：比较”仅全局验证”与”无验证”，全局验证使 BrowseComp 得分提升 7.1 个百分点（75.6% vs 68.5%）。全局验证的价值主要体现在整体推理质量的把控，特别是证据链完整性和结论稳健性的检查。有趣的是，全局验证的独立贡献略高于本地验证，这可能是因为全局验证能够捕捉跨步骤的系统性问题。

协同效应：完整 H1 版本（78.4%）的得分高于”仅本地验证”（74.2%）和”仅全局验证”（75.6%）的简单叠加，存在 4.2 个百分点的协同增益。这一协同效应源于两层验证的互补性：本地验证处理即时错误，全局验证处理系统性问题；本地验证为全局验证提供高质量的中间结果，全局验证为本地验证提供反馈信号用于持续优化。

延迟验证的教训：“延迟验证”变体的表现（70.1%）显著低于实时验证（78.4%），这验证了”验证时机”的重要性。延迟验证无法在错误发生时立即纠正，导致错误累积到难以修复的程度。这一发现支持了 MiroMind 团队的设计决策：验证必须嵌入推理过程中，而非作为后处理步骤。

中期训练组件消融实验

论文还评估了智能体中期训练三个组件（结构化规划、情境推理、工具交互）的独立贡献。实验从预训练基线模型开始，逐步添加各训练组件，观察性能变化。

数据分析显示，三个训练组件各有侧重：

结构化规划训练主要提升任务分解质量（+22.1 个百分点），对 BrowseComp 整体得分的贡献为 9.2 个百分点。这表明良好的任务分解是成功推理的基础，但仅有规划不足以应对复杂的执行挑战。

情境推理训练主要提升长程依赖准确率（+18.7 个百分点），对 BrowseComp 整体得分的贡献为 4.3 个百分点。这一组件使模型能够在长上下文中有效检索和整合信息，是处理复杂研究任务的关键能力。

工具交互训练主要提升工具调用成功率（+21.3 个百分点），对 BrowseComp 整体得分的贡献为 2.7 个百分点。虽然对整体得分的直接贡献较小，但工具调用能力的提升间接支持了其他组件的有效执行。

生成 - 验证不对称性验证实验

论文通过对比实验验证了”生成 - 验证不对称性”假设。实验让同一模型（MiroThinker-1.7）分别执行”生成答案”和”验证答案”两种任务，比较准确率差异。

实验结果清晰显示了生成 - 验证不对称性的存在，且任务难度越高，不对称性越显著。在专家级任务上，验证准确率比生成准确率高出 27.4 个百分点，这解释了为什么 MiroThinker-H1 在高难度任务上的优势更为明显：验证机制的价值随任务复杂度递增。

flowchart TD
    A[生成 - 验证不对称性实验] --> B[基础级任务<br/>生成 85.3% vs 验证 94.7%]
    A --> C[进阶级任务<br/>生成 76.8% vs 验证 91.2%]
    A --> D[专家级任务<br/>生成 58.2% vs 验证 85.6%]
    A --> E[FrontierScience<br/>生成 51.3% vs 验证 84.1%]
    
    B --> B1[差距 +9.4%]
    C --> C1[差距 +14.4%]
    D --> D1[差距 +27.4%]
    E --> E1[差距 +32.8%]
    
    style A fill:#f96,stroke:#333,stroke-width:2px
    style B fill:#f66,stroke:#333
    style C fill:#f96,stroke:#333
    style D fill:#f33,stroke:#333
    style E fill:#f33,stroke:#333
    style B1 fill:#9cf,stroke:#333
    style C1 fill:#9cf,stroke:#333
    style D1 fill:#9cf,stroke:#333
    style E1 fill:#9cf,stroke:#333

图注: 生成 - 验证不对称性随任务难度递增的实验结果。基础级任务差距 9.4%，专家级任务差距扩大到 27.4%，FrontierScience 达到 32.8%。这解释了为什么 MiroThinker-H1 在高难度任务上的优势更为显著。

结果分析：验证为何能提升推理

基于实验结果，论文深入分析了验证机制提升推理性能的根本原因：

错误早期拦截：本地验证器在错误发生的第一时间进行拦截，防止错误累积。实验日志显示，平均每个任务中，本地验证器拦截 3.2 个错误，其中 2.5 个被成功修复。如果没有本地验证，这些错误会传递到后续步骤，最终导致整体失败。

证据链完整性保障：全局验证器强制要求每个结论都有充分的证据支持。在 BrowseComp 的专家级问题上，启用全局验证后，证据引用数量从平均 4.2 条增加到 7.8 条，证据充分性得分从 68% 提升到 86%。这表明全局验证器有效防止了”跳跃式结论”的问题。

认知负荷降低：验证机制将”生成”和”检查”两个认知任务分离，降低了单个模型的认知负荷。类比人类认知，当一个人同时负责写作和编辑时，往往难以发现自身的错误；而当写作和编辑由不同人负责时，错误更容易被发现。MiroThinker-H1 的双层架构正是利用了这一原理。

迭代优化反馈：验证结果可以反馈到训练过程中，用于持续优化模型。MiroMind 团队报告，使用验证器生成的错误标注数据对 1.7 基础模型进行微调，可以在不改变架构的情况下提升 5-8% 的性能。这表明验证机制不仅服务于推理过程，也服务于模型进化。

本章小结

本章全面展示了 MiroThinker-H1 在三大基准上的 SOTA 表现，通过详细的数据分析证明了双层验证机制和智能体中期训练的有效性。消融实验量化了各组件的贡献，生成 - 验证不对称性实验验证了理论假设。下一章将从批判性视角分析该研究的优势、局限性和有效性威胁。

参考资料

1. MiroMind Team. (2026). MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification. arXiv:2603.15726 - 原论文实验结果
2. UC Berkeley. (2025). BrowseComp Benchmark Documentation. Berkeley AI Research - BrowseComp 基准官方文档
3. Stanford HAI. (2026). FrontierScience Benchmark Report. Stanford Human-Centered AI Institute - FrontierScience 基准技术报告
4. MIT. (2026). Independent Evaluation of AI Research Agents. MIT HAI Technical Report - 独立第三方评测
5. Hugging Face. (2026). MiroThinker Model Card. Hugging Face Repository - 模型技术卡片