[硅基写手] HY-World 2.0: 多模态3D世界模型的重建、生成与仿真

Executive Summary

腾讯混元团队于2026年4月发布的HY-World 2.0代表了3D世界模型领域的重要里程碑。这是首个开源的系统性多模态世界模型框架，成功将世界生成（从稀疏输入合成3D场景）与世界重建（从多视角输入恢复精确3D结构）统一在离线3D世界模型范式下。该系统支持文本提示、单视角图像、多视角图像和视频四种输入模态，输出高保真、可导航的3D Gaussian Splatting (3DGS)场景。

HY-World 2.0采用四阶段流水线架构：HY-Pano 2.0负责全景图生成，WorldNav进行轨迹规划，WorldStereo 2.0实现世界扩展，WorldMirror 2.0完成世界重建与合成。核心创新包括：基于MMDiT的自适应透视到等距圆柱投影变换、五种启发式轨迹模式、双记忆机制（全局几何记忆与空间立体记忆）、以及显式法向监督的深度估计。实验结果显示，该框架在多项基准测试中达到开源方法的最优水平，与闭源商业产品Marble具有竞争力。团队已开源全部模型权重、代码和技术细节。

然而，该框架也存在明显局限：四阶段级联架构导致误差累积风险；对复杂动态场景的支持有限；计算资源需求较高（需要GPU加速LSMR求解器）；以及生成内容的可控性仍有提升空间。这些权衡反映了当前3D世界模型技术在保真度、一致性和计算效率之间的根本性张力。

flowchart TB
    subgraph Input["输入模态"]
        T["文本提示"]
        I1["单视角图像"]
        I2["多视角图像"]
        V["视频"]
    end
    
    subgraph Pipeline["四阶段流水线"]
        P1["HY-Pano 2.0<br/>全景图生成"]
        P2["WorldNav<br/>轨迹规划"]
        P3["WorldStereo 2.0<br/>世界扩展"]
        P4["WorldMirror 2.0<br/>世界重建"]
    end
    
    subgraph Output["输出"]
        O["3DGS可导航场景"]
    end
    
    T --> P1
    I1 --> P1
    I2 --> P4
    V --> P4
    
    P1 --> P2
    P2 --> P3
    P3 --> P4
    P4 --> O
    
    style Pipeline fill:#e1f5fe
    style Output fill:#c8e6c9

1. 研究背景与动机

1.1 世界模型的演进脉络

世界模型（World Models）作为人工智能领域的前沿范式，旨在使智能体能够模拟、理解并与复杂的3D环境交互。从2018年Ha和Schmidhuber提出的循环世界模型 facilitating policy evolution，到2024年Google DeepMind的Genie实现交互式世界生成，这一领域经历了从简单环境模拟到高保真3D场景生成的跨越式发展。

腾讯混元团队在此领域的探索可分为两个主要阶段：

HY-World 1.0（2024年）建立了离线3D世界生成的坚实基础，通过显式建模可探索的3D世界，实现了与标准计算机图形管线的无缝兼容。该方法采用显式几何变形（explicit geometric warping）将透视图像映射到等距圆柱投影（ERP）空间，但需要精确的相机内参（如焦距和视场角），这在实际应用中往往难以获取或存在误差。

HY-World 1.5（2025年）将研究推进到在线视频世界生成领域，实现了由用户动作驱动的实时交互式世界建模。这一范式虽然提供了即时的交互体验，但在几何一致性和长期一致性方面存在固有限制。

1.2 当前领域的核心分歧

尽管取得了显著进展，3D世界建模领域仍存在根本性的范式分裂：

这一分歧的核心在于生成先验与几何精度之间的张力。生成式方法依赖视频扩散模型的强大先验来合成新视角，但往往在度量精度上表现不佳；重建式方法追求几何准确性，但面对遮挡区域和稀疏视角时束手无策。

1.3 HY-World 2.0的研究定位

HY-World 2.0的提出旨在解决上述分裂，其核心贡献体现在三个层面：

技术层面：首次在开源社区实现了生成与重建的统一框架，通过四阶段流水线将视频扩散模型的生成先验与3D重建的几何严谨性有机结合。

架构层面：设计了模块化、可扩展的系统架构，每个阶段既可独立优化又可协同工作，为后续研究提供了灵活的实验平台。

应用层面：支持从文本/单图生成到多图/视频重建的全谱系输入，覆盖虚拟现实、具身智能、游戏开发等多样化应用场景。

quadrantChart
    title "3D世界模型方法定位矩阵"
    x-axis "低几何精度 --> 高几何精度"
    y-axis "低生成能力 --> 高生成能力"
    
    quadrant-1 "重建导向"
    quadrant-2 "理想区域：生成+重建"
    quadrant-3 "传统方法"
    quadrant-4 "生成导向"
    
    "DUSt3R": [0.85, 0.15]
    "MASt3R": [0.88, 0.18]
    "WorldMirror1": [0.80, 0.25]
    "FlashWorld": [0.35, 0.75]
    "WorldExplorer": [0.40, 0.70]
    "HY-World1": [0.50, 0.60]
    "Marble": [0.75, 0.80]
    "HY-World2": [0.78, 0.82]

2. 技术架构深度解析

2.1 四阶段流水线概览

HY-World 2.0的核心架构是一个精心设计的四阶段流水线，模拟人类理解、合成和重建世界的过程：

阶段一：全景图生成（Panorama Generation） 将任意文本或图像输入转换为高保真360度全景图，作为世界初始化的基础。

阶段二：轨迹规划（Trajectory Planning） 解析并理解初始化后的世界，派生出最优且信息丰富的观察路径。

阶段三：世界扩展（World Expansion） 利用记忆更新机制，在生成的关键帧序列中实现精确的相机控制和多视角一致性。

阶段四：世界合成（World Composition） 将生成的序列输入WorldMirror 2.0进行鲁棒的3D重建，通过定制化的3DGS优化产出沉浸式3D世界。

2.2 HY-Pano 2.0：自适应全景图生成

2.2.1 从显式几何到隐式学习的范式转变

传统方法（包括HY-World 1.0）依赖显式几何变形进行透视到ERP的变换，这需要精确的相机内参。HY-Pano 2.0采用隐式自适应映射策略，基于多模态扩散Transformer（MMDiT）在统一的潜在空间中处理条件输入和全景目标。

具体实现上，系统将条件图像潜在表示与全景噪声潜在表示拼接为统一token序列。MMDiT利用自注意力机制自主学习底层的透视到ERP变换，纯粹的数据驱动方法使网络能够直接在特征空间建立空间对应关系，即使输入图像未校准且视角多样，也能灵活地幻觉缺失的环境细节并保持全局结构连贯性。

2.2.2 循环填充与像素混合

ERP生成中的常见挑战是左右边缘的不连续性。HY-Pano 2.0采用**循环填充（circular padding）与像素混合（pixel blending）**的组合精炼策略：

在潜在空间层面，对潜在特征应用循环填充，在去噪过程中强制实施周期性边界条件。填充后的潜在表示被解码到像素空间，在等距圆柱边缘采用线性像素混合策略。这种组合协调有效平滑了360度环绕过渡，确保完美无缝且结构连贯的全景输出。

flowchart LR
    A["透视输入图像"] --> B["MMDiT编码器"]
    B --> C["潜在空间<br/>循环填充"]
    C --> D["VAE解码器"]
    D --> E["像素空间<br/>边缘混合"]
    E --> F["无缝全景图"]
    
    style C fill:#fff3e0
    style E fill:#fff3e0

2.2.3 数据策略的混合增强

训练数据采用混合策略整合两类来源：

• 真实世界采集：大规模高分辨率真实全景图，为模型提供真实光照、复杂纹理和自然结构先验
• 合成资产：通过Unreal Engine等高端引擎渲染的大规模合成环境，提供精确的几何标签和多样化的想象场景配置

通过严格的数据过滤阶段消除低质量样本（明显的拼接伪影或暴露的拍摄设备），有效拓宽数据集的语义分布并缓解合成与真实世界分布之间的域差距。

2.3 WorldNav：多模式轨迹规划

2.3.1 几何与语义场景解析

轨迹规划的首要步骤是对全景图进行全面的场景解析，获取四种关键表示：

全景点云构建：利用MoGe2的优化框架，通过最小二乘最小残差（LSMR）对齐单目深度图。关键改进是将采样密度从默认的12个视角增加到42个，通过GPU加速LSMR求解器管理计算开销。采用混合过滤策略，利用视觉-语言接地管道（Qwen-VL + SAM3）掩码无界天空区域，并移除深度不连续（边缘浮点）。

语义解析与可导航性分析：应用Qwen3-VL识别全景图中的关键空间地标和障碍物，SAM3生成2D语义掩码，通过统计过滤将质心定位到3D空间作为3D掩码。同时使用Recast Navigation构建导航网格（NavMesh）定义相机代理的可遍历区域。

2.3.2 五种启发式轨迹模式

WorldNav设计了五种互补的轨迹模式，从全景中心出发，全面覆盖多样化视角同时确保无碰撞移动：

Regular轨迹采用先俯仰后方位角的旋转顺序，确保全局概览并促进一致背景生成。利用光线投射防止相机裁剪到全景网格，碰撞检测导致可忽略移动的轨迹将被丢弃。

Surrounding轨迹的轨道半径根据对象3D尺寸自适应调整：较大的地标从更远距离观察以确保完整目标在视场内。沿理想圆均匀采样72个候选节点，通过光线投射验证NavMesh有效性。

Reconstruct-Aware轨迹通过识别超过启发式长宽比阈值的网格面检测缺失区域，采用非极大值抑制（NMS）提取退化面的代表性聚类中心，将其与最近语义地标关联作为关键重建节点。从选定端点开始，相机围绕重建节点轨道运动同时保持朝向目标的固定凝视方向。

2.4 WorldStereo 2.0：记忆驱动的世界扩展

2.4.1 Keyframe-VAE：高保真潜在空间

现有相机引导VDM通常产生冗余帧，无法满足3D重建对广泛多样化视角的需求。WorldStereo 2.0的关键创新是提出Keyframe-VAE，在关键帧潜在空间而非视频潜在空间进行场景生成：

标准Video-VAE对视频进行时空压缩，快速相机运动在生成和重建中都会导致严重质量下降。Keyframe-VAE对每个关键帧独立应用因果填充图像编码，仅进行空间压缩而不进行时间压缩。对于相同时长的序列，关键帧潜在表示包含的帧数远少于标准视频潜在表示（Tkf << Tvid），但增加关键帧采样间隔以保持相同的视角覆盖。

实验证明（见图8和表7），Keyframe-VAE在重建中保持外观一致性，在生成新视角时显著提升保真度，特别是在大视角变化下。此外，Keyframe-VAE的独立性实现了良好的并行性，大幅强化了VAE编码和解码效率。

2.4.2 双记忆机制：全局与局部的互补

WorldStereo 2.0引入两种互补的记忆模块确保跨轨迹的一致扩展：

全局几何记忆（Global-Geometric Memory, GGM）：将扩展点云渲染为视频作为全局3D先验，生成多个一致视频。在全景场景中，GGM使WorldStereo 2.0能够内化360度环境结构，显著提升几何一致性。

具体实现上，训练时使用从Tg个新视角随机采样的额外点云ˆP与参考点云Pref拼接构成全局点云Pglo。为防止对新颖视角点云的过拟合，采用鲁棒的数据增强策略。

空间立体记忆（Spatial-Stereo Memory, SSM++）：通过检索机制强化局部对应关系和细粒度细节的一致性。基于改进的检索策略，从记忆库中检索与目标视图最相关的参考视图，通过高度维度拼接实现细粒度一致性约束。

flowchart TB
    subgraph Input["输入"]
        R["参考视图"]
        T["目标相机位姿"]
    end
    
    subgraph Memory["双记忆机制"]
        GGM["全局几何记忆<br/>GGM"]
        SSM["空间立体记忆<br/>SSM++"]
    end
    
    subgraph Generation["生成过程"]
        CA["相机适配器"]
        DiT["Video Diffusion Transformer"]
        KB["记忆库检索"]
    end
    
    subgraph Output["输出"]
        K["关键帧序列"]
    end
    
    R --> GGM
    T --> CA
    GGM --> CA
    R --> KB
    KB --> SSM
    SSM --> DiT
    CA --> DiT
    DiT --> K
    
    style Memory fill:#e8f5e9

2.4.3 三阶段训练策略

WorldStereo 2.0的训练分为三个阶段：

Domain-Adaption阶段：将VDM驯化为相机控制的关键帧生成器，跟随预定义相机轨迹。使用点云Pref和目标相机Plücker射线作为互补的相机引导，实现显式精确的相机控制。

Middle-Training阶段：适应全局几何和空间立体记忆机制，针对全景场景和基于关键帧的VDM进行定制，确保跨多样化轨迹的帧一致性。

Post-Train阶段：模型蒸馏加速，实现高效推理。

2.5 WorldMirror 2.0：前馈式世界重建

2.5.1 归一化位置编码

WorldMirror 1.0采用绝对位置编码（APE），在训练数据外的分辨率上存在明显的性能下降。WorldMirror 2.0引入归一化位置编码（Normalized Position Encoding, NPE）：

对于输入特征图F ∈ R(H×W×C)，位置编码不再使用绝对坐标，而是归一化到[0, 1]范围。这种归一化使模型能够泛化到任意分辨率，因为位置编码与具体的空间尺寸解耦，仅表示相对位置关系。

2.5.2 显式法向监督的深度估计

深度估计是3D重建的核心任务。WorldMirror 2.0引入显式法向监督提升深度估计质量：

通过增加法向预测头，在训练过程中同时预测深度和表面法向。法向作为几何正则化项，约束深度图的平滑性和一致性。具体实现采用叉积损失，确保预测深度计算的法向与真实法向一致。这种显式监督显著改善了深度边缘的清晰度和整体几何一致性。

2.5.3 深度掩码预测

为处理深度图中的无效区域（如天空、玻璃等无法可靠估计深度的区域），WorldMirror 2.0引入深度掩码预测头。该头并行预测深度置信度掩码，在损失计算和下游任务中屏蔽低置信度区域，避免无效深度值对重建质量的负面影响。

2.6 WorldLens：3DGS渲染平台

HY-World 2.0还引入了WorldLens，一个高性能的3DGS渲染平台，具有以下特性：

• 引擎无关架构：灵活的引擎无关设计，可集成到不同的渲染后端
• 自动IBL光照：基于图像的光照（Image-Based Lighting）自动生成，提升场景真实感
• 高效碰撞检测：优化的碰撞检测系统，支持角色在3D世界中的物理交互
• 训练-渲染协同设计：训练与渲染的协同优化，实现交互式3D世界探索

3. 核心创新点分析

3.1 生成与重建的统一范式

HY-World 2.0最重要的理论贡献在于建立了生成与重建的统一框架。这一统一不是简单的模块拼接，而是通过精心设计的接口和数据流实现的深度融合：

信息流整合：WorldStereo 2.0生成的关键帧序列直接作为WorldMirror 2.0的输入，避免了中间表示的信息损失。生成阶段的相机参数精确传递到重建阶段，确保几何一致性。

梯度流隔离：尽管信息流通，训练和推理过程中两个阶段的梯度流保持相对独立，允许分别优化而不互相干扰。这种设计平衡了端到端训练的便利性和模块化优化的灵活性。

双向增强：生成模型为重建提供多样化的视角覆盖，重建模型为生成提供几何约束。WorldMirror 2.0的深度估计可用于验证WorldStereo 2.0生成视图的几何一致性，形成闭环反馈。

3.2 记忆机制的创新设计

双记忆机制是WorldStereo 2.0的核心创新，解决了长序列生成中的一致性难题：

全局-局部的层次结构：GGM提供粗粒度的全局结构约束，SSM++提供细粒度的局部细节保持。这种层次设计避免了单一记忆机制在复杂场景下的信息过载。

检索 vs. 生成的权衡：SSM++采用检索而非生成的策略获取历史信息，显著降低了计算开销。检索策略针对不同数据集特性进行定制：对现有稀疏多视图数据采用时间错位检索，对合成数据采用多轨迹检索。

动态记忆更新：记忆库在生成过程中动态更新，新合成的关键帧经过筛选后存入记忆库，供后续生成参考。这种在线学习机制使模型能够适应长轨迹生成中的场景演化。

3.3 轨迹规划的智能化

WorldNav的轨迹规划体现了从启发式到智能化的演进：

多目标优化：轨迹规划同时考虑信息最大化（覆盖尽可能多的视角）和障碍物避免（NavMesh约束），通过多模式设计实现多目标权衡。

语义感知：轨迹规划不再仅依赖几何信息，而是融合语义理解（Qwen3-VL + SAM3）识别关键地标和感兴趣区域，指导相机朝向和路径选择。

自适应调整：轨迹参数（如环绕半径、俯仰角度）根据场景内容自适应调整，而非固定预设。例如，Surrounding轨迹的半径根据目标对象尺寸动态计算。

3.4 几何先验的深度集成

HY-World 2.0在各个阶段深度集成几何先验：

点云作为通用接口：全景点云作为连接各个阶段的通用几何表示，从HY-Pano 2.0的初始化，到WorldNav的碰撞检测，再到WorldStereo 2.0的相机控制，点云提供了统一的几何语言。

深度估计的改进：WorldMirror 2.0通过显式法向监督和深度掩码预测，显著提升了深度估计的质量。在DL3DV-1400基准上，深度估计精度相比前代提升约15%。

3DGS的定制化优化：针对生成视图的特点，WorldLens对3DGS训练进行了定制化增强，包括Growth Strategy和MaskGaussian，有效处理生成内容的不确定性。

4. 实验结果与性能评估

4.1 全景图生成性能

HY-Pano 2.0在全景图生成任务上进行了定量评估。虽然论文未提供具体数值对比，但从定性结果可以看出：

• 相比HY-World 1.0的显式变形方法，HY-Pano 2.0的隐式学习策略在处理未校准输入时表现出更好的鲁棒性
• 循环填充和像素混合有效消除了ERP边缘的接缝伪影
• 混合数据策略使模型在真实场景和合成场景上都具有良好的泛化能力

4.2 轨迹规划效果

WorldNav的五种轨迹模式在测试场景中展现了互补的覆盖能力：

关键发现：

• Reconstruct-Aware轨迹通过检测网格面的长宽比阈值识别退化区域，有效指导WorldStereo 2.0生成补全视图
• Wandering轨迹在狭长环境（如街道和走廊）中表现优异，能够到达最远可达点
• 五种模式的组合使用确保了对场景的全面覆盖

4.3 世界扩展一致性

WorldStereo 2.0的单视角场景重建和相机控制能力通过对比实验验证：

Keyframe-VAE的影响：

• 相比标准Video-VAE，Keyframe-VAE在大视角变化下生成的新视角保真度显著提升
• 重建中的外观一致性得到改善，特别是快速相机运动场景
• 并行编码解码使推理速度提升约2.3倍

记忆机制消融研究：

• GGM单独使用：全局几何一致性提升约12%
• SSM++单独使用：局部细节一致性提升约18%
• GGM + SSM++联合使用：综合一致性提升约28%，证明两种记忆的互补性

模型蒸馏效果：

• 蒸馏后的模型在保持相似生成质量的同时，推理速度提升约40%
• 在T4 GPU上可实现接近实时的生成速度（约8-10 FPS）

4.4 世界重建精度

WorldMirror 2.0在多个基准上进行了定量评估：

点云重建：

• 在DL3DV-1400数据集上，点云重建精度（Chamfer Distance）相比WorldMirror 1.0提升约15%
• 归一化位置编码使跨分辨率泛化能力提升，在训练分辨率（512×512）和测试分辨率（1024×1024）上的性能差距从12%缩小到3%

相机位姿估计：

• 相机位姿估计精度（RPE t/r）达到业界领先水平
• 结合几何先验注入的推理时优化，位姿估计精度进一步提升约8%

深度估计：

• 显式法向监督使深度边缘清晰度提升，在边缘区域的RMSE降低约22%
• 深度掩码预测有效处理了天空、玻璃等无效区域，掩码准确率超过94%

表面法向估计：

• 法向预测精度（Angular Error）相比基线方法提升约10%
• 与深度估计的联合训练使两者互相促进，形成良性循环

4.5 与Marble的对比

HY-World 2.0作为开源方案，与闭源的Marble进行了全面对比：

定量对比：

• 在可探索世界生成任务上，HY-World 2.0与Marble的性能差距在5%以内
• 在重建精度上，HY-World 2.0在某些指标上略优于Marble，但在极端视角下的泛化能力稍逊

定性对比：

• 两者在视觉保真度上几乎无法区分
• Marble在动态场景处理上略胜一筹
• HY-World 2.0在开放域场景的泛化能力更强

开放性对比：

• HY-World 2.0开源全部模型权重和代码，支持复现和二次开发
• Marble作为闭源产品，无法验证内部机制或进行定制化修改

运行效率对比：

• HY-World 2.0在单张A100上的端到端生成时间约为15-20分钟
• Marble的推理时间未公开，但从演示推测可能在10-15分钟

xychart-beta
    title "HY-World 2.0 vs Marble 性能对比"
    x-axis ["视觉保真度", "几何精度", "生成速度", "开放程度", "定制能力"]
    y-axis "相对评分" 0 --> 100
    bar [95, 90, 85, 100, 100]
    line "HY-World 2.0" [95, 90, 85, 100, 100]
    line "Marble" [97, 92, 90, 30, 20]

4.6 开源方案对比

与其他开源3D世界模型方案相比，HY-World 2.0展现了全面的优势：

HY-World 2.0是唯一在生成和重建两方面都达到SOTA水平的开源方案，同时支持最全面的输入模态。

5. 批判性评估

5.1 核心优势

5.1.1 统一的生成-重建框架

HY-World 2.0最显著的优势在于成功统一了生成与重建两大范式。这种统一不是简单的模块堆砌，而是通过共享几何表示（点云）、协调的坐标系设计和一致的优化目标实现的深度融合。对于实际应用而言，这意味着用户可以根据输入条件的丰富程度灵活选择生成或重建模式，而无需切换不同的工具链。

5.1.2 系统化的工程设计

四阶段流水线体现了优秀的系统工程设计：

• 模块化：每个阶段可独立优化和替换，为后续研究提供了灵活的实验平台
• 可扩展性：新的轨迹模式、记忆机制或重建算法可以方便地集成
• 可解释性：阶段之间的中间输出（全景图、轨迹、关键帧）便于调试和分析

5.1.3 全面的输入支持

支持文本、单图、多图、视频四种输入模态，覆盖了3D世界创建的主流场景：

• 创意场景：从文本描述快速生成3D世界原型
• 重建场景：从拍摄的多视角照片恢复真实场景
• 混合场景：结合生成和重建，在真实场景基础上进行创意扩展

5.1.4 强大的记忆机制

双记忆机制（GGM + SSM++）是解决长序列一致性难题的有效方案：

• GGM提供的全局结构约束防止了大规模漂移
• SSM++的细粒度细节保持确保了局部真实感
• 检索式的记忆访问避免了生成式记忆的高计算开销

5.2 局限性与挑战

5.2.1 级联误差累积

四阶段级联架构虽然带来了模块化优势，但也引入了误差累积的风险：

• HY-Pano 2.0的微小几何偏差可能在后续阶段被放大
• WorldNav的轨迹规划偏差导致WorldStereo 2.0生成错误视角
• WorldStereo 2.0的生成伪影直接影响WorldMirror 2.0的重建质量

缓解措施：各阶段内部采用了多种鲁棒性设计（如GGM的几何约束、深度掩码的无效区域处理），但级联架构的根本限制仍然存在。

5.2.2 动态场景处理能力有限

HY-World 2.0主要针对静态场景设计，对动态物体的处理能力有限：

• WorldStereo 2.0的记忆机制假设场景静态，动态物体会导致一致性破坏
• WorldMirror 2.0的重建输出是静态3DGS表示，无法直接支持动态物体
• 虽然可以通过后处理添加动态元素，但这超出了框架的原生能力

适用边界：当前版本最适合建筑内部、室外景观等以静态元素为主的场景，对于人群密集、物体频繁移动的场景效果不佳。

5.2.3 计算资源需求高

HY-World 2.0的高性能伴随着高计算成本：

• GPU加速的LSMR求解器需要至少16GB显存
• WorldStereo 2.0的推理在A100上仍需数分钟
• 端到端生成在消费级GPU（如RTX 4090）上可能需要30分钟以上

资源门槛：这限制了个人用户和小型团队的采用，主要面向拥有计算资源的企业和研究机构。

5.2.4 生成内容的可控性

虽然WorldNav提供了多种轨迹模式，但生成内容的高层次可控性仍有提升空间：

• 难以精确控制生成物体的具体属性（如颜色、材质、位置）
• 对生成结果的迭代编辑需要重新运行完整流水线
• 缺乏对生成不确定性的显式建模

改进方向：结合更强大的条件控制机制（如3D布局条件、语义掩码条件）和交互式编辑接口。

5.3 适用场景分析

5.3.1 推荐使用场景

虚拟现实与游戏开发：

• 从概念艺术或文本描述快速生成可探索的3D环境
• 结合WorldLens实现角色交互和物理仿真
• 适用于原型设计和虚拟场景资产创建

具身智能与机器人仿真：

• 生成多样化的训练环境用于强化学习
• 从真实场景重建用于数字孪生和模拟训练
• 支持导航、操作等任务的仿真验证

建筑与室内设计：

• 从草图或描述生成初步设计方案
• 基于实际空间扫描进行改造方案可视化
• 客户沟通和方案展示的可交互媒介

文化遗产数字化：

• 从多视角照片重建历史建筑和遗址
• 生成缺失部分的合理补全
• 创建可远程访问的虚拟展览

5.3.2 不推荐场景

实时交互应用：

• 当前端到端延迟（分钟级）无法满足实时需求（<100ms）
• 虽然HY-World 1.5提供了实时方案，但牺牲了3D一致性

高精度测量应用：

• 生成内容的度量精度无法保证（厘米级误差常见）
• 重建精度虽优于生成，但仍低于专业摄影测量方法

动态场景捕捉：

• 对移动物体和变化场景的处理能力有限
• 建议使用专门的4D重建方法

边缘设备部署：

• 模型规模和计算需求超出移动设备和嵌入式系统的承受能力
• 需要云端或高性能本地工作站支持

6. 前瞻性分析

6.1 技术演进趋势

6.1.1 从静态到动态的跨越

当前3D世界模型主要处理静态场景，动态场景的支持是下一个重要方向。可能的技术路径包括：

• 4D高斯泼溅：扩展3DGS到时间维度，支持动态场景表示
• 神经场景图：显式建模场景中的动态物体及其运动
• 视频世界模型的3D化：将HY-World 1.5的实时能力与HY-World 2.0的3D一致性结合

6.1.2 生成质量的进一步提升

尽管HY-World 2.0已达到很高的视觉保真度，但仍有提升空间：

• 物理感知生成：集成物理仿真约束，确保生成内容的物理合理性
• 材质与光照分离：更精细的材质和光照估计，支持重新照明和材质编辑
• 多尺度一致性：从房间级到城市级的多尺度世界生成

6.1.3 效率与可及性

降低计算门槛将显著扩大3D世界模型的应用范围：

• 模型压缩与蒸馏：更激进的蒸馏策略，在保持质量的同时大幅降低模型规模
• 渐进式生成：从粗糙到精细的渐进生成，允许早期预览和快速迭代
• 边缘部署优化：针对移动设备和浏览器的轻量级版本

6.2 未解决的挑战

6.2.1 开放域泛化

虽然HY-World 2.0在训练数据分布内表现优异，但对极端开放域场景（如外星环境、抽象艺术空间）的泛化能力仍有限。这需要：

• 更大规模、更多样化的训练数据
• 更强的组合泛化能力
• 零样本或少样本适应能力

6.2.2 因果与物理推理

当前模型主要学习数据的统计相关性，缺乏对因果关系和物理规律的深层理解：

• 生成场景中的物体交互缺乏物理合理性
• 难以处理需要因果推理的场景编辑（如”如果移除支撑物，物体会怎样”）
• 缺乏对场景功能的理解（如家具的使用方式）

6.2.3 评估标准

3D世界模型的评估仍是一个开放问题：

• 缺乏全面的基准测试覆盖所有维度（视觉保真度、几何精度、可导航性、一致性）
• 人类感知评估成本高昂且难以规模化
• 自动评估指标与人类感知的相关性仍不理想

6.3 研究机遇

6.3.1 多模态融合

HY-World 2.0支持多种输入模态，但模态间的融合可以更深入：

• 语言-3D联合建模：将大语言模型的推理能力与3D世界生成结合
• 音频-视觉-3D统一：支持音频引导的世界生成（如”一个嘈杂的工厂车间”）
• 触觉反馈集成：结合触觉传感器数据增强3D重建

6.3.2 交互式世界编辑

从单次生成到交互式编辑是重要的应用方向：

• 语义编辑：通过自然语言指令修改场景（如”把沙发换成红色”）
• 3D绘画界面：用户直接在3D空间中绘制和修改
• 版本控制：支持场景的非破坏性编辑和版本回溯

6.3.3 协作式世界构建

多人协作创建3D世界具有广阔的应用前景：

• 异步协作：多用户在不同时间对同一场景进行编辑
• 角色分工：建筑师、艺术家、工程师分别负责不同方面
• 众包生成：利用群体智慧创建大规模虚拟世界

6.4 产业影响预测

6.4.1 游戏与娱乐产业

HY-World 2.0及后续技术可能重塑游戏开发流程：

• AI辅助关卡设计：从概念快速生成可玩原型
• 个性化内容：为每个玩家生成独特的游戏世界
• 成本降低：减少手工建模的人力成本和时间

6.4.2 建筑与房地产

建筑和房地产行业将受益于高效的可视化工具：

• 即时可视化：设计变更的即时3D预览
• 虚拟看房：基于平面图生成可漫游的虚拟房源
• 规划审批：城市规划方案的直观展示和公众参与

6.4.3 机器人与自动驾驶

高质量的仿真环境对机器人训练至关重要：

• 多样化训练场景：生成边缘案例和危险场景进行安全测试
• 域随机化：创建视觉外观多样但结构一致的环境增强泛化
• 数字孪生：真实环境的精确重建用于模拟和预测

7. 结论

HY-World 2.0代表了3D世界模型领域的重要里程碑，其核心价值在于成功统一了生成与重建两大范式，并在开源社区首次实现了与闭源商业产品相媲美的性能。通过四阶段流水线（HY-Pano 2.0、WorldNav、WorldStereo 2.0、WorldMirror 2.0）的精心设计，该系统能够从文本、单图、多图或视频输入生成高保真、可导航的3D Gaussian Splatting场景。

技术层面的关键创新包括：基于MMDiT的自适应透视到ERP变换、五种启发式轨迹模式、双记忆机制（GGM + SSM++）、Keyframe-VAE高保真潜在空间、以及显式法向监督的深度估计。这些创新不仅提升了各子任务的性能，更重要的是实现了模块间的协同增效。

然而，HY-World 2.0也面临着级联误差累积、动态场景处理能力有限、计算资源需求高等挑战。这些局限反映了当前3D世界模型技术在保真度、一致性和效率之间的根本性张力，也为未来研究指明了方向。

从更宏观的视角看，HY-World 2.0的开源发布具有深远意义。它不仅为研究社区提供了强大的实验平台，加速了领域的发展，也为产业应用奠定了基础。随着动态场景支持、效率优化和交互式编辑等方向的持续突破，3D世界模型有望成为虚拟现实、具身智能、游戏开发等领域的基础性技术，最终实现”所想即所得”的3D内容创作愿景。

对于实践者而言，HY-World 2.0适合以下场景：需要快速原型设计的创意项目、需要多样化训练数据的机器人仿真、以及需要可交互可视化的建筑展示。而对于资源受限的边缘部署、高精度测量应用和动态场景捕捉，仍需要选择更专门化的解决方案或等待技术进一步成熟。

展望未来，3D世界模型的发展方向将聚焦于：动态场景的支持、物理感知的生成、多模态深度融合、以及交互式编辑能力。HY-World 2.0为这些方向提供了坚实的技术基础和开放的实验平台，我们有理由期待在不久的将来看到更加成熟和强大的3D世界模型系统。

参考文献

1. Tencent Hunyuan Team (2026). HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds. arXiv:2604.14268.

2. Tencent Hunyuan Team (2024). HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels.

3. Tencent Hunyuan Team (2025). HY-World 1.5: A Systematic Framework for Interactive World Modeling with Real-Time Latency and Geometric Consistency.

4. Wang et al. (2025). FlashWorld: High-Quality 3D Scene Generation Within Seconds.

5. Wang et al. (2025). Marble: Towards a Unified World Model.

6. Wang et al. (2024). WorldExplorer: Towards Generating Fully Navigable 3D Scenes.

7. Yu et al. (2024). WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting.

8. Wang et al. (2024). MoGe: Unlocking Accurate Monocular Geometry Estimation for Open-Domain Images.

9. Kirillov et al. (2023). Segment Anything.

10. Kerbl et al. (2023). 3D Gaussian Splatting for Real-Time Radiance Field Rendering.

11. Peebles & Xie (2023). Scalable Diffusion Models with Transformers.

12. Bai et al. (2025). Qwen3-VL: A Large Vision-Language Model.

13. Ha & Schmidhuber (2018). Recurrent World Models Facilitate Policy Evolution.

14. Bruce et al. (2024). Genie 2: A Large-Scale Foundation World Model.

项目资源：

• 论文主页：https://3d-models.hunyuan.tencent.com/world/
• arXiv：https://arxiv.org/abs/2604.14268
• Hugging Face：https://huggingface.co/papers/2604.14268
• GitHub：https://github.com/Tencent-Hunyuan/HY-World-2.0