Documentation
HunyuanWorld-Mirror
HunyuanWorld-Mirror 是点亮ART体系中的三维重建模块,用于组织多视图输入、先验提示、几何预测与三维表示输出,并支撑相关演示结果。
系统定位
HunyuanWorld-Mirror 是点亮ART体系中的三维重建模块,用于组织多视图输入、先验提示、几何预测与三维表示输出,并支撑相关演示结果。
相关背景参见 腾讯混元WorldMirror重建模型。
演示视频
以下视频用于展示该模块在实际界面中的运行结果。
HunyuanWorld-Mirror
核心职责
在三维重建场景中,单一几何结果不足以支撑完整交付。系统仍需覆盖先验接收、统一预测与多种三维表示输出。HunyuanWorld-Mirror 的主要职责包括:
- 建立面向图像或视频输入的三维重建处理入口
- 管理相机位姿、内参、深度等多种先验提示
- 组织点云、深度图、法线、相机参数与 3DGS 输出
- 协调推理结果与后续三维处理链路之间的衔接
该模块的作用,是将“先验输入、几何预测、三维输出、结果衔接”整合为连续的三维重建流程。
核心组成
1. 多先验提示机制
对应 腾讯混元WorldMirror重建模型 中的 Any-Prior Prompting。
该部分负责将校准内参、相机位姿、深度等信息编码为统一先验输入,以支持任意先验子集组合。
2. 通用几何预测头
对应 腾讯混元WorldMirror重建模型 中的统一预测结构。
该部分负责在单次推理中输出点云、深度图、相机参数、表面法线与 3D 高斯溅射等结果。
3. 推理与后处理链路
对应 腾讯混元WorldMirror重建模型 中的推理与导出流程。
该部分负责组织推理执行、可选 3DGS 优化,以及点云或 COLMAP 格式结果导出。
工作流程
HunyuanWorld-Mirror 的工作流程可归纳为以下阶段:
- 输入建立:准备图像、多视图序列或视频输入。
- 先验组织:注入相机、深度或内参等可用先验。
- 统一几何预测:执行单次推理并生成多种三维表示。
- 结果导出与衔接:导出点云、相机参数或 3DGS 结果供后续使用。
系统关系可表示为:
输入数据 → 先验提示 → 几何预测 → 三维结果导出
文档范围
本文档说明 HunyuanWorld-Mirror 在当前知识体系中的角色,以及它与多先验提示、统一几何预测和结果导出之间的关系。
本文档不展开训练细节、论文推导或非核心表现层细节,仅聚焦于三维重建相关的内部能力。