hi3dgen：一款先进的高保真3d几何生成框架

Hi3DGen是由香港中文大学（深圳）、字节跳动和清华大学的研究团队联合开发的一款先进的3D几何生成框架。它能够从单张2D图像生成高度逼真的3D模型，其生成的模型细节丰富，显著超越现有技术。该框架的核心在于其独特的基于法线图的中间表示方法，并包含三个关键组件：图像到法线估计器、法线到几何学习方法以及3D数据合成管道。

Hi3DGen核心功能：

• 2D图像到高保真3D模型转换： 将2D图像转化为细节丰富的3D几何模型。
• 精准的图像到法线估计： 通过噪声注入和双流训练，有效分离图像的低频和高频信息，实现精确、稳定且细节清晰的法线估计。
• 高效的法线到几何学习： 利用法线正则化的潜在扩散学习方法，显著提升3D几何生成的保真度。
• 高质量3D数据集合成： 构建高质量的3D数据集，用于模型训练和优化。

Hi3DGen技术原理详解：

Hi3DGen采用两阶段生成流程：

1. 基础多视角生成： 利用预训练的视频扩散模型，结合相机姿态信息进行微调，将单视角图像转换为低分辨率的3D感知图像序列（轨道视频）。
2. 3D感知多视角细化： 将低分辨率多视角图像输入到3D感知视频到视频细化器，提升图像分辨率和细节纹理。

此外，Hi3DGen还运用以下技术：

• 3D高斯散射 (3DGS)： 从高分辨率多视角图像学习隐式3D模型，并通过3DGS渲染额外的插值视图。
• 基于SDF的重建： 利用基于符号距离函数 (SDF) 的重建方法，从增强的密集视图中提取高质量的3D网格。

图像到法线估计器和法线到几何学习方法则分别负责将2D图像转换为法线图，以及将法线图转换为最终的3D模型。 整个过程通过3D数据合成管道进行支持和优化。

项目信息：

• 项目官网： https://www.php.cn/link/a1a3170911eaa82c07fccbcbdf61f6bb
• Github仓库： https://www.php.cn/link/a1a3170911eaa82c07fccbcbdf61f6bb

Hi3DGen应用前景：

Hi3DGen在多个领域拥有广阔的应用前景，例如：游戏开发、影视制作、3D可视化、虚拟摄影、文物保护和医学成像等。它能够显著提高3D模型生成的效率和质量，降低生产成本，并为相关领域带来新的可能性。

《夸克》非常好用的免费AI浏览器

下载APP查看