3DTown是什么

3dtown 是哥伦比亚大学联合cybever ai等机构推出的从单张俯视图生成3d城镇场景框架。框架基于区域化生成和空间感知的3d修复技术，将输入图像分解为重叠区域，基于预训练的3d对象生成器分别生成每个区域的3d内容，基于掩码修正流修复过程填补缺失的几何结构，同时保持结构连续性。3dtown 支持生成具有高几何质量和纹理保真度的连贯3d场景，在多种风格的场景生成中表现出色，优于现有的先进方法。

3DTown的主要功能

• 生成多样化的3D场景：支持不同风格和布局的场景生成，如“雪镇”、“沙漠小镇”等。
• 保持几何和纹理一致性：生成的3D场景在几何结构和纹理上与输入图像高度一致。
• 高效处理复杂场景：能有效处理复杂场景，避免几何失真和布局幻觉。

3DTown的技术原理

• 区域化生成：将输入图像分解为重叠区域，每个区域独立生成3D内容。用预训练的3D对象生成器对每个区域进行生成，提高局部对齐和分辨率。基于区域融合，将生成的区域逐步合并为连贯的全局3D场景。
• 空间感知3D修复：用单目深度估计和地标检测初始化粗略的3D结构，作为空间先验。基于掩码修正流（Masked Rectified Flow）技术，填补缺失的几何结构，同时保持已知内容的连续性。基于两阶段的掩码修正流管道，生成稀疏结构和结构化潜在表示，确保全局一致性。
• 结构化潜在表示：基于结构化潜在表示来构建3D场景，包括位置索引和潜在特征向量。用稀疏结构生成器和结构化潜在生成器，逐步生成3D场景的潜在表示。
• 模块化设计：基于模块化设计，将复杂的3D场景生成问题分解为多个子问题，每个子问题独立解决后再进行整合。

3DTown的项目地址

• 项目官网：http://eric-ai-lab.github.io/3dtown.github.io/
• arXiv技术论文：http://arxiv.org/pdf/2505.15765

3DTown的应用场景

• 虚拟世界构建：快速生成虚拟城镇或场景，为虚拟现实（VR）和增强现实（AR）应用提供逼真的环境。
• 游戏开发：为游戏设计师提供高效工具，从简单俯视图生成复杂3D游戏场景，节省时间和成本。
• 机器人模拟：创建逼真的3D场景用于机器人训练，提高机器人在复杂环境中的导航和交互能力。
• 数字内容创作：帮助艺术家和设计师快速生成3D场景原型，加速创意过程，提升工作效率。
• 建筑与城市规划：从概念草图生成3D建筑模型和城市布局，辅助规划和设计工作，便于方案展示和评估。