建筑结合AI的科研工作整理

2023/3/28

视频介绍，官方英文介绍（最新资料）

[AIGC进展，文本生成室内3D Mesh] 慕尼黑工业大学Matthias团队与密西根大学Justin团队，推出Text2Room，用文本生成室内3D场景建模_哔哩哔哩_bilibili

Subjects: cs.CV

1.Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models

 

标题：Text2Room：从 2D 文本到图像模型中提取带纹理的 3D 网格

作者：Lukas Höllein, Ang Cao, Andrew Owens, Justin Johnson, Matthias Nießner

文章链接：https://arxiv.org/abs/2303.11989

项目代码：https://github.com/lukashoel/text2room

Text2Room 项目详情 | SOTA！模型社区 (jiqizhixin.com)

摘要：

        我们介绍了 Text2Room，这是一种从给定文本提示作为输入生成房间尺度纹理 3D 网格的方法。为此，我们利用预训练的 2D 文本到图像模型来合成一系列来自不同姿势的图像。为了将这些输出提升为一致的 3D 场景表示，我们将单眼深度估计与文本条件修复模型相结合。我们方法的核心思想是量身定制的视点选择，这样每张图像的内容都可以融合到一个无缝的、有纹理的 3D 网格中。更具体地说，我们提出了一种连续对齐策略，该策略将场景帧与现有几何体迭代融合以创建无缝网格。与专注于从文本生成单个对象或缩小轨迹的现有作品不同，我们的方法生成具有多个对象和显式 3D 几何的完整 3D 场景。我们使用定性和定量指标评估我们的方法，证明它是第一种仅从文本作为输入生成具有引人注目的纹理的房间尺度 3D 几何图形的方法

 

 

参考资料：

(345条消息) 每日学术速递3.27_AiCharm的博客-CSDN博客

lukasHoel/text2room: Text2Room generates textured 3D meshes from a given text prompt using 2D text-to-image models. (github.com)