【论文阅读笔记】分钟级别的高质量文本到3D角色生成AbstractIntroductionMethodLL/VM解析人脸面部属性并生成根据密集地标重建face/head形状几何生成纹理生成纹理提取漫反射反照率（DiffusionAlbedo）估计纹理矫正和补全头发生成（牛了）资产匹配实验未来工作paperhttps://arxiv.org/abs/2312.15430Demohttps://hug

简介 很多工作在扩散先验中注入跨视图一致性，但仍然缺乏细粒度的视图一致性。论文提出的文本到3d的方法有效地减轻了漂浮物(由于密度过大)和完全空白空间(由于密度不足)的产生。实现过程 简单而言，论文工作是Dreamfusion+Zero123。 使用两种不同的分数蒸馏进行监督:文本条件下的多视图扩散模型（维护文本的多视图一致性）和图像条件下的新视图扩散模型（维护视图之间的一致性）。 对于3D表示，实

简介主页：https://research.nvidia.com/labs/dir/magic3d/DreamFusion实现了文本指导2D扩散模型生成3D场景，但是其有以下两个缺点：对NeRF的优化极其缓慢;对NeRF的图像空间监督分辨率低，导致3D模型质量低，处理时间长论文为此提出两阶段优化框架使用低分辨率扩散先验和稀疏三维哈希网格结构来获得一个粗糙模型使用粗表示作为初始化，进一步优化了一个纹

SWEETDREAMER:ALIGNINGGEOMETRICPRIORSIN2DDIFFUSIONFORCONSISTENTTEXT-TO-3Dpdf|project目录MethodAlignningGeometricPriorsin2DDiffusionIntegrationintoText-to-3DText-to-3DGenerationMethod本文探索了3D生成中的view-incon

3D生成蓬勃发展，主流方法通过事例比较和用户调查来评价方法好坏，缺少客观比较指标；本文提出Bench，首次综合比较了不同生成方法；具体来说，本文设计了质量评估（QualityAssessment）和对齐评估（AlignmentAssessment），前者评价生成物体的质量，后者评价生成物体与文本的对齐程度；针对质量评估，本文提出一种多视角ImageReward的评估方法。具体来说，本文以3D物体为

文章目录概述相关工作3D形状合成使用2D监督的text-to-3D任务方法前置知识LDMScoreDistillationLatentNeRF文本引导RGBrefinementSketch-ShapeGuidance

3D生成重建004-DreamFusionandSJC：TEXT-TO-3DUSING2DDIFFUSION文章目录0论文工作1论文方法1.1论文方法1.2CFG1.3影响1.4SJC2效果0论文工作对于生成任务，我们是需要有一个数据样本，让模型去学习数据分布p(x)p(x)p(x)，但是对于3d的生成来说，有两个挑战：1）一个完善的很大的3d数据数据集，对比2d的扩散模型是一个几亿的图像文本对上

目录AbstractBackground:DreamFusionHigh-Resolution3DGenerationCoarse-to-fineDiffusionPriorsSceneModelsCoarse-to-fineOptimizationNeRFoptimizationMeshoptimizationExperimentsControllable3DGenerationPersonal

ProlificDreamer论文阅读Project指路：https://ml.cs.tsinghua.edu.cn/prolificdreamer/论文简介：截止2023/8/10，text-to-3D

Magic3D:High-ResolutionText-to-3DContentCreation（高分辨率文本到3d内容创建）Paper：https://readpaper.com/pdf-annotate/note?pdfId=4738271534435532801¬eId=1848084184935912192Project：https://research.nvidia.com/lab

论文｜改文章是23年5月27日挂在arxiv上，本文重点关注4.1节TextGuided3DAvatarGeneration、4.4节TextGuided3DShapeTransformation和第5章DiscussionTextGuided3DAvatarGenerationDreamAvatarDreamAvatar:Text-and-ShapeGuided3DHumanAvatarGene

DREAMFUSION:TEXT-TO-3DUSING2DDIFFUSIONAbstractRecentbreakthroughsintext-to-imagesynthesishavebeendrivenbydiffusionmodelstrainedonbillionsofimage-textpairs.Adaptingthisapproachto3Dsynthe-siswouldrequir

1NeRF-based1）《Zero-shottext-guidedobjectgenerationwithdreamfields》【CVPR2023】Project：https://ajayj.com/dreamfieldsDevice：未公布前置知识：伪影(Artifacts)是指本不存在却出现在的影像片子上的一种成像。在图像生成领域中，可以理解是合成图片中，不自然的、反常的、能让人看出是人为

简介主页：https://ku-cvlab.github.io/3DFuse/分数蒸馏是一种使用预先训练的文本到2d扩散模型来优化零镜头设置下神经辐射场(NeRF)的方法二维扩散模型中缺乏三维感知，使得基于分数蒸馏的方法无法重建一个可信的3D场景例如：文本提示“一只可爱的猫”具有颜色模糊性，因为它可以指黑猫或白猫。这种模糊性导致在这个范围内生成任何图像的自由，这损害了生成的NeRF的质量和一致性3

text-to-3D：用对方法，一个顶俩3D建模想必大家都不陌生，近年来，在电

text-to-3D：用对方法，一个顶俩3D建模想必大家都不陌生，近年来，在电

前沿最近在多模态有两篇非常惊艳的工作：一篇是Facebook母公司META在9月30号放出来的Text-to-Video、一篇是Google的Text-to-3D；今天我们来看看第一篇即根据文本直接生成视频