vector quantized diffusion model for text-to-image synthesis

CVPR 2022论文分享会 - 基于VQ-Diffusion的文本到图像合成_哔哩哔哩_bilibiliCVPR 2022论文分享会 - 基于VQ-Diffusion的文本到图像合成, 视频播放量 1438、弹幕量 2、点赞数 38、投硬币枚数 12、收藏人数 40、转发人数 13, 视频作者 微软科技, 作者简介 大家好我是田老师,田字间不定期开课,定期抽奖。记得关注哦,相关视频:2023 CVPR论文分享会|Session1:Visual Generation - 张博,微软2023 Microsoft 365 Copilot发布会全程回顾 中文字幕版,2023 CVPR论文分享会|Session1:Visual Generation - 董晶,2023 CVPR论文分享会|Poster 分享,【AAAI 2023论文分享】针对从离线到在线强化学习的自适应策略学习,ICSE 2021论文分享——用于深度学习模型的资源导向的配置空间约简,【豆瓣狂砍9.5分】SCI论文写作教科书,为非英语母语国家研究者量身定制,专门指导英语学术论文写作!-SCI/学术论文/期刊,【AAAI 2023论文分享】基于因果的组合在线学习,面对“数字化转型”的挑战,你准备好了吗?,享受AI编码 装CodeGeeX插件就行 | VSCode插件推荐 | CodeGeeX使用教程https://www.bilibili.com/video/BV13Y4y1r7CH/?spm_id_from=333.1007.top_right_bar_window_dynamic.content.click&vd_source=4aed82e35f26bb600bc5b46e65e25c22vector quantized diffusion model for text-to-image synthesis_第1张图片

vector quantized diffusion model for text-to-image synthesis_第2张图片

2021年前的方法都是基于GAN的,一般把文本和noise放入一个生成网络中,然后生成一个图像之后,通过判别器判定其和文本是否match,然后同时判real和fake,这种方法有两个缺点,1只能建模单一场景,比如只能去生成人脸相关的,gan模型就只能是在人脸这个场景上训练的;2.无法对场景中存在的多个物体进行建模。右边是基于GPT的方法,如果dalle,对于一个给定的文本,从图像的最左上角开始生成,依次从左上往右下,逐块生成这个图,但对于一些复杂的多样性图片,前一个token错误,后面的生成就都有问题了,并且非常的慢。

vector quantized diffusion model for text-to-image synthesis_第3张图片

1.把denoise diffusion引入到文生图领域;2.提出了VQ diffusion算法;3.比自回归要快15倍。

vector quantized diffusion model for text-to-image synthesis_第4张图片

diffusion model有两个步骤,forward step,从右往左看,加噪,马尔可夫过程,当一张图像不断加噪声,最终会成为一个纯噪声图,reverse step, 去噪,使用网络对噪声图像进行消除噪声,最终的到图片。

vector quantized diffusion model for text-to-image synthesis_第5张图片

VQ diffusion不是在纯像素空间去做,而是在一个量化的像素空间去做,pixel空间图像分辨率很高,用transformer对每一个像素进行建模的话,sequence长度会很长,不利于建模。因此对图像空间的分辨率进行压缩,用到了VQVAE,把图片变成一个分辨率较低的离散的code,如上图分辨率是256x256,压缩后变成32x32。

vector quantized diffusion model for text-to-image synthesis_第6张图片

在第二步,引入了mask和replace的策略,加噪全部在一个离散空间中进行,有两种加噪方式,第一种是随机的把某一个code给去掉,mask掉,第二种是replace,随机的把code替换成其他code,这样在加噪中我就会得到一个随机code和mask code组成的一个向量,通过带噪声的一串code以及文本信息可以恢复出原来的图像。

vector quantized diffusion model for text-to-image synthesis_第7张图片

vector quantized diffusion model for text-to-image synthesis_第8张图片

vector quantized diffusion model for text-to-image synthesis_第9张图片

vector quantized diffusion model for text-to-image synthesis_第10张图片

你可能感兴趣的:(大模型,多模态和生成,stable,diffusion)