VQVAE

深入理解vqvae

vqvae可以实现图片的离散压缩和还原，在图片自回归生成、StableDiffusion中，有重要的应用。

Adenialzz·2024-02-07 06:50

AutoEncoder自动编码器、VAE变分自编码器、VQVAE量子化（离散化）的自编码器

的概率理解（三）AutoEncoder的局限VAE变分自编码器（VariationalAutoEncoder）（一）VAE简介（二）VAE的概率理解（三）VAE与AE（三）VAE与GAN（四）VAE的损失函数VQVAE

丁希希哇·2024-02-04 14:43

AIGC笔记--VQVAE模型搭建

1--VQVAE模型VAE模型生成的内容质量不高，原因可能在于将图片编码成连续变量（映射为标准分布），然而将图片编码成离散变量可能会更好（因为现实生活中习惯用离散变量来形容事物，例如人的高矮胖瘦等都是离散的

晓晓纳兰容若·2024-01-21 02:04

VQGAN：从图像重建到图像生成

我已经开始讨论VQGAN的一部分——自编码器（VQVAE：矢量量化变分自动编码器）。VQVAE的概念是对编码器、解码器和码书的同时训练，该码书适用于所有可能的图像。码书是一组256个嵌入向量。

小北的北·2024-01-17 07:43

图片速览 PoseGPT：基于量化的 3D 人体运动生成和预测(VQVAE)

papercodehttps://arxiv.org/pdf/2210.10542.pdfhttps://europe.naverlabs.com/research/computer-vision/posegpt/方法将动作压缩到离散空间。使用GPT类的模型预测未来动作的离散索引。使用解码器解码动作得到输出。效果提出的方法在HumanAct12（一个标准但小规模的数据集）以及BABEL（最近的大规

FakeOccupational·2023-12-19 10:59

vqvae 论文阅读

https://arxiv.org/abs/1711.00937直接3.1首先我们定义一个嵌入空间.是K*D维度的.K是离散空间向量的数量.D是每一个向量的维度.所以e_i中的i属于1到K.模型的输入是x,也就是图片.然后模型编码成一个z_e(x).然后使用最近算法来得到z_q具体公式是下面1和2.理解q这个分布.给定x之后,是一个0,1离散分布.对于下表i属于1到K进行分布.i等于最接近z_e=

weixin_40467931·2023-12-02 07:11

vqvae简单实战，利用vqvae来提升模型向量表达

在这些模型中用到一个基础模型vqvae，今天我们写个简单实现来了解一下vqvae的工作原理。

Pillars-Creation·2023-10-16 08:13

Bug解决：ModuleNotFoundError: No module named ‘taming‘

fromtaming.modules.vqvae.quantizeimportVectorQuantizer2asVectorQuantizerModuleNotFoundError:Nomodulenamed'taming

前尘昨夜此刻·2023-08-11 09:33

mega-TTS2

文章目录method项目参与者记录method项目参与者记录mega-tts2，一来建立的是prompt和target之间的联系（噪声、背景音也在这种联系中）；二来VQVAE会吸收掉一定程度的噪声。

林林宋·2023-08-03 07:13

生成模型之VAE与VQ-VAE

AE、VAE和VQ-VAE可以统一为latentcode的概率分布设计不一样，AEr通过网络学习得到任意概率分布，VAE设计为正态分布，VQVAE设计为codebook的离散分布。

平亦舸·2023-06-16 10:12

2021李宏毅机器学习课程-YouTube第六部分、自编码器Auto-encoder

自编码器Auto-encoder1.Auto-encoder2.De-noisingAuto-encoder3.特征分离3.VectorQuantizedVariationalAuto-encoder(VQVAE

Liuyc-Code boy·2023-01-11 07:19

VAE(Variational Autoencoder)简单记录

VAE->VQVAE,主要是加了VectorQuantization本文会不断更新…这篇写的不错，有空好好看看变分自编码器VAE：原来是这么一回事|附开源代码,苏剑林大佬的文章。

Andy Dennis·2023-01-04 16:12

深度学习系列29：VQ-GAN模型

codebook的思想在VQVAE中已经提出，而VQGAN的整体架构大致是将VQVAE的编码生成器从pixelCNN换成了Transformer，并且在训练过程中

IE06·2022-12-21 14:05

vqvae详细解释

（VectorQuantised-VariationalAutoEncoder）首先出现在论《NeuralDiscreteRepresentationLearning》VAE假设隐向量分布服从高斯分布VQVAE

会写代码的孙悟空·2022-12-16 06:32

BMVC2022 | HR-VQVAE：用于图像重建和生成的基于Hierarchical Residual Learning的VQVAE

原文标题：HierarchicalResidualLearningBasedVectorQuantizedVariationalAutoencoderforImageReconstructionandGeneration链接：https://bmvc2022.mpi-inf.mpg.de/0636_poster.pdfpaper：https://arxiv.org/abs/2208.04554一、

羊飘·2022-12-15 09:44

NeurIPS 2022 | MoVQ: 基于Modulating Quantized Vectors的高保真图像生成

原文标题：MoVQ:ModulatingQuantizedVectorsforHigh-FidelityImageGeneration一、问题提出虽然两级VectorQuantized(VQ)【指VQVAE

羊飘·2022-12-15 09:30

详解VQVAE：Neural Discrete Representation Learning

VQVAE：NeuralDiscreteRepresentationLearning原文链接：https://arxiv.org/abs/1711.00937要看细节，强推，直接不用看论文了：VQ-VAE

羊飘·2022-12-07 08:27

论文领读｜基于 VQVAE 的长文本生成

欢迎关注「澜舟论文领读」专栏！关注“澜舟科技”公众号探索更多NLP前沿论文！本期分享者：杨二光北京交通大学自然语言处理实验室四年级博士生，导师为张玉洁教授，研究方向为可控文本生成、复述生成、故事生成。在澜舟科技实习期间主要从事长文本生成、营销文案生成等课题。前言：近年来，多个大规模预训练语言模型GPT、BART、T5等被提出，这些预训练模型在自动文摘等多个文本生成任务上显著优于非预训练语言模型。但

澜舟孟子开源社区·2022-11-29 07:56

基于 VQVAE 的长文本生成

每天给你送来NLP技术干货！本期分享者：杨二光北京交通大学自然语言处理实验室四年级博士生，导师为张玉洁教授，研究方向为可控文本生成、复述生成、故事生成。在澜舟科技实习期间主要从事长文本生成、营销文案生成等课题。来自：澜舟科技写在前面近年来，多个大规模预训练语言模型GPT、BART、T5等被提出，这些预训练模型在自动文摘等多个文本生成任务上显著优于非预训练语言模型。但对于开放式生成任务，如故事生成、

zenRRan·2022-11-27 03:02

AI换脸技术再创新高度，DeepMind发布的VQ-VAE二代算法有多厉害？

不过如此重要的论文，笔者还没看到专业性很强的解读，那么笔者就将VQ-VAE-2算法分为VQ,VAE,VQVAE2三部分

AI科技大本营·2022-11-24 07:12

Inter Speech19

内容有很多是来之与论文,PPT,知乎的回答,侵权就加上您的信息~谢谢.1.VQvae不懂.2.噪声加权的一个主要用途是测量音频设备中的残余噪声，通常在节目材料的安静时刻以嘶嘶声或嗡嗡声的形式出现。

ruclion·2019-09-15 18:07

AI换脸技术再创新高度，DeepMind发布VQ-VAE二代算法

不过如此重要的论文，笔者还没看到专业性很强的解读，那么笔者就将VQ-VAE-2算法分为VQ,VAE,VQVAE2三部分来介绍原理，权当抛砖

beyondma·2019-06-07 20:48

推荐频道