Wasserstein

GAN的Loss的比较研究（4）——Wasserstein Loss理解（2）

关于WassersteinDistance的计算，似乎还有一个简单一点的推导方法，在《BEGAN:BoundaryEquilibriumGenerativeAdversarialNetworks》中给出了一个推导的过程：WassersteinDistance的定义式如下：W(ℙr,ℙg)=infγ∈Π(ℙr,ℙg)E(x,y)∼γ[‖x−y‖](1)W(Pr,Pg)=infγ∈Π(Pr,Pg)E(
田神·2020-09-13 01:46

生成模型--损失函数改进之WGAN系列

WGAN利用Wasserstein距离代替JS距离，从而避免了一定的梯度消失问题，这也为很多GAN模型的扩展提供了指导。  
whitenightwu·2020-09-11 23:28

解决目标检测中的难分样本（漏检测与误检测问题）

Photo-RealisticSingleImageSuper-ResolutionUsingaGenerativeAdversarial论文链接：https://arxiv.org/abs/1609.04802论文代码：https://github.com/JustinhoCHN/SRGAN_Wasserstein
adamBug391·2020-08-26 16:29

不要怂，就是GAN (生成式对抗网络) （六）：Wasserstein GAN（WGAN） TensorFlow 代码...

先来梳理一下我们之前所写的代码，原始的生成对抗网络，所要优化的目标函数为：此目标函数可以分为两部分来看：①固定生成器G，优化判别器D，则上式可以写成如下形式：可以转化为最小化形式：我们编写的代码中，d_loss_real=tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=D_logits,labels=tf.ones_lik
weixin_30765505·2020-08-22 14:32

Wasserstein GANs 三部曲（一）：Towards Principled Methods for Training Generative Adversarial Networks的理解

论文地址：https://arxiv.org/abs/1701.04862这一篇文章相当于一个引言，运用了许多推导与证明说明了生成对抗网路存在的一系列问题，然后引入了一个新的评价标准。虽然公式推导是比较乏味的，也可以参阅知乎上的这篇文章https://zhuanlan.zhihu.com/p/25071913，比较简单直观。当时我在学习的时候有部分也借鉴了这篇文章，以下是我的理解：第一部分GAN存
大白兔兔92·2020-08-22 04:18

KL散度、JS散度、Wasserstein距离

1.KL散度KL散度又称为相对熵，信息散度，信息增益。KL散度是是两个概率分布P和Q差别的非对称性的度量。KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布，或P的近似分布。定义如下：因为对数函数是凸函数，所以KL散度的值为非负数。有时会将KL散度称为KL距离，但它并不满足距离的性质：KL散度不是对称的；KL
改个名字真不容易�·2020-08-21 11:05

KL散度、JS散度与wasserstein距离

KL散度KL散度又称为相对熵，信息散度，信息增益。公式定义如下：KL散度可称为KL距离，但它并不满足距离的性质：（1）KL散度不是对称的；（2）KL散度不满足三角不等式。JS散度JS散度度量了两个概率分布的相似度，是基于KL散度的变体，解决了KL散度非对称的问题。一般地，JS散度是对称的，其取值是0到1之间。定义如下：KL散度和JS散度度量的时候有一个问题：当两个分布P,Q离得很远，完全没有重叠的
低头看得破·2020-08-21 11:49

机器学习中的信息熵 、交叉熵 、 相对熵 、KL散度 、 Wasserstein距离【收藏】

学习更多机器学习深度学习内容见望江智库yuanxiaosc.github.io/概念自信息：符合分布P的某一事件x出现，传达这条信息所需的最小信息长度为自信息，表达式为：熵：从分布P中随机抽选一个事件，传达这条信息所需的最优平均信息长度为香农熵，表达式为：交叉熵：用分布P的最佳信息传递方式来传递分布Q中随机抽选的一个事件，所需的平均信息长度为交叉熵，表达式为：KL散度，用分布P的最佳信息传递方式来
weixin_34307464·2020-08-21 11:18

更快更稳定：这就是Wasserstein GAN

Courant数学科学研究所与Facebook人工智能研究所提出的WassersteinGAN在标准GAN的基础上实现了显著的改进。机器之心技术分析师对该研究进行了解读。论文地址：https://arxiv.org/abs/1701.07875项目地址：https://github.com/martinarjovsky/WassersteinGAN论文讨论：https://www.reddit.c
weixin_33935505·2020-08-21 11:22

交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离）

https://zhuanlan.zhihu.com/p/74075915目录：信息量熵相对熵（KL散度）交叉熵JS散度推土机理论Wasserstein距离WGAN中对JS散度，KL散度和推土机距离的描述写在前面的总结
Nine-days·2020-08-21 10:45

Wasserstein距离

Wasserstein距离1.Wasserstein距离Wasserstein距离度量两个概率分布之间的距离，定义如下：是和分布组合起来的所有可能的联合分布的集合。
RayRings·2020-08-21 09:53

交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离

1信息量任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是它们承载的信息量会有所不同。如昨天下雨这个已知事件，因为已经发生，既定事实，那么它的信息量就为0。如明天会下雨这个事件，因为未有发生，那么这个事件的信息量就大。从上面例子可以看出信息量是一个与事件发生概率相关的概念，而且可以得出，事件发生的概率越小，其信息量越大。假设XXX是一个离散型随机变量，则定义事件X=x0X=x_
guohui_0907·2020-08-21 09:30

概率论——Wasserstein距离

Wasserstein距离又叫Earth-Mover距离(EM距离)，用于衡量两个分布之间的距离，定义：W(P1,P2)=infγ∼Π(P1,P2)E(x,y)∼γ[||x−y||]Π(P1,P2)是P1
Vic时代·2020-08-21 08:05

交叉熵、相对熵(KL散度)、JS散度和Wasserstein距离(推土机距离)

1.信息量任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是他们承载的信息量会有所不同。信息量是一个与事件发生概率相关的概念，事件发生的概率越小，其信息量越大。定义：假设XXX是一个离散型变量，其取值集合为χ\chiχ，概率分布函数为：p(x)=Pr(X=x),x∈χp(x)=Pr(X=x),x\in\chip(x)=Pr(X=x),x∈χ则事件X=x0X=x_0X=x0的信息
魏晋小子·2020-08-21 08:10

牛客每日练习----杯子，Wasserstein Distance，数字游戏

我喜欢给自己压力，必须得定一个很高的目标，逼自己朝着这个目标前进，不管会不会实现，都是一个动力。----喻言链接：https://ac.nowcoder.com/acm/problem/15559来源：牛客网题目描述一天durong同学买了一个无限长的杯子，同时买了n个球，并且标号为1，2，3......n，durong同学突然想到一个问题----如果他把n个球依次，也就是按照1，2，3...n的
0k-ok·2020-08-17 17:21

经典论文复现 | ICML 2017大热论文：Wasserstein GAN

过去几年发表于各大AI顶会论文提出的400多种算法中，公开算法代码的仅占6%，其中三分之一的论文作者分享了测试数据，约54%的分享包含“伪代码”。这是今年AAAI会议上一个严峻的报告。人工智能这个蓬勃发展的领域正面临着实验重现的危机，就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。最根本的问题是研究人员通常不共享他们的源代码。可验证的知识是科学的基础，它事关理解。随着人工智能领域
PaperWeekly·2020-08-16 10:58

【Robust学习笔记】Data-Driven Chance Constrained Programs over Wasserstein Balls

数据驱动下的机会约束优化考虑下列形式的分布鲁棒优化问题：min⁡x∈XcTxs.t.P[ξ~∈S(x)]≥1−ϵ,  ∀P∈F(θ)(1)\begin{aligned}\mathop{\min}\limits_{\boldsymbol{x}\in\mathcal{X}}&\quad\boldsymbol{c}^T\boldsymbol{x}\\\text{s.t.}&\quad\mathbb{P}
zte10096334·2020-08-16 10:09

WGAN(Wasserstein GAN)

WGAN(WassersteinGAN)WGAN(WassersteinGAN)WGAN(WassersteinGAN)https://arxiv.org/abs/1701.07875https://zhuanlan.zhihu.com/p/25071913GAN现在是机器学习中非常热门的研究课题。一般有两种类型的GAN研究:一种是在各种各样的问题中应用GAN,另一种是试图稳定GAN的训练。稳定G
Major_s·2020-08-16 01:42

【论文翻译】Auto-painter：基于条件Wasserstein生成性对抗网络的草图卡通形象生成

Auto-painter:CartoonimagegenerationfromsketchbyusingconditionalWassersteingenerativeadversarialnetworks摘要引言相关工作生成对抗网络基于草图的图像合成Auto-painter网络架构条件式WGANs传统的损失基于草图的卡通图像生成数据集评价指标结果和讨论交互式着色结论摘要近年，基于深度神经网络的真
StarkerRegen·2020-08-05 03:10

Type-infity Wasserstein Ball

type-∞\infty∞Wassersteindistance给定两个分布P1,P2\mathbb{P}_1,\mathbb{P}_2P1,P2，它们之间的type-∞\infty∞Wassersteindistance定义为：d∞(P1,P2):=inf⁡Q∈P(P1,P2,W)Q-esssup∥w~1−w~2∥d_{\infty}\left(\mathbb{P}_1,\mathbb{P}_2
zte10096334·2020-08-04 10:19

几何深度深度学习的学习之路

EMD（earthmoverdistance）距离：在计算机科学与技术中，地球移动距离(EMD)是一种在D区域两个概率分布距离的度量，就是被熟知的Wasserstein度量标准。
满天星._·2020-08-02 20:16

基于超像素和马尔科夫链的显著性区域检测算法

基于超像素和马尔科夫链的显著性区域检测算法，将图像分割成若干个超像素，用Wasserstein距离衡量超像素之间的颜色、方向和位置的差异来建立马尔科夫链，将显著性检测问题转换成马尔可夫链上的随机游走问题
起点站·2020-08-02 15:20

WGAN and WGAN-GP：Wasserstein GAN and Improved Training of Wasserstein GANs

WassersteinGANandImprovedTrainingofWassersteinGANsPaper:WGAN:https://arxiv.org/pdf/1701.07875.pdfWGAN-GP:https://arxiv.org/pdf/1704.00028.pdf参考：https://lilianweng.github.io/lil-log/2017/08/20/from-GAN
Seyanh Qiang·2020-07-05 09:10

衡量两个概率分布之间的差异性的指标

衡量两个概率分布之间的差异性的指标衡量两个概率分布之间的差异性的指标KL散度（Kullback–Leiblerdivergence）JS散度（Jensen-Shannondivergence）交叉熵（CrossEntropy）Wasserstein
Avery123123·2020-07-04 04:00

KL，JS，Wasserstein距离

最近在学GAN和WGAN，遇到了KL散度，JS散度，Wasserstein距离（又叫EM距离）三个衡量概率分布相似度的度量方法。虽然之前也有接触KL，但是为了以后查找方便，还是决定做个记录总结。
Harrinium·2020-07-02 10:18

【笔记】Wasserstein GAN

原始GAN训练难点之：原始目标函数没意义其实，GAN训练之难，更多的源于它GAN目标函数自身。GAN的D的目标函数上文已经提过：而G的目标函数相应的是：也就是说，G需要最小化让D识别出自己生成的假样本的概率。但其实，在GAN原始论文[2]中，作者就指出使用如上的G的目标函数会给训练造成问题。从形象化的角度来理解，在训练的早期，G生成的假样本质量还非常差，与真实样本相距过远。这会知道D非常容易识别出
zlsjsj·2020-06-30 18:25

论文阅读——《Wasserstein GAN》《Improved Training of Wasserstein GANs》

论文阅读之WassersteinGAN和ImprovedTrainingofWassersteinGANs本博客大部分内容参考了这两篇博客:再读WGAN（链接已经失效）和令人拍案叫绝的WassersteinGAN,自己添加了或者删除了一些东西,以及做了一些修改.基础知识：f-Divergence原始GAN采用的是JSdivergence来衡量两个分布之间的距离。事实上有一个统一的模式来衡量两个分布
zh20166666·2020-06-30 13:39

Wasserstein GANs 三部曲（二）:Wasserstein GAN论文的理解

附论文地址：https://arxiv.org/abs/1701.07875这一篇文章和下一篇讲提高WGAN的更有实际应用意义一些吧。转载请注明。基础介绍学习一个概率分布，通常我们是学习这个分布的概率密度函数，假设概率密度函数存在，且由多个参数组成即，已知该分布下点集为，那么认为这些点既然出现了，就是概率最大的（相当于极大似然的思想）。问题就变成了求解使得。假设真实分布为，可以使用KL散度作为是否
大白兔兔92·2020-06-30 00:04

WGAN-GP生成对抗网络及mnist数据集的生成python（tensorflow）代码实现

具体理论讲解可见：https://zhuanlan.zhihu.com/p/27295635论文地址：https://arxiv.org/abs/1406.26612、Wasserstein针对GAN网络难以训练的缺点
李大文·2020-06-29 08:19

前言 机器学习中的数学归纳整理（信息论部分）

目录1.熵1.1自信息和熵1.2联合熵和条件熵2.互信息3.交叉熵和散度3.1交叉熵3.2KL散度3.3JS散度3.4Wasserstein距离1.熵1.1自信息和熵熵（Entropy）最早是物理学的概念
中国小宝·2020-06-28 21:58

[转载]--令人拍案叫绝的Wasserstein GAN

文章转载自：https://zhuanlan.zhihu.com/p/25071913令人拍案叫绝的WassersteinGAN郑华滨·2天前在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《WasserteinGAN》却在Reddit的MachineLearning频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？要知道自从
supercloud·2020-06-26 16:59

Wasserstein GAN有这么神！吗？

WassersteinGAN在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《WassersteinGAN》却在Reddit的MachineLearning频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？要知道自从2014年IanGoodfellow提出以来，GAN就存在着训练困难、生成器和判别器的loss无法指示训练进程、
lornatang·2020-06-26 09:25

Wasserstein GAN

WassersteinGAN来自MartinArjovsky100等人的“WassersteinGAN”。1.简介本文关心的问题为无监督学习问题。学习1个概率分布意味着什么？传统的回答：学习概率密度。常通过定义密度(Pθ)θ∈Rd的参数化（parameterized）簇，并找到最大化我们数据上似然的参数来完成：若有真实数据样本{x(i)}mi=1，求解问题：maxθ∈Rd1m∑i=1mlogPθ(
灰巧克力爱松露·2020-06-26 08:48

Wasserstein GAN论文的定理证明

证明如下：其中当测度趋于0时，EM距离下的概率分布趋于P0，而其他距离则不会收敛，且EM距离下损失函数是连续的，任意一点处均有梯度；定理1证明如下：以下推论告诉我们：用神经网络来最小化EM距离（至少理论上）可行推论1证明如下：所有这些说明：对我们的问题，至少与JS散度相比，EM距离作损失函数更合理。接下来的定理描述这些距离和散度引入拓扑的相对强度：KL最强，紧随JS和TV，EM最弱；推论2：令P为
possible_11·2020-06-24 20:39

谷歌大脑Wasserstein自编码器：新一代生成模型算法

近日，谷歌大脑IlyaTolstikhin等人提出了又一种新思路：Wasserstein自编码器，其不仅具有VAE的一些优点，更结合了GAN结构的特性，可以实现更好的性能。
Omni-Space·2020-06-24 18:53

GANs之信息量、信息熵、交叉熵、KL散度、JS散度、Wasserstein距离

信息量也叫做香农信息量，常用于刻画消除随机变量X在x处的不确定性所需的信息量大小。假设只考虑连续型随机变量的情况，设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，随机变量X在x处的香农信息量定义为：信息量的单位为比特。上式只定义了随机变量在一个点处的香农信息量，衡量随机变量X在整个样本空间的总体香农信息量可以通过信息熵来表示，即香农信息量logp(x)的数学期望，所有
凋谢的浮华·2020-06-24 17:24

【完结】12篇GAN的优化文章大盘点，浓浓的数学味儿

在这一季里，我们从生成模型出发，讲述了GAN的基本理论，包括工作原理，更具有普适性的f散度度量和Wasserstein距离，以及IPM框架并顺带给出了一个处理WGAN的莱布尼茨限制的优雅解决方法；接着介绍了
言有三·2020-06-23 12:49

GAN生成对抗网络合集（五）：LSGan-最小二乘GAN（附代码）

WGAN使用的是Wasserstein理论来构建
dexterod·2020-06-23 03:58

从Wasserstein距离、对偶理论到WGAN

NLP，神经网络个人主页丨kexue.fm2017年的时候笔者曾写过互怼的艺术：从零直达WGAN-GP，从一个相对通俗的角度来介绍了WGAN，在那篇文章中，WGAN更像是一个天马行空的结果，而实际上跟Wasserstein
PaperWeekly·2020-06-22 19:59

GAN-overview reading note（3）Wasserstein GAN

文章目录了解WGAN强行写点理解2019.4.13——子涣了解WGAN继续读GANoverview，在第一部分基本了解了GAN的基本概念，又在第二部分了解了LSGAN对其的改进，同时也基本了解了GAN在训练过程中容易出现梯度为0，导致很难训练生成器。附上前两篇bolg的链接：GAN-overviewreadingnote（1）基础概念GAN-overviewreadingnote（2）LeastS
子涣_new·2020-06-22 19:50

【GANs学习笔记】（八）WGAN

完整笔记：http://www.gwylab.com/note-gans.html———————————————————————5.WGANWGAN的全称是WassersteinGAN，它提出了用Wasserstein
bupt_gwy·2020-06-22 10:48

Wasserstein GAN简明版

涉及WGAN的论文总共三篇：WGAN前作：TowardsPrincipledMethodsforTrainingGenerativeAdversarialNetworksWGAN：WassersteinGAN改进的WGAN：ImprovedTrainingofWassersteinGANs代码：各种GAN的实现这三篇论文理论性都比较强，尤其是第一篇，涉及到比较多的理论公式推导。知乎郑华滨的两个论述
小肥柴不是小废柴·2020-06-21 14:20

Improved Training of Wasserstein GANs

生成对抗网络（GAN）是一种强大的生成模型，但是自从2014年IanGoodfellow提出以来，GAN就存在训练不稳定的问题。最近提出的WassersteinGAN（WGAN）在训练稳定性上有极大的进步，但是在某些设定下仍存在生成低质量的样本，或者不能收敛等问题。近日，蒙特利尔大学的研究者们在WGAN的训练上又有了新的进展，他们将论文《ImprovedTrainingofWassersteinG
MiracleJQ·2020-04-07 17:46

Wasserstein GAN简明版

涉及WGAN的论文总共三篇：WGAN前作：TowardsPrincipledMethodsforTrainingGenerativeAdversarialNetworksWGAN：WassersteinGAN改进的WGAN：ImprovedTrainingofWassersteinGANs代码：各种GAN的实现这三篇论文理论性都比较强，尤其是第一篇，涉及到比较多的理论公式推导。知乎郑华滨的两个论述
Mordekaiser·2020-02-12 19:36

【GAN优化】详解对偶与WGAN

我们将先通过一个例子细说一下f散度的问题，然后介绍Wasserstein距离并用一个小例子给出计算方法，最后利用对偶理论求解Wasserstein距离。
有三AI·2019-12-23 22:53

ASRWGAN: Wasserstein Generative Adversarial Network for Audio Super Resolution

ASEGAN：WGAN音频超分辨率这篇文章并不具有权威性，因为没有发表，说不定是外国的某个大学的毕业设计，或者课程结束后的作业、或者实验报告。CS230:DeepLearning,Spring2018,StanfordUniversity,CA.(LateXtemplateborrowedfromNIPS2017.)作者：JonathanGomes-Selman,ArjunSawhney,Wood
凌逆战·2019-10-16 11:00

从WGAN到WGAN-GP

WGAN是GAN（对抗生成网络）的一种，在WGAN中，D的任务不再是尽力区分生成样本与真实样本，而是尽量拟合出样本间的Wasserstein距离，从分类任务转化成回归任务。
qq_23304241·2019-08-14 20:58

两个多元高斯分布之间的wasserstein 距离

对于的情况，表示对于在度量空间上的，在上有有限个距（moment）的概率测度集合，等于：那么，对于两个分布和在中的（p阶）Wasserstein距离为：集合表示在空间上所有测度的集合，并且
世界上的一道风·2019-04-23 16:20

Wasserstein GAN有这么神！吗？

WassersteinGAN在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《WassersteinGAN》却在Reddit的MachineLearning频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？要知道自从2014年IanGoodfellow提出以来，GAN就存在着训练困难、生成器和判别器的loss无法指示训练进程、
Lornatang·2019-04-10 12:56

PyTorch 实战：计算 Wasserstein 距离

（给Python开发者加星标，提升Python技能）编译：机器之心，作者：DanielDaza最优传输理论及Wasserstein距离是很多读者都希望了解的基础，本文主要通过简单案例展示了它们的基本思想
Python开发者·2019-03-19 21:54
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他