关于StarGAN

论文阅读笔记

论文题目:StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

创新点:只需使用一个模型就可以对多个域执行图像到图像的转换,交叉域模型(cross-domain models)需要成对建立不同域之间的模型,如下图所示
关于StarGAN_第1张图片

starGAN的基本结构如下图所示
关于StarGAN_第2张图片

Loss函数
Adversarial Loss
L a d v = E x [ l o g D s r c ( x ) ] + E x , c [ l o g ( 1 − D s r c ( G ( x , c ) ) ) ] , 使 判 别 器 不 能 区 分 真 图 和 假 图 L _{adv} = E_{x} [log D_{src}(x)] +E_{x,c}[log (1 − D_{src}(G(x, c)))]{,使判别器不能区分真图和假图} Ladv=Ex[logDsrc(x)]+Ex,c[log(1Dsrc(G(x,c)))]使

Domain Classification Loss
L c l s r = E x , c ′ [ − l o g D c l s ( c ′ ∣ x ) ] , 用 于 优 化 D 的 真 实 图 像 的 域 分 类 损 失 L ^r _{cls} = E_{x,c '} [-log D_{cls} (c ' | x)]{,用于优化D的真实图像的域分类损失} Lclsr=Ex,c[logDcls(cx)]D
L c l s f = E x , c [ − l o g D c l s ( c ∣ G ( x , c ) ) ] , 用 于 优 化 G 的 假 图 像 的 域 分 类 损 失 L ^f _{cls} = E_{x,c} [-log D_{cls} (c | G(x, c) )]{,用于优化G的假图像的域分类损失} Lclsf=Ex,c[logDcls(cG(x,c))]G

Reconstruction Loss
L r e c = E x , c , c ′ [ ∣ ∣ x − G ( G ( x , c ) , c ′ ) ∣ ∣ 1 ] L_{rec} = E_{x,c,c′}[||x − G(G(x, c), c′)||_1]{} Lrec=Ex,c,c[xG(G(x,c),c)1]
使转换后的图像保留其输入图像的内容,只更改输入的域相关部分

完整的目标函数(Full Objective)
L D = − L a d v + λ c l s L c l s r L _D = −L _{adv} + λ_{cls} L ^r _{cls} LD=Ladv+λclsLclsr
L G = L a d v + λ c l s L c l s f + λ r e c L r e c L _G = L_{adv} + λ_{cls} L^f _{cls} + λ_{rec} L_{rec} LG=Ladv+λclsLclsf+λrecLrec

你可能感兴趣的:(关于StarGAN)