对sytle-transfer的应用价值的思考

对于实用价值来说,除了style translation直观的转换意义外,还有以下几点可以考虑:

1、将图像上的应用迁移到视频上

CycleGAN [7]中已有良好的结果显示,但目前尚未实现。

2、实现跨域学习

CoGAN [8],StarGAN [9]可以实现在属性上的多个域同时转换,可以应用到互动娱乐应用中去。

[10]中考虑到重新标注新的数据集(目标域)代价是非常大的,但已有标签数据集(源域)的模型又往往不能很好的迁移到目标域上,所以可以通过对源域进行风格变换到目标域然后再建立模型,从而将模型更好的应用到目标域上,实现数据集间的域与域的转换。这一应用比较新颖,能够解决数据集与数据集之间的gap,有较好的发展前景。

3、增强现实

[11]提出了在游戏、电影中利用卡通风格转换的局部应用来推进增强现实。因为理论上风格转换只要有源域与目标域的图片,都可以建立映射,而且局布对象的风格转换已比较普遍,基本上利用GAN的方法都已实现,如 [12],自然而然地可以往增强现实发展,但是大规模的应用需要考虑。

4、转换程度控制

最近在复现StarGAN时按照 [13]中提及的对其架构进行了插值处理,发现可以控制转换的程度,这样以年龄为例就可以通过控制人脸老化的程度来实现跨年龄的身份识别,对其他参数的控制相信也会有合适的应用。

5、结构性转换

结构性转换目前比较困难,如果能有突破,相信会有更好的应用。

6、其他

图像分割、检测在多个领域应用很广泛,其实可以看作是风格转换的几种形式,目前学生没有阅读这方面的文章,还不能说明使用风格转换方法的优越性及相关应用形式。

你可能感兴趣的:(创新实训)