PaddleHub创意赛之风格迁移以及图像合成

这篇文章的话呢就会比较主观一点,主要是写我个人项目完成的历程和解决问题的一些方法,希望也能够你你们一点的参考,而项目及其我个人的部分理解则发布在百度的AIstudio平台上了(PaddleHub创意赛)

赛题以及创意

  一开始创意赛的赛题出来以后感觉其实发挥空间蛮大的,一开始的话自己是想做一下Doinb的跳舞视频进行抠图,但是想了想其实这个项目的实际意义不大,一是抠图视频合成的项目其实AIstudio平台上已经有一套完整的项目以及讲解了;二是其实换个背景跳舞也没多大实际意义。其实比赛是二十多号发布赛题的,然后可能功课也比较的多,然后在假期的时候看了一下《小丑》这部电影,有一说一,这部电影是真的好看,墙裂推荐看一看,要是你们也喜欢的话可以和我交流一下滴hhh。题外话就不多说的,然后就去找了一些小丑的混剪踩点视频,想法是想把这些混剪视频进行处理,做成一个不一样的风格出来,最后也能说是比较好的完成了。不过我认为我们还能再往上想一想,如果进行人像抠图再进行风格迁移可能效果会更好,不过也可能出现一些问题…

遇到的问题以及解决办法

1,对于模型的API不会使用

创意赛去paddle预处理模型上面寻找模型也是我第一次上去寻找,上面的模型挺多的,不过没使用过,所以也不知道要怎么使用,不过也没有别的办法,就慢慢试,一个一个参数的试,如果有哪里的语法报错那就百度搜语法错误然后再试,前前后后差不多弄了一个晚上才把第一张图合成成功。

2,对于Python函数库不熟悉

因为之前没有接触过Python,所以对Python的语法以及一些函数并不熟悉,因为毕竟这个项目不是处理单纯的一张图片,而是批量处理,所以就需要进行文件的遍历。因为之前对于Python操作的一些不熟悉所以也弄了很久,然后还在网上找到了一个错的例程,导致视频完成之后合成的视频不成样子,最后还得推倒全部再来。然后对于这个问题我的看法就是,程序能简单就尽量简单,不需要去花里胡哨的遍历,要不到时到最后视频合成后你才知道问题出在了哪里,一分钟的视频图片就八百来张了,你总不能一张张的去检查吧。

3,对于项目不知道错在哪里

这个项目看起来很简单,我想象的时候也挺简单的,就是视频的裁剪,处理,合成,再加后期处理。但到了最后一步视频合成的时候,发现无论如何也合成不了,无论怎么写都是258字节,视频也无法打开。然后也很崩溃,差不多被卡住了一天多,一开始怀疑是视频的对象没建立正确,然后就去网上找大量例程改啊改,发现还是不行;然后就去看是不是imread函数读取的问题,然后就去把imread函数读取的图片打印出来,发现没有问题;里面十个函数,几乎个个都被大改了一遍,发现还是不能保存视频。然后我怀疑会不会是云端的问题,于是就把程序放到了本地执行,发现还是不行,到最后最后才想到会不会是size的问题,size不对应就不能写入。改完发现还真是这个问题,不过解决完还是挺开心的。

题外话

感觉这次的百度创意挑战赛还是十分有趣的,虽然也花了很多的时间,但是收获还是很大的,百度的GPU白嫖是真的好,百度的AIstudio平台很方便的,PaddleHub也提供了很多预训练模型可以给我们使用。但是这个训练也是真的费时间,GPU训练显示要十个小时,所以如果要合成长视频的话那你GPU算力时间一定要准备够哈PaddleHub创意赛之风格迁移以及图像合成_第1张图片
最后的最后,看一下一些风格迁移后的图片吧hhh,b站视频链接可能效果不是最好,但我觉得也是一种尝试。
PaddleHub创意赛之风格迁移以及图像合成_第2张图片
PaddleHub创意赛之风格迁移以及图像合成_第3张图片
PaddleHub创意赛之风格迁移以及图像合成_第4张图片

你可能感兴趣的:(PaddleHub创意赛之风格迁移以及图像合成)