太牛了,这个神奇工具让你的照片秒变宫崎骏漫画

AnimeGANv2 是开源项目 AnimeGAN 的改进版本,可以将图片和视频转换成漫画风格的工具。采用的是神经风格迁移 + 生成对抗网络(GAN)的组合,转换速度快。

AnimeGANv2 改进的内容主要包括以下几点:

  1. 解决生成图像中高频伪影的问题

  2. 易于训练,能达到对应论文中的效果

  3. 进一步减少生成器网络的参数数量(生成器大小:8.17Mb),精简版的生成器会更小

  4. 使用新的高质量风格数据,尽可能来自 BD 电影

项目地址是:

https://github.com/TachibanaYoshino/AnimeGANv2

干货推荐

  • 浙大博士导师深度整理:Tensorflow 和 Pytorch 的笔记(包含经典项目实战)
  • 值得收藏,这份机器学习算法资料着实太香
  • 比 PyTorch 的官方文档还香啊,吃透PyTorch中文版来了
  • 赶快收藏,PyTorch 常用代码段PDF合辑版来了

用法

依赖

  • python 3.6

  • tensorflow-gpu 1.15.0

  • opencv

  • tqdm

  • numpy

  • glob

  • argparse

  • onnxruntime

用法

1. 推理

python test.py --checkpoint_dir checkpoint/generator_Hayao_weight --test_dir dataset/test/HR_photo --save_dir Hayao/HR_photo

2. 将视频转换为动画

python video2anime.py --video video/input/お花見.mp4 --checkpoint_dir checkpoint/generator_Hayao_weight --output video/output

3. 训练

  • 下载 vgg19
https://github.com/TachibanaYoshino/AnimeGAN/releases/tag/vgg16%2F19.npy
  • 下载数据集
https://github.com/TachibanaYoshino/AnimeGAN/releases/tag/dataset-1
  • 边缘平滑
python edge_smooth.py --dataset Hayao --img_size 256
  • 训练
python train.py --dataset Hayao --epoch 101 --init_epoch 10
  • 提取生成器的权重
python get_generator_ckpt.py --checkpoint_dir ../checkpoint/AnimeGANv2_Shinkai_lsgan_300_300_1_2_10_1 --style_name Shinkai

结果

太牛了,这个神奇工具让你的照片秒变宫崎骏漫画_第1张图片

太牛了,这个神奇工具让你的照片秒变宫崎骏漫画_第2张图片

太牛了,这个神奇工具让你的照片秒变宫崎骏漫画_第3张图片

宫崎骏动漫风格

太牛了,这个神奇工具让你的照片秒变宫崎骏漫画_第4张图片

太牛了,这个神奇工具让你的照片秒变宫崎骏漫画_第5张图片

太牛了,这个神奇工具让你的照片秒变宫崎骏漫画_第6张图片

新海诚动漫风格

太牛了,这个神奇工具让你的照片秒变宫崎骏漫画_第7张图片

太牛了,这个神奇工具让你的照片秒变宫崎骏漫画_第8张图片

太牛了,这个神奇工具让你的照片秒变宫崎骏漫画_第9张图片

你可能感兴趣的:(机器学习,tensorflow,pytorch,深度学习)