[MXnet] Neural Art

MXnet的学习笔记，这次主要是example中Neural Art相关的内容。

简介

---

MXnet的Demo主要集中在基于CNN的各种网络结构在不同数据集上的实现和效果，也有一些RNN（LSTM）和 auto encoder 的部分。CNN的example里面一个比较有意思的例子是Neural Art，基于A Neural Algorithm of Artistic Style by Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge这篇文章实现的一个提取输入图像的“风格”，并将其赋予另一个输入图像以得到风格化的图像输出。就像这样子

输入：梵高的“星夜”风格和一张风景图片

输出：“星夜”风的风景图

网络结构

---

文章的网络结构选择的是Oxford Visual Geometry Group 这篇 Very deep convolutional networks for large-scale image recognition 文章中描述的vgg网络。

vgg继承了LeNet以及AlexNet的一些框架，尤其是跟AlexNet框架非常像，vgg也是5个group的卷积、2层Full Connect图像特征、一层Full Connect分类特征，可以看做和AlexNet一样总共8个part。根据前5个卷积group，每个group中的不同配置，论文中给出了A~E这五种配置

vgg卷积group不同配置列表

其中最复杂的配置E（即vgg19，根据论文中所述参数个数达到了1.44亿）在ILSVRC2012分类任务上将top-5的错误率降到了7.3%。

vgg在ILSVRC-2012的结果，vgg19和vgg16分别获得了一、二名

MXnet example 中的使用方法

---

首先在 ~/mxnet/example/neural-art 文件夹下执行

./download.sh

查看download.sh文件可以看到，主要是下载了需要的网络参数vgg19.params以及样例输入图片（style对应的starry_night和content）。

#!/bin/bash

mkdir -p model
cd model
wget https://github.com/dmlc/web-data/raw/master/mxnet/neural-style/model/vgg19.params
cd ..

mkdir -p input
cd input
wget https://github.com/dmlc/web-data/raw/master/mxnet/neural-style/input/IMG_4343.jpg
wget https://github.com/dmlc/web-data/raw/master/mxnet/neural-style/input/starry_night.jpg
cd ..

mkdir -p output

然后执行

python run.py

进行训练。

可能遇到的问题

---

如果MXnet只是刚部署好还没有跑过什么应用的话，可能会出现错误：

ImportError: No module named skimage

缺少scikit-image包，这时只需要执行

pip install scikit-image

安装即可。
还有可能会出现

ValueError: unknown locale: UTF-8

这时需要在 ~/.bash_profile 中添加以下内容

export LANG="en_US.UTF-8"
export LC_COLLATE="en_US.UTF-8"
export LC_CTYPE="en_US.UTF-8"
export LC_MESSAGES="en_US.UTF-8"
export LC_MONETARY="en_US.UTF-8"
export LC_NUMERIC="en_US.UTF-8"
export LC_TIME="en_US.UTF-8"
export LC_ALL=

然后执行

source ~/.bash_profile

即可。

训练参数的指定

---

由于在自己的MacBook Air上实验，MXnet在安装时就默认没有使用GPU，因此在运行时需要指定参数

python run.py --gpu -1

表示只使用CPU训练。

训练效果

---

只使用CPU训练大概每次迭代需要35秒左右，根据notebook中的介绍，大概在159次迭代的时候两次迭代之间的差距比例才会小于0.005，得到类似于上面的输出结果。
由于只是初步测试，因此设定最大迭代次数为10

python run.py --gpu -1 --max-num-epochs 10

10次迭代后最后两次迭代的相对差距为0.120292，训练结果的话……

10次迭代的结果

可见迭代次数还是不够啊！

后来又跑了一次，设定每次迭代都把生成的图片输出，搞了一个gif看看效果

python run.py --gpu -1 --save-epochs 1

多次迭代的结果

最后迭代的效果就还不错看

第148次的迭代结果

后续

---

目前只是把MXnet中Neural Art的example跑通看了一下，因为example中image classification里面实现了非常多的网络结构，但基本上都是MNIST数据在测试，没有多大意思，于是先试了一下这个看起来比较有意思的示例。
如果还有后续工作的话，应该就是看看代码吧！粗略瞄了一眼也不是很复杂的样子。