轻点鼠标即可将黑白图片变为彩色的神经网络工具

原文：Interactive Deep Colorization
作者：junyanz
译者：雁惊寒

(0) 软硬件要求

• Linux 或者 OSX
• Caffe
• CPU 或者 NVIDIA GPU + CUDA CuDNN.

(1) 入门

• Clone仓库：

git clone https://github.com/junyanz/interactive-deep-colorization ideepcolor
cd ideepcolor

• 下载参考模型：

bash ./models/fetch_models.sh

• 安装 Caffe 和第三方Python库 （OpenCV、 scikit-learn 和 scikit-image）。

(2) 交互式着色

我们在IPython Notebook中提供了一个“准系统”演示，并且无需QT。我们还提供了完整的图形界面演示。

(2a) 交互式着色演示

• 要运行 ipython notebook 请点击 DemoInteractiveColorization.ipynb.

如果你要将Notebook转换为更老的版本，请执行jupyter nbconvert --to notebook --nbformat 3 ./DemoInteractiveColorization.ipynb。

(2b) 完整的图形界面演示

• 安装 Qt4 和 QDarkStyle。 (详情请参见下文的“安装”）

• 启动图形界面： python ideepcolor.py --gpu [GPU_ID]。 包含以下参数：

--win_size    [512] GUI window size
--gpu         [0] GPU number
--image_file  ['./test_imgs/mortar_pestle.jpg'] path to the image file

• 用户交互

• 添加点： 在输入面板中左键单击任意位置。
• 移动点： 在输入面板中用左键点击某个点，并按住不放，然后拖到所需的位置，松开左键。
• 改变颜色： 对于当前已经选择的那个点，选择一个推荐的颜色（左侧中间的地方），或者在AB色域上选择一种颜色（左侧的上方）。
• 删除点： 在输入面板中对着某个点右键单击。
• 改变补丁大小： 滚动鼠标滚轮可以调节补丁大小，范围是从 1x1 到 9x9。
• 载入图片： 点击载入图片按钮，选择要着色的图片。
• 重新开始： 点击重新开始按钮。输入面板上所有的点都会删除掉。
• 保存结果： 点击保存按钮。着色结果图片会保存在image_file目录下（包含用户输入的ab色域值）。
• 退出： 点击退出按钮。

(3) 全局提示网络

我们提供了一个使用全局提示网络的例子，可用于全局直方图转换。我们在IPython Notebook中展示了它的用法。

• 添加 ./caffe_files 到 PYTHONPATH 目录中

• 运行 ipython notebook。点击 ./DemoGlobalHistogramTransfer.ipynb

安装

• 安装 Caffe： 查看 Caffe 安装指南 和 Ubuntu 安装 文档。 请在编译Caffe的时候添加python层支持 （在 Makefile.config 中设置 WITH_PYTHON_LAYER=1） 然后通过 make pycaffe 编译Caffe python库。
  同时，你需要添加pycaffe到PYTHONPATH中。执行vi ~/.bashrc来编辑环境变量。

PYTHONPATH=/path/to/caffe/python:$PYTHONPATH

• Scikit-image 和 scikit-learn 包：

sudo pip install scikit-image
sudo pip install scikit-learn

• OpenCV

sudo apt-get install python-opencv

• Qt4

sudo apt-get install python-qt4

• QDarkStyle

sudo pip install qdarkstyle

对于 Conda 用户，需执行如下命令：

conda install -c anaconda protobuf=3.2.0  ## photobuf
conda install -c anaconda scikit-learn=0.18.1  ## scikit-learn
conda install -c anaconda scikit-image=0.13.0  ## scikit-image
conda install -c menpo opencv=2.4.11   ## opencv
conda install pyqt=4.11 ## qt4
conda install -c auto qdarkstyle=1.9  ## qdarkstyle

引用

如果你想在自己的研究中使用本代码，请增加对我们这篇论文的引用：

@article{zhang2017real,
  title={Real-Time User-Guided Image Colorization with Learned Deep Priors},
  author={Zhang, Richard and Zhu, Jun-Yan and Isola, Phillip and Geng, Xinyang and Lin, Angela S and Yu, Tianhe and Efros, Alexei A},
  journal={ACM Transactions on Graphics (TOG)},
  volume={9},
  number={4},
  year={2017},
  publisher={ACM}
}

相关链接

• 项目首页
• 论文 （Real-Time User-Guided Image Colorization with Learned Deep Priors.
  Richard Zhang*, Jun-Yan Zhu*, Phillip Isola, Xinyang Geng, Angela S. Lin, Tianhe Yu, and Alexei A. Efros. ）
• 演示视频（需科学上网）
• 研讨会视频（需科学上网）