Python常用图像处理库整理
转：https://zhuanlan.zhihu.com/p/34837506
1. 库简介
深度学习领域，对视频图片样本的处理占了很大一部分比重。
而Python环境下的图像处理库种类较多，无论是精度，速度等方面都有不同的差异，这里予以总结。
Python环境下，相关的包有：
Numpy：主要作为图像数据的中转
Skimage：速度较慢，主要是caffe测试的时候默认的caffe.io.load使用，不建议使用（Skimage，读取RGB，通道HWC，范围[0,1]）
主要的图像处理包：
CV2：opencv的python版本，应用较广
PIL：Python自带的图像处理库，但功能较简单
Pillow: 出发点在于PIL只支持python2.7，添加了一些新特性
Pillow-SIMD：Pillow增强版本，约有5倍的增益，比CV2还要快；安装方法：
$ pip uninstall
pillow
$ CC="cc
-mavx2" pip install -U --force-reinstall pillow-simd
Matplotlib：一般使用matplot.pyplot方法进行画图；
2. 平台需求
Caffe需要的图像格式是BGR，通道类型是CHW，范围[0,255]；
后续的深度学习平台例如Pytorch需要的图像格式是RGB，通道类型CHW，范围[0,1]；
（注：平台通道类型的要求CHW实际上是CUDA高效运算的需求，NCHW）
3. 常用库
- Numpy
Numpy对多维矩阵A的操作一般有：
A.shape #HWC
type(A) #numpy.array
A.dtype() #uint8,
float…
np.min(A), np.max(A) #最值
- CV2
读取BGR，通道HWC，范围[0,255] ，类型uint8; 图像类型numpy.ndarray；
- PIL，Pillow, Pillow-SIMD
读取RGB，通道HWC，范围[0,255]，类型uint8；图像类型PngImageFile （np.array, Image.fromarray直接与numpy互相转换）
有.mode方法---rgb信息
- Matplotlib
读取RGB，通道HWC，范围[0,1] ，类型float；图像类型numpy.ndarray
- Skimage
读取RGB，通道HWC，范围[0,255]，类型uint8；图像类型numpy.ndarray
有.mode方法---rgb信息
比较特殊，读取的时候image= io.imread('test.jpg',as_grey=False)；
彩图是uint8，[0,255]；灰度图float，[0,1]；
彩图resize变成float，[0,1]；
较混乱，不适用。。。
4. 读取
- CV2
#默认读取为三通道彩图，可通过参数更改为单通道灰度图
img = cv2.imread('examples.png')
img_gray = cv2.imread('examples.png', 0)
- PIL，Pillow, Pillow-SIMD
img = Image.open('examples.png')
- Matplotlib
img = plt.imread('examples.png')
5. 显示
Matplotlib最主要目的是用来绘图:
将numpy数组格式的RGB图像显示；
float类型的图像，范围0-1；如果是uint8图像，范围是0-255；
- Matplotlib
img = plt.imread('examples.png')
plt.imshow(img)
plt.show()
- CV2
img = cv2.imread('examples.png')
plt.imshow(img[..., -1::-1]) # 因为opencv读取进来的是bgr顺序，而imshow需要的是rgb顺序，因此需要先反过来,也可以plt.imshow(img[:,:,::-1])
plt.show()
- PIL
#可直接打开
plt.imshow(Image.open('examples.png')) # 实际上plt.imshow可以直接显示PIL格式图像
plt.show()
#转换为需要的numpy格式打开
img_gray = img.convert('L') #转换成灰度图像
img = np.array(img)
img_gray = np.array(img_gray)
plt.imshow(img) # or plt.imshow(img / 255.0)5
plt.show()
plt.imshow(img_gray, cmap=plt.gray()) # 显示灰度图要设置cmap参数
plt.show()
6. 转换
主要是通过numpy的transpose操作，修正RGB，BGR；
例如：
a是rgb图像，那么
a[::-1]，a[:,::-1]，a[:,:,::-1]分别是X轴的镜像，Y轴的镜像，BGR转换为RGB；
opencv相关图像操作；
img_gray = cv2.cvtColor(img,
cv2.COLOR_BGR2GRAY) # BGR转灰度
img_bgr = cv2.cvtColor(img_gray,
cv2.COLOR_GRAY2BGR) # 灰度转BRG
img_rgb = cv2.cvtColor(img_gray,
cv2.COLOR_GRAY2RGB) # 灰度转RGB
b,g,r = cv2.split(img) #bgr图像分离三个通道
img2 = cv2.merge([r,g,b]) #merge成rgb图像
PIL相关图像操作：
img = Image.open('examples.png')
img_gray = image.convert(‘L’)
img_color = img_gray.convert(‘RGB’)
PIL与numpy格式转换操作：
numpy.asarray()
Image.fromarray()
如果是pil转opencv，记得需要通过copy命令得到的才可以进行cv2操作，不然会有bug。切忌
PIL类型，尺寸信息，通过.size方法，得到WH；
Numpy类型，通过shape方法，得到HWC
注：如果是PIL自己的类型，得到尺寸信息要使用.size方法
print image.size #width height
同样进行resize操作，顺序也是wh；
img2_resize = img2.resize((960,540))
img2_resize.save('test1.jpg')
而如果使用cv2操作，顺序也是wh；
img3_resize = cv2.resize(img3, (960,540))
cv2.imwrite('test2.jpg', img3_resize)
但如果放在numpy里面，调用shape方法，得到的是HWC；
7. 保存
- PIL
#直接save方法
img = Image.open('examples.png')
img.save('examples2.png')
img_gray = img.convert('L')
img_gray.save('examples_gray.png') # 不管是灰度还是彩色，直接用save函数保存就可以，但注意，只有PIL格式的图片能够用save函数
- CV2
#cv2.imwrite
import cv2
img = cv2.imread('examples.png') # 这是BGR图片
cv2.imwrite('examples2.png', img) # 这里也应该用BGR图片保存，这里要非常注意，因为用pylab或PIL读入的图片都是RGB的，如果要用opencv存图片就必须做一个转换
img_gray = cv2.cvtColor(img,
cv2.COLOR_BGR2GRAY)
cv2.imwrite('examples_gray.png', img_gray)