（转）深度学习中各种图像库的图片读取方式

https://blog.csdn.net/u013841196/article/details/81194310

• 深度学习中各种图像库的图片读取方式总结

在数据预处理过程中，经常需要写python代码搭建深度学习模型，不同的深度学习框架会有不同的读取数据方式（eg：Caffe的python接口默认BGR格式，Tensorflow默认RGB格式），经常需要借助python图像库来读取图像并进行一系列的图像处理工作。

这篇文章总结了Python图像库处理数据的基本方式：
1.Opencv
2.PIL（pillow）
3.matplotlib.image
4.scipy.misc
5.skimage
6.Tensorflow

---

opencv: cv2.imread

opencv是最常用的图像处理库

基本图像操作：

import cv2
import numpy as np
#读入图片：默认彩色图，cv2.IMREAD_GRAYSCALE灰度图，cv2.IMREAD_UNCHANGED包含alpha通道
img = cv2.imread('aa.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) # 转换为灰度图
img1 = cv2.cvtColor(img,cv2.COLOR_BGR2RGB) # 转换为RGB
cv2.imshow('src',img)
cv2.imshow('gray',gray)
cv2.imshow('RGB',img1)
print(img.shape) # (h,w,c)
print(img.size) # 像素总数目
print(img.dtype) # 像素类型
cv2.imwrite('test.jpg',img1) # 保存图像
值得注意的是： 

1.opencv读进来的图片已经是一个numpy矩阵了，彩色图片维度是（高度，宽度，通道数）。数据类型是uint8。 

2.opencv读进来的图片的通道排列是BGR，而不是主流的RGB
Caffe使用opencv处理图像的基本操作：
import os
import numpy as np
import cv2
import sys

caffe_root = './fancp/caffe/'  #指定caffe路径
sys.path.insert(0, caffe_root + 'python')
import caffe

def predict(path, deploy, weight):
    net = caffe.Net( deploy, weight, caffe.TEST)    
    batch_size, channels, height, width = net.blobs['data'].data.shape
    X = np.zeros([1,channels,height,width], dtype = np.float32) # caffe的输入格式[N,C,H,W]

    img = cv2.imread(path).astype(np.float32)# 读取图片，并进行类型转换
    Img = cv2.resize(img,(102,102))[11:90,11:90,::-1]# Resize以及ROI操作
    img -= 127.5
    img /= 128.0 # 归一化操作
    img = np.transpose(img,(2,0,1)) # 通道转换，有H,W,C转变成 C,H,W
    #在深度学习搭建CNN时，往往要做相应的图像数据处理，比如图像要扩展维度，比如 扩展成（batch_size,channels,height,width）。
    img=np.expand_dims(img,axis=0)

    X[0,:,:,:] = img
    net.blobs['data'].data[...] = X
    output = net.forward()
    output = output['logits'][0]
    print(output) # 输出结果

    return 0

if __name__ == '__main__':
    #caffe.set_device(0)
    #caffe.set_mode_gpu()
    caffe.set_mode_cpu()
    model_def =  '**.prototxt'
    model_weights =  '**.caffemodel'

    image = 'test.jpg'
    result = predict(image, model_def, model_weights)

  
  
    
    
    
    

PIL：PIL.Image.open

PIL即Python Imaging Library，也即为我们所称的Pillow，是一个很流行的图像库，它比opencv更为轻巧，正因如此，它深受大众的喜爱。
图像的基本操作：
from PIL import Image
import numpy as np
img = Image.open('aa.jpg')
print(img.format) 
print(img.size) #注意，省略了通道。 (w，h)
print(img.mode)  #L为灰度图，RGB为真彩色,RGBA为加了透明通道
img.show() # 显示图片
gray = img.convert('L') # 转化为灰度图
gray.show()
#pillow读进来的图片不是矩阵，我们将图片转矩阵
arr = np.array(img)
print(arr.shape)
print(arr.dtype)
#矩阵再转为图像
new_im = Image.fromarray(arr)
new_im.save('test.png')
注： 

1.PIL读进来的图像是一个对象，而不是我们所熟知的numpy 矩阵。 

2.PIL的通道顺序是RGB
图像操作：

#分离合并通道
r, g, b = img.split()
img = Image.merge("RGB", (b, g, r))
img = img.copy() #复制图像
#ROI获取
img3 = Image.open('1.jpg')
roi = img3.crop((0,0,300,300)) #(左上x，左上y，右下x，右下y)坐标
roi.show()

    
    
      
      
      
      

matplotlib：matplotlib.image.imread
matplotlib多用于科学绘图
图像的基本操作：
import matplotlib.pyplot as plt
import numpy as np
image = plt.imread('aa.jpg')
plt.imshow(image)
plt.axis('off') #也可以关闭显示x，y轴上的数字
plt.show()
#plt.imread读入的就是一个矩阵，跟opencv一样，但彩图读进的是RGB，与opencv有区别
print(image.shape) # (h,w,c)
print(image.size)
print(image.dtype)
综合例子：
import matplotlib.pyplot as plt
import numpy as np
im_lol1 =  plt.imread('aa.jpg')
im_lol2 =  plt.imread('aa.jpg')
figure = plt.figure(figsize=(10,5)) # 调整显示图片的大小
'''
figsize参数：指定绘图对象的宽度和高度，单位为英寸；dpi参数指定绘图对象的分辨率，
即每英寸多少个像素，缺省值为80。因此本例中所创建的图表窗口的宽度为8*80 = 640像素
'''
plt.axis("off")#不显示刻度 
ax = figure.add_subplot(121) # 图片以1行2列的形式显示
plt.axis('off')
ax.imshow(im_lol1) #第一张图
ax.set_title('image 1')#给图片加titile 
ax = figure.add_subplot(122) 
plt.axis('off')
ax.imshow(im_lol2) 
ax.set_title('image 2')#给图片加titile 
plt.savefig('twp.jpg')
plt.show()

      
      
        
        
        
        

scipy.misc：scipy.misc.imread
图像的基本操作：
from scipy import misc
import matplotlib.pyplot as plt
im = misc.imread('aa.jpg')
print(im.dtype)
print(im.size)
print(im.shape)
misc.imsave('misc1.png',im)
plt.imshow(im)
plt.show()
注：imread和imsave在后来的版本将会被弃用，现在使用imageio.imread和imageio.imwrite。
深度学习中使用misc：
from scipy import misc
import numpy as np
import matplotlib.pyplot as plt

image = misc.imread('./fancp/aa.jpg')
image = misc.imresize(image, (112,96))
image = image.astype(np.float32)
image -= 127.5
image /= 128.0
image = image[10:89,10:89,:]
image = image.transpose(2, 0, 1)
print(image.shape)

        
        
          
          
          
          

skimage：skimage.io.imread
图像的基本操作：
from skimage import io
from skimage import color
im = io.imread('aa.jpg')
print(im.shape) # numpy矩阵，(h,w,c)
print(im.dtype)
print(im.size)
im3 = color.rgb2grey(im)# 灰度化处理
io.imshow(im3)
io.imsave('sk.png',im)
注：图像也是以numpy array形式读入

         
         
           
           
           
           

Tensorflow：tf.image.decode
1.TensorFlow函数：tf.image.decode_bmp
tf.image.decode_bmp函数：
tf.image.decode_bmp(
    contents,
    channels=0,
    name=None
)
将BMP编码图像的第一帧解码为uint8张量。 

attr channels表示解码图像的期望数量的颜色通道。 

接受的值是： 

0：使用BMP编码图像中的通道数量。 

3：输出RGB图像。 

4：输出RGBA图像。
参数： 

contents：string类型的Tensor，0维，BMP编码的图像。 

channels：可选的int，默认为0。 

name：操作的名称（可选）。
返回值： 

函数返回uint8类型的Tensor。
2.TensorFlow函数：tf.image.decode_jpeg 

tf.image.decode_jpeg函数：
tf.image.decode_jpeg(
    contents,
    channels=0,
    ratio=1,
    fancy_upscaling=True,
    try_recover_truncated=False,
    acceptable_fraction=1,
    dct_method='',
    name=None
)
将JPEG编码图像解码为uint8张量。 

attr channels表示解码图像的期望数量的颜色通道。 

接受的值是： 

0：使用JPEG编码图像中的通道数量。 

1：输出灰度图像。 

3：输出RGB图像。 

如果需要，JPEG编码的图像将被转换以匹配请求的颜色通道数量。 

attr ratio允许在解码过程中将图像缩小整数倍。允许的值为：1、2、4和8。这比稍后缩小图像要快得多。
参数： 

contents：string类型的Tensor，0维，JPEG编码的图像。 

channels：可选的int，默认为0，解码图像的颜色通道数量。 

ratio：可选的int，默认为1，缩小比例。 

fancy_upscaling：可选的bool，默认为True，如果为true，则使用更慢但更好的色度平面升级（仅限yuv420 / 422）。 

try_recover_truncated：可选的bool，默认为False，如果为true，则尝试从截断的输入中恢复图像。 

acceptable_fraction：可选的float，默认为1，在截断输入之前所需的最小行数被接受。 

dct_method：可选的string，默认为”“，用于指定用于解压缩的算法提示的字符串；默认为“”，映射到系统特定的默认值。当前有效值为[“INTEGER_FAST”，“INTEGER_ACCURATE”]。 

name：操作的名称（可选）。
返回值： 

该tf.image.decode_jpeg函数将返回uint8类型的Tensor。
3.TensorFlow函数：tf.image.decode_png 

tf.image.decode_png函数：
tf.image.decode_png(
    contents,
    channels=0,
    dtype=tf.uint8,
    name=None
)
将PNG编码的图像解码为uint8或uint16张量。 

attr channels表示解码图像的期望数量的颜色通道。 

接受的值是： 

0：使用PNG编码图像中的通道数量。 

1：输出灰度图像。 

3：输出RGB图像。 

4：输出RGBA图像。 

如果需要，将PNG编码的图像转换为与请求的颜色通道数匹配。 

此操作还支持解码JPEG和非动画GIF，因为界面相同，但使用tf.image.decode_image将更清晰。
参数： 

contents：string类型的Tensor，0维，PNG编码的图像。 

channels：可选的int，默认为0，解码图像的颜色通道数量。 

dtype：可选的tf.DType，其来自：tf.uint8，tf.uint16，默认为tf.uint8。 

name：操作的名称（可选）。
返回值： 

该函数返回dtype类型的Tensor。
4.TensorFlow函数：tf.image.decode_image 

tf.image.decode_image函数
tf.image.decode_image(
    contents,
    channels=None,
    name=None
)
decode_bmp，decode_gif，decode_jpeg和decode_png的方便函数。  

检测图像是否为BMP，GIF，JPEG或PNG，并执行相应的操作将输入字节string转换为类型uint8的Tensor。 

注意: decode_gif返回一个4维数组[num_frames、高度、宽度、3]，而不是decode_bmp、decode_jpeg和decode_png，后者返回3维数组[height, width, num_channels]。如果您使用BMP、JPEG或PNG文件混合GIF文件，请确保在构造图表时考虑到这一点。
参数： 

contents：0-D string，编码的图像字节。 

channels：可选的int，默认为0，解码图像的颜色通道数量。 

name：操作的名称（可选）
返回值： 

对于BMP、JPEG和PNG图像，形状为[height, width, num_channels]或者对于GIF图像，形状为[num_frames, height, width, 3]的类型为uint8的Tensor。 
可能引发的异常： 

ValueError：通道数量不正确。
5.TensorFlow将raw格式转换为张量 

tf.decode_raw函数
decode_raw （ 
    bytes ， 
    out_type ， 
    little_endian = None ， 
    name = None
 ）
将字符串的字节重新解释为数字的向量。
ARGS： 

bytes：字符串类型的张量。所有元素的长度必须相同。 

out_type：一个选自：tf.half，tf.float32，tf.float64，tf.int32，tf.uint8，tf.int16，tf.int8 以及 tf.int64 的 tf.DType 。 

little_endian：可选的 bool 值，默认为 True。输入字节是否为小字节顺序。忽略存储在单个字节 (如 uint8) 中的 out_type 值。 

name：操作的名称（可选）。
返回： 

out_type 类型的张量。一个比输入字节多一个维度的张量。添加的维度的大小将等于字节的元素的长度除以要表示 out_type 的字节数。

              
              
                
                
                
                

总结： 

除了opencv读入的彩色图片以BGR顺序存储外，其他所有图像库读入彩色图片都以RGB存储。 

除了PIL读入的图片是img类之外，其他库读进来的图片都是以numpy 矩阵。
参考： 

https://www.cnblogs.com/skyfsm/p/8276501.html 

https://www.w3cschool.cn/tensorflow_python/

              
              
                
                
                
                

注：博众家之所长，集群英之荟萃。