最近写深度学习网络需要对feature map进行双线性插值,opencv的resize不能对图像进行批处理,网上找到的双线性插值的代码基本都是三重for循环实现的,效率太低下,干脆自己用numpy库的矩阵运算实现了一个。
双线性插值原理参考:
https://zhuanlan.zhihu.com/p/112030273
感谢大佬Orz。
本文知乎同款:https://zhuanlan.zhihu.com/p/266845896
import numpy as np
def bilinear_interpolate(source, scale=2, pad=0.5):
sour_shape = source.shape
(sh, sw) = (sour_shape[-2], sour_shape[-1])
padding = pad*np.ones((sour_shape[0], sour_shape[1], sh+1, sw+1))
padding[:,:,:-1,:-1] = source
(th, tw) = (round(scale*sh), round(scale*sw))
grid = np.array(np.meshgrid(np.arange(th), np.arange(tw)), dtype=np.float32)
xy = np.copy(grid)
xy[0] *= sh/th
xy[1] *= sw/tw
x = xy[0].flatten()
y = xy[1].flatten()
clip = np.floor(xy).astype(np.int)
cx = clip[0].flatten()
cy = clip[1].flatten()
f1 = padding[:,:,cx,cy]
f2 = padding[:,:,cx+1,cy]
f3 = padding[:,:,cx,cy+1]
f4 = padding[:,:,cx+1,cy+1]
a = cx+1-x
b = x-cx
c = cy+1-y
d = y-cy
fx1 = a*f1 + b*f2
fx2 = a*f3 + b*f4
fy = c*fx1 + d*fx2
fy = fy.reshape(fy.shape[0],fy.shape[1],tw,th).transpose((0,1,3,2))
return fy
首先是采用np.meshgrid生成目标图像大小的网格,然后根据scale比例去计算目标图像的网格点对应到原图像的坐标(可能为小数),clip存储的值是待插值点p的左下角点坐标,通过clip可以计算得到待插值点p周围四个整点的坐标,通过该坐标到padding中去索引得到这四个点的灰度值f1, f2, f3, f4,之后就是根据双线性插值公式直接计算得到插值结果了。
特别需要注意的地方是np.meshgrid生成的行列数与图像行列数是倒转的,因此最后fy.reshape恢复的时候最后两个维度必须是tw,th(正常思路下是先高(th)后宽(tw)但是这样就会出问题),再用np.transpose()函数去转置最后两个维度。
最后用我家狗子照片测试一下:
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
if __name__ == '__main__':
path_list = ['./dog.jpg']
imgs = []
for path in path_list:
im = cv.cvtColor(cv.imread(path), cv.COLOR_BGR2RGB)/255
imgs.append(im)
imgs = np.array(imgs).transpose((0,3,1,2))
interps_0d1 = bilinear_interpolate(imgs, scale=0.1)
interps_2d2 = bilinear_interpolate(imgs, scale=2.2)
for im,interp0,interp1 in zip(imgs,interps_0d1,interps_2d2):
plt.figure()
plt.subplot(131)
plt.imshow(im.transpose(1,2,0))
plt.subplot(132)
plt.imshow(interp0.transpose(1,2,0))
plt.title('scale to 0.1 times of the original image')
plt.subplot(133)
plt.imshow(interp1.transpose(1,2,0))
plt.title('scale to 2.2 times of the original image')
plt.show()
放大和缩小都没有问题。