在跑一篇论文的过程中,为了尽量不改动源码,在PIL端到端的转换过程中、增加了opencv来实现特定的功能,主要是利用opencv库来提取图片显著性的前景。
用到的图片如下:
原图:
mask:
最后的结果:
实现代码:
1、首先是论文里的用PIL库打开rgb图像的函数、返回有两个值、需要用到的是图片转numpy的那个值:pil_to_numpy
import numpy as np
import sys
from PIL import Image
import cv2
np.set_printoptions(threshold=sys.maxsize)
def pil_loader_rgb(path: str) -> Image.Image:
# open path as file to avoid ResourceWarning (https://github.com/python-pillow/Pillow/issues/835)
with open(path, 'rb') as f:
img = Image.open(f)
pil_to_numpy=np.array(img)
return pil_to_numpy,img.convert('RGB')
2、论文中用PIL读取原始图像,然后转换成opencv格式
#PIL读取原始图像
path="./Black_Footed_Albatross_0002_55.jpg"
pil_to_numpy,result=pil_loader_rgb(path)
#result.show()
img = cv2.cvtColor( pil_to_numpy,cv2.COLOR_RGB2BGR)
cv2.imshow("OpenCV",img)
cv2.waitKey()
3、我用opencv以二值图读取mask图片
#cv2读取mask
mask=cv2.imread("./Black_Footed_Albatross_0002_55_mask.png",0)#参数“0”表示以二值图读取
print(type(mask))
print(mask.shape)
cv2.imshow("opencv",mask)
cv2.waitKey()
4、我通过opencv使用之前获得的的两个值img、mask获取原始图片的前景
import torch
#cv2.add获取前景
masked = cv2.add(img,np.zeros(np.shape(img),dtype=np.uint8), mask=mask)
print(masked.shape)
cv2.imwrite("./Black_Footed_Albatross_0002_55_masked.png", masked)
cv2.imshow("opencv",masked)
cv2.waitKey()
5、再把获得的前景masked转换成PIL格式、送到网络中、衔接起来!
#cv2转换成PIL(为了和作者源代码衔接!!!!)
image = Image.fromarray(cv2.cvtColor(masked,cv2.COLOR_BGR2RGB))
print(type(image))
总体来说、就是:
PIL--------->opencv---------->PIL
利用opencv获取原始图片前景作为过渡!
参考opencv与PIL转换:
https://blog.csdn.net/dcrmg/article/details/78147219