运用paddlepaddle hub 对电商抠图的学习

对于百度的Paddlepaddle深度学习框架的关注已经有一段时间，未来是希望能运用深度学习抠图和合成技术为跨境电商提供有价值的服务，今天刚好可以用傻瓜化的方式来测试一下抠图和合成的效果，对未来的生产应用，做一下技术可行性的探索。

最开始的图片：

找到需要抠图的图片：

待抠图人像

找到背景图片：

背景图片

图片合成的最终效果：

合成效果

项目代码地址：

https://aistudio.baidu.com/aistudio/projectdetail/370800

下面是执行的代码和步骤：

1.先安装相关的依赖包

!pip install paddlehub==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

2.上传或拷贝需要抠图的图片和背景图片放到对应的文件夹中，并通过代码加载需要抠图的图片，进行展示。

# 待预测图片
test_img_path = ["./girl.jpg"]


import matplotlib.pyplot as plt 
import matplotlib.image as mpimg 

img = mpimg.imread(test_img_path[0]) 

# 展示待预测图片
plt.figure(figsize=(10,10))
plt.imshow(img) 
plt.axis('off') 
plt.show()

image.png

二、 加载预训练模型

通过加载PaddleHub DeepLabv3+模型(deeplabv3p_xception65_humanseg)实现一键抠图

import paddlehub as hub

module = hub.Module(name="deeplabv3p_xception65_humanseg")

input_dict = {"image": test_img_path}

# execute predict and print the result
results = module.segmentation(data=input_dict)
for result in results:
    print(result)

# 预测结果展示
test_img_path = "./humanseg_output/girl.png"
img = mpimg.imread(test_img_path)
plt.figure(figsize=(10,10))
plt.imshow(img) 
plt.axis('off') 
plt.show()

三、图像合成

将抠出的人物图片合成在想要的背景图片当中。

from PIL import Image
import numpy as np

def blend_images(fore_image, base_image):
    """
    将抠出的人物图像换背景
    fore_image: 前景图片，抠出的人物图片
    base_image: 背景图片
    """
    # 读入图片
    base_image = Image.open(base_image).convert('RGB')
    fore_image = Image.open(fore_image).resize(base_image.size)

    # 图片加权合成
    scope_map = np.array(fore_image)[:,:,-1] / 255
    scope_map = scope_map[:,:,np.newaxis]
    scope_map = np.repeat(scope_map, repeats=3, axis=2)
    res_image = np.multiply(scope_map, np.array(fore_image)[:,:,:3]) + np.multiply((1-scope_map), np.array(base_image))
    
    #保存图片
    res_image = Image.fromarray(np.uint8(res_image))
    res_image.save("blend_res_img2.jpg")

    
blend_images('./humanseg_output/girl.png', 'bg.jpg')

# 展示合成图片
plt.figure(figsize=(10,10))
img = mpimg.imread("./blend_res_img.jpg")
plt.imshow(img) 
plt.axis('off') 
plt.show()

image.png

项目遇到的问题：

1.记载的模型对图片进行了一定的限制，需要抠图的图片，只能是给他们定义好的 512 * 341 ，上传了一个其他尺寸的时候，报错了。 未来在真正运用上需要自己来定义这个尺寸。

2.模型目前只支持人像抠图，未来需要自己训练支持不同商品的模型，进行抠图和识别。