飞浆paddlepaddle深度学习框架学习心得-爬虫篇

飞浆paddlepaddle深度学习框架学习心得-爬虫篇

最近又参加了一个训练营-“Python小白逆袭大神”，相比与以前的训练营，这次培训的类容不再以深度学习模型的理解和CV领域为主，重在对于Python、PaddleHub的使用方面，对于自己目前的学习是一个比较好的补充。
课程学习地址：https://aistudio.baidu.com/aistudio/education/group/info/1224
学习，编程都可以在线的jupyter-notebook上完成，不用装任何的python环境
唯一的缺点就是感觉就是在训练模型的时候会报错，然后就必须重启kernel才能解决了。一般的情况下我在完成训练后都会重启下kernel。
感觉最大的收获就是能自己根据特定的需求编写爬虫并自制数据集了。
把代码分享一下吧

导入必要的包

import re
import uuid
import requests
import os
import numpy
import imghdr
from PIL import Image

# 获取百度图片下载图片

def download_image(key_word, save_name, download_max):
    download_sum = 0
    str_gsm = '80'
    # 把每个类别的图片存放在单独一个文件夹中
    save_path = 'F' +':' +'/' +'images' + '/' + save_name
    if not os.path.exists(save_path):
        os.makedirs(save_path)
    while download_sum < download_max:
        # 下载次数超过指定值就停止下载
        if download_sum >= download_max:
            break
        str_pn = str(download_sum)
        # 定义百度图片的路径
        url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&' \
              'word=' + key_word + '&pn=' + str_pn + '&gsm=' + str_gsm + '&ct=&ic=0&lm=-1&width=0&height=0'
        print('正在下载 %s 的第 %d 张图片.....' % (key_word, download_sum))
        try:
            # 获取当前页面的源码
            result = requests.get(url, timeout=30).text
            # 获取当前页面的图片URL
            img_urls = re.findall('"objURL":"(.*?)",', result, re.S)
            if len(img_urls) < 1:
                break
            # 把这些图片URL一个个下载
            for img_url in img_urls:
                # 获取图片内容
                img = requests.get(img_url, timeout=30)
                img_name = save_path + '/' + str(uuid.uuid1()) + '.jpg'
                # 保存图片
                with open(img_name, 'wb') as f:
                    f.write(img.content)
                download_sum += 1
                if download_sum >= download_max:
                    break
        except Exception as e:
            print('【错误】当前图片无法下载，%s' % e)
            download_sum += 1
            continue
    print('下载完成')

# 删除不是JPEG或者PNG格式的图片
def delete_error_image(father_path):
    # 获取父级目录的所有文件以及文件夹
    try:
        image_dirs = os.listdir(father_path)
        for image_dir in image_dirs:
            image_dir = os.path.join(father_path, image_dir)
            # 如果是文件夹就继续获取文件夹中的图片
            if os.path.isdir(image_dir):
                images = os.listdir(image_dir)
                for image in images:
                    image = os.path.join(image_dir, image)
                    try:
                        # 获取图片的类型
                        image_type = imghdr.what(image)
                        # 如果图片格式不是JPEG同时也不是PNG就删除图片
                        if image_type is not 'jpeg' and image_type is not 'png':
                            os.remove(image)
                            print('已删除：%s' % image)
                            continue
                        # 删除灰度图
                        img = numpy.array(Image.open(image))
                        if len(img.shape) is 2:
                            os.remove(image)
                            print('已删除：%s' % image)
                    except:
                        os.remove(image)
                        print('已删除：%s' % image)
    except:
        pass

if __name__ == '__main__':
    # 定义要下载的图片中文名称和英文名称，ps：英文名称主要是为了设置文件夹名
    """
    这里爬了下太极招式中的几张图片，到时候搞个太极姿势识别的模型玩玩
    """
    key_words = {'起势':'1-QiShi','野马分鬃':'2-YeMaFenZong',
                 '白鹤亮翅':'3-BiHeLianChi','手挥琵琶':'ShouHuiPiPa',
                 '双峰贯耳':'14-ShuangFengGuanEr','海底针':'19-HaiDiZhen','收势':'24-ShouShi'}
    # 每个类别下载500个
    max_sum = 500
    for key_word in key_words:
        save_name = key_words[key_word]
        download_image(key_word, save_name, max_sum)

    # 删除错误图片
    delete_error_image('images/')

特别说明下，如果你要适配成自己希望爬取的图片，只需要修改这里就型，比如你想爬取明星的照片,自行修改这个列表就可以了

key_words = {'姚明':'1-YaoMing','吴京':'2-WuJing',
                 '甄子丹':'3-ZhenZiDan'}