Tensorflow自己的数据集准备_1：python图片（百度图片+Veer图库）爬取

图片爬取的代码并非全是自己编写的，主要是参考借鉴他人的代码，进行稍微改动使其能正常运行，达到自己想要的效果。

声明：仅用于爬虫学习，禁止用于商业用途谋取利益。

这里将参考链接附上，并附上自己能成功运行的代码。

一：百度图片爬取

代码主要参考链接：https://www.jianshu.com/p/690a49eca5de

链接有百度图片网页的分析。

下面主要是我改动后能成功运行的代码：

# 爬取百度图片  输入关键字  瀑布流  

import requests
import re
import time
import os
import urllib.parse
import json

page_picture_num=30
photo_dir="F://Tensorflow-workspace//photos_11"  # 图片保存的路径

def getImage(word, page_num):
    num=0
    url = "https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord={0}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=©right=&word={0}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn={1}&rn="+str(page_picture_num)+"&gsm=1e&1552975216767="
    while num

二：Veer图库图片爬取

代码主要参考链接：https://blog.csdn.net/jklcl/article/details/82870362#comments

链接有Veer图库网页的分析。

原链接中的代码会出错，添加Cookie后能成功运行。

找到Cookie 中  latest_landing_page     和    22https   将中间的内容替换为：  latest_landing_page'+str(i)+'22https

str(i)  为加载的 最后页数。

下面主要是我改动后能成功运行的代码（根据关键字、爬取相关页数的图片，每页200张图片）：

注意：Cookie 请换成自己的Cookie。打开Veer 首页，输入关键字（爬取图片的关键字，如：站  小孩），按F12，找到Network，如下图所示：

代码实现：

# 爬取 Veer 图片网站  输入关键字 和 页数  进行爬取

#conding=utf-8

import requests
import json
import os
import traceback


photo_dir = r'F:\Tensorflow-workspace\photos_11'  # 图片保存的路径

def download(img_url, img_name):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101'
    }
    req = requests.get(img_url, headers=headers)
    
    file_name = word_dir + '\\' + img_name+img_url[-13:]#图片名为描述+图片的编号
    f = open(file_name, 'wb')
    f.write(req.content)#以字节流的形式读入文件  图片保存到关键字的文件夹下
    f.close


def get_picture(name, i):
    url = 'https://www.veer.com/ajax/search' #URL
    print("-----i： "+ str(i))
    
    header = {
        'content-type': 'application/json',
        'Cookie': '请填写自己的Cookie',
        'Host': 'www.veer.com',
        'Origin': 'https://www.veer.com',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36'
    }
    payloadData = {
        'graphicalStyle': '', #类型：1.照片 2.插画 3.矢量i图 Nan为全部
        'phrase': name, #搜索的关键字
        'page': i,  #分页数量
        'perpage': 1000, #一页多少图片
        'page_type': 6, #分页的格式，这个不重要
        'favorid': ''       
    }# 分页数量为1，一页10000，是为了尽量只从一个页面上的到所有的list
    html = requests.post(url, data=json.dumps(payloadData), headers=header) #payloadData要求用josn来进行解析，
    print(html.status_code)
    print(html.request.url)
    
    list = json.loads(html.text)#获取json解析的list，不然全是乱码
    data = list['data'] #封装成字典格式
    print("总共搜索到图片：",data['totalCount'], "张图片")
    id = data['list']
    j = 0
    for sid in id:
        try:
#             print(sid['oss400'], sid['cnTitle'])#用的是400的，为了veer的利益，不采用1600尺寸的图片
            if sid['cnTitle']==None:#防止图片描述为空
                sid['cnTitle'] = "none"
            download(sid['oss400'], sid['cnTitle'])#进行下载
            j = j+1
        except Exception as e:
            #这个是输出错误的具体原因，这步可以不用加str，输出 
#             print('repr(e):\t', repr(e)) #输出 repr(e):	ZeroDivisionError('integer division or modulo by zero',)
            #以下两步都是输出错误的具体位置的
#             traceback.print_exc()
#             print('traceback.format_exc():\n%s' % traceback.format_exc())
            print('---Url Error: ', sid)
       
    return j

def get_num_list(name, page_num):
    picture_all = 0
    name = name
    for i in range(100, page_num+1):
        picture_num = get_picture(name, i)
        print("------------page_num：------",i,"   ----picture_num: ",picture_num)
        picture_all = picture_all + picture_num
        print("------------get_picture_all:",picture_all)
           
    print('Done!')


if __name__ == '__main__':

    name = input("输入搜索图片名称：")
    word_dir=os.path.join(photo_dir,name)
    if not os.path.exists(word_dir):
        os.mkdir(word_dir)   # 在图片保存路径下  创建关键字的文件夹

    page_num  = input("请输入爬取的页数：")
    
    while(page_num == "") :
        print("爬取的页数不能为空")
        page_num = input("请输入爬取的页数(每页200张图片)：")
    else:
        page_num = int(page_num)
        get_num_list(name, page_num)