Python学习笔记16：爬取百度搜索图片的缩略图

找图，通过百度之类的搜索引擎最方便。

如何爬取百度搜索的图片，也是一个有意思的话题。

进入百度图片，随便输入搜索内容，比如“美女”。

打开 F12 ，查看 network ，选择 XHR，查看 AJAX 加载项。会发现，有一个 JSON 文件。随着页面向下滚动，JSON 会依次加载。说明，这个 JSON 就是跟图片内容有关的JSON。

分析 JSON 路径：

https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8249781613697439763&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E7%BE%8E%E5%A5%B3&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=©right=&word=%E7%BE%8E%E5%A5%B3&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&force=&cg=girl&pn=30&rn=30&gsm=1e&1609213971470=

参数 word 和 queryWord 后面的内容就是专为地址码的“美女”汉字。 

选中这个 JSON，对数据进行分析。在右边会发现很多属性值是地址，其中一个 thumbURL 就存储了搜索的缩略图地址。这个就是我们要找的目标~！ 我们的目的是把缩略图爬下来~

开始编码，用到的知识点：

1. urllib.parse 模块，把汉字换位 URL地址码

2. requests 模块，爬取 JSON 和图片。

3. re 模块，利用正则表达式在 JSON 中抽取缩略图地址。

具体代码如下。

# 设置headers 为了防止反扒，设置多个headers
# chrome，firefox，Edge
headers = [
    {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',
        'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
        'Connection': 'keep-alive'
    },
    {
        "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0',
        'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
        'Connection': 'keep-alive'
    },
    {
        "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19041',
        'Accept-Language': 'zh-CN',
        'Connection': 'keep-alive'
    }
]

cn = input("请输入要搜索的图片：")
bfb = urllib.parse.quote(cn)  # 转码
print( bfb )
# print( urllib.parse.unquote(bfb) )  # 解码

# 百度检索结果 json 路径
webURL = r"https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10895392189573015052&ipn=rj&ct=201326592&is=&fp=result&queryWord={bfb}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=©right=&word={bfb}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&cg=girl&pn={page}&rn=30&gsm=1e&1608997121898=".format(bfb=bfb, page=1*30)

# 获取 json 内容
req = requests.get(url=webURL, headers=random.choice(headers))
req.encoding = req.apparent_encoding  # 防止中文乱码
webJSON = req.text

# 获取图片 list。图片地址都在 "thumbURL":"xxxx" 里面。这里只需要缩略图。
# 利用正则表达式获取图片路径
imgurlReg = '"thumbURL":"(.*?)"'
picList = re.findall(imgurlReg, webJSON, re.DOTALL | re.I)

# 请求每张图片
for item in picList:
    img_req = requests.get(url=item, headers=random.choice(headers))
    imgFile = "img/"+item.split("/")[-1]
    # 下载图片
    with open(imgFile, "wb") as f:
        f.write(img_req.content)
        print(item+" 下载完毕")

完美。