python百度图片爬取

• 输入关键字，对百度图片进行爬取。代码如下：

"""
Created on Sun Jun 17 15:34:19 2018
爬取百度图片，下载在桌面。
@author: Chen
"""

import requests
import re
from urllib import parse
import os 
import time
import tkinter as tk
import winreg


#利用系统的注册表来获取用户的桌面地址
def GetDesktop():
    key = winreg.OpenKey(winreg.HKEY_CURRENT_USER,\
    r'Software\Microsoft\Windows\CurrentVersion\Explorer\Shell Folders',)
    return str(winreg.QueryValueEx(key, "Desktop")[0])


#获取HTML信息
def GetHtml(url):
    try:
        kv =  
        r = requests.get(url, timeout=5, headers = kv)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print('爬取失败')
        
        
#用正则表达式提取objURL:"(.*?)" ——图片的地址
def TextParse(text):
    raw = re.compile(r'"objURL":"(.*?)"')
    l = raw.findall(text)    #返回一个list
    return l


#下载图片，传入url, 第num张图， 文件夹名字（以检索目标为名字）
def download(url, num, dirname):
    global fileList     #用于记录下载文件的大小，以过滤重复图片
    path = dirname + '\\a' + str(num) +'.jpg'
    if not os.path.exists(path):
        try:
            r = requests.get(url,timeout = 5, headers ={'user-agent': 'Mozilla/5.0'} )   
            length = len(r.content)
            r.raise_for_status()
            #通过判断二进制文件的大小来过滤掉404的图片网站和重复的图片
            if length > 2000 and length not in fileList:
                fileList.append(len(r.content))
                #下载图片
                with open(path,'wb') as f:
                    f.write(r.content)
                    f.close()
        except:
            pass  
        
def rename(path):
    File = os.listdir(path)
    for i in range(len(File)):
        os.rename(File[i],"{}.jpg".format(i+1))
    print('\nSuccessfully download :',i)


def GUI():
    t = tk.Tk()
    t.title('百度图片抓取器')     #标题
    t.geometry("100x300")        #窗口大小
    t.resizable(width=False,height=False)   #是否能改变窗口大小，默认为True
    
    
if __name__ == '__main__':
    start = time.clock()    #记下程序开始时间，用于后面计算总的时间
    fileList = []
    URLlist = []
    pages =  5      #要爬取的页面数
    #initUrl表示百度图片搜索的地址， targetName表示要检索的关键字
    initUrl = r'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word='
    targetName = input('输入你要抓取的关键词:')
    word = parse.quote(targetName)    #编码
    DownloadPath = GetDesktop()    #获取桌面的地址
    os.chdir(DownloadPath)  
    #在下载位置下创建一个以检索字为名的文件夹用来存放图片
    try:
        os.mkdir(targetName)
    except:
        raise Exception("桌面已有{}的文件夹！".format(targetName))
        
    os.chdir(targetName)
    print("{:=^40}".format("初始化中")) 
    for i in range(pages): 
        pn = 20*i               #pn为百度图片页面的参数,0->第一页，20->第二页 ……
        url = initUrl + word + str(pn)
        text = GetHtml(url)
    #抓取页面上所有图片的地址存放在URLlist中（经过测试，一页60张，得到60个url连接）
        URLlist = URLlist + TextParse(text)
        lenURL = len(URLlist)
        
    #遍历URLlist,下载链接指向的图片。
    for i in range(lenURL):
        download(URLlist[i],i,os.getcwd())
        #打印进度条
        per = int((i+1)/lenURL*100)
        print("\r{}%[{}{}]{:4.2f}s".format(per, (per//3)*">",\
              (33-per//3)*" ",time.clock()-start),end="")  
    rename(os.getcwd())    #重命名