python Requests库爬取海量百度图片

import requests
import re
import os
keyword='安徽大学' ##此处是要抓取的百度图片
def get(n):
    url='http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&pn='+str(n*20)+'&gsm='+str(hex(n*20))+'&ct=&ic=0&lm=-1&width=0&height=0&word='
    try:#异常处理
            kv={'user-agent':'Mozilla/5.0'}
            k={'word':keyword}
            r=requests.get(url,headers=kv,params=k)
            r.raise_for_status()
            r.encoding=r.apparent_encoding#'utf-8'#
            return re.findall('"objURL":"(.*?)",', r.text, re.S)
            return r.text[1000:20000]
    except:
            return 0
kv={'user-agent':'Mozilla/5.0'}#模拟浏览器
j=1
path='D://'+keyword+'//'
if not os.path.isdir(path):#创建保存路径,在D盘
     os.makedirs(path)
for i in range(100):#暂时保存前100页的图片,可以灵活设置
    s=get(i)
    print(len(s)) 
    for i in s:
        try:
            r=requests.get(i,headers=kv)
            r.raise_for_status()
            with open(path+str(j)+'.jpg','wb') as f:
                f.write(r.content)
                f.close()
            print(str(j)+'保存成功')
            j=j+1
        except:
                print('error')
        
 
    

你可能感兴趣的:(小程序)