1.requests库入门
requests的get( )方法
爬取百度网页实例:
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
r.enconding = 'utf-8'
print(r.text)
爬取结果:
requests库的七个主要方法
requsets对象的属性
理解requests的编码
理解requests的异常
爬取网页的通用代码框架
import requests
def getHTMLText (url) :
try:
r = requests.get (url, timeout=30)
r.raise_for_status() # 如果状态不是200,引发HTTPError异常
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__ == "__main__"
url = "http://www.baidu.com"
print(getHTMLText(url))
理解put和pouch的区别
requests的head( )方法
requests的post( )方法
requests.request
requests.request(method, url, **kwargs)
method:请求方式
**kwargs:控制访问的参数,均为可选项
1)params:字典或字节序列,作为参数增加到url中
2)data:字典、字节序列或文件对象,作为Request的内容
3)json:JSON格式的数据,作为Request的内容
4)headers:字典,HTTP定制头
5)cookies:字典或CookieJar, Request中的cookie
6)auth:元组,支持HTTP认证功能
7)files:字典类型,传输文件
8)timeout:定超时时间,秒为单位
9)proxies:字典类型,设定访问代理服务器,可以增加登录认证
10)allow redirects:True/False, 默认为True,重定向开关
11)stream:True/False, 默认为True,获取内容立即下载开关
12)verify:True/False, 默认为True,认证SSL证书开关
13)cert:本地SSL证书路径
2.爬虫之“盗亦有道”
robots协议
一般放置于网站的根目录下,用于告知网络爬虫爬取网站的相应准则。
3.requests库网络爬虫实战
1)爬取京东商品
import requests
url = 'https://item.jd.com/100007958768.html'
try:
r= requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print('爬取错误')
爬取结果
2)亚马逊商品爬取
在实际测试中,我们发现r.status_code的返回值不为200,即爬取错误,此时我们查看一下request的头部信息:
我们可以看到,在'user_Agent'中,我们忠实的告诉亚马逊服务器,我们这次网络访问,是由网络爬虫进行的。
此时,我们可以构造一个键值对,用于修改头部信息:
kv = {'user_Agent':'Mozilla/5.0'}
然后再用get函数进行访问,同时对头部信息进行修改:
r = requests.get(url,headers = kv)
然后再进行r.status_code,可以发现返回值为200
以下为全代码:
import requests
url = 'https://www.amazon.cn/dp/B075R5LCFY/ref=lp_658809051_1_1?s=books&ie=UTF8&qid=1569419053&sr=1-1'
try:
kv = {'user_Agent':'Mozilla/5.0'}
r= requests.get(url,headers = kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[1000:2000])
except:
print('爬取错误')
3)百度/360搜索关键词提交
已知搜索引擎关键字的提交接口:
百度搜索引擎关键字提交:
import requests
try:
url = 'http://www.baidu.com/s'
kv = {'wd':'冬月枫'} #冬月枫是我女神
r = requests.get(url,params = kv)
r.raise_for_status()
r.enconding = r.apparent_encoding
print(len(r.text))
except:
print('爬取失败')
360搜索引擎关键字提交:
import requests
try:
url = 'http://www.so.com/s'
kv = {'q':'相泽南'} #相泽南是我另一个女神
r = requests.get(url,params = kv)
r.raise_for_status()
r.enconding = r.apparent_encoding
print(len(r.text))
except:
print('爬取失败')
4)网络图片的爬取与存储
import requests
import os
url = 'https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/三上悠亚.jpg'
root = 'D://三上悠亚//' #三上悠亚是我老婆
path = root + url.split('/')[-1] #路径为根目录 + 图片名
try:
if not os.path.exists(root) :
os.mkdir (root) #判断根目录存不存在,不存在则创建
if not os.path.exists(path) :
r = requests.get(url) #判断path是否存在,不存在则get请求捕获url
with open(path,'wb') as f:
f.write(r.content)
f.close() #写入文件(图片为二进制格式)
print("文件保存成功")
except:
print("爬取失败")
爬取结果:
5)IP地址归属地的自动查询
import requests
try:
r = requests.get('http://m.ip138.com/ip.asp?ip=202.204.80.112')
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[-500:])
except:
print("爬取失败")
爬取结果: