基于MOOC嵩天《Python网络爬虫与信息提取》视频学习记录——第一周：requests库

1.requests库入门

requests的get( )方法

在这里插入图片描述

爬取百度网页实例：

import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
r.enconding = 'utf-8'
print(r.text)

爬取结果：

在这里插入图片描述

requests库的七个主要方法

image

requsets对象的属性

在这里插入图片描述

理解requests的编码

在这里插入图片描述

理解requests的异常

在这里插入图片描述

在这里插入图片描述

爬取网页的通用代码框架

import requests
def getHTMLText (url) :
    try:
        r = requests.get (url, timeout=30)
        r.raise_for_status()    # 如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"
if __name__ == "__main__"
    url = "http://www.baidu.com"
    print(getHTMLText(url))

理解put和pouch的区别

在这里插入图片描述

requests的head( )方法

在这里插入图片描述

用很少的网络流量获取概要信息

requests的post( )方法

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

requests.request

requests.request(method, url, **kwargs)

method：请求方式
**kwargs：控制访问的参数，均为可选项

1)params：字典或字节序列，作为参数增加到url中

在这里插入图片描述

2)data：字典、字节序列或文件对象，作为Request的内容

在这里插入图片描述

3)json：JSON格式的数据，作为Request的内容

在这里插入图片描述

4)headers：字典，HTTP定制头

在这里插入图片描述

5)cookies：字典或CookieJar, Request中的cookie

6)auth：元组，支持HTTP认证功能

7)files：字典类型，传输文件

在这里插入图片描述

8)timeout：定超时时间，秒为单位

在这里插入图片描述

9)proxies：字典类型，设定访问代理服务器，可以增加登录认证

在这里插入图片描述

10)allow redirects：True/False, 默认为True,重定向开关

11)stream：True/False, 默认为True,获取内容立即下载开关

12)verify：True/False, 默认为True,认证SSL证书开关

13)cert：本地SSL证书路径

2.爬虫之“盗亦有道”

robots协议

一般放置于网站的根目录下，用于告知网络爬虫爬取网站的相应准则。

在这里插入图片描述

3.requests库网络爬虫实战

1)爬取京东商品

import requests
url = 'https://item.jd.com/100007958768.html'
try:
    r= requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print('爬取错误')

爬取结果

爬取结果

2)亚马逊商品爬取

在这里插入图片描述

在实际测试中，我们发现r.status_code的返回值不为200，即爬取错误，此时我们查看一下request的头部信息：

在这里插入图片描述

我们可以看到，在'user_Agent'中，我们忠实的告诉亚马逊服务器，我们这次网络访问，是由网络爬虫进行的。
此时，我们可以构造一个键值对，用于修改头部信息：

kv = {'user_Agent':'Mozilla/5.0'}

然后再用get函数进行访问，同时对头部信息进行修改：

r = requests.get(url,headers = kv)

然后再进行r.status_code，可以发现返回值为200
以下为全代码：

import requests
url = 'https://www.amazon.cn/dp/B075R5LCFY/ref=lp_658809051_1_1?s=books&ie=UTF8&qid=1569419053&sr=1-1'
try:
    kv = {'user_Agent':'Mozilla/5.0'}
    r= requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[1000:2000])
except:
    print('爬取错误')

3)百度/360搜索关键词提交

已知搜索引擎关键字的提交接口：

在这里插入图片描述

百度搜索引擎关键字提交：

import requests
try:
    url = 'http://www.baidu.com/s'
    kv = {'wd':'冬月枫'}       #冬月枫是我女神
    r = requests.get(url,params = kv)
    r.raise_for_status()
    r.enconding = r.apparent_encoding
    print(len(r.text))
except:
    print('爬取失败')

360搜索引擎关键字提交：

import requests
try:
    url = 'http://www.so.com/s'
    kv = {'q':'相泽南'}           #相泽南是我另一个女神
    r = requests.get(url,params = kv)
    r.raise_for_status()
    r.enconding = r.apparent_encoding
    print(len(r.text))
except:
    print('爬取失败')

4)网络图片的爬取与存储

import requests
import os
url = 'https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/三上悠亚.jpg'
root = 'D://三上悠亚//'             #三上悠亚是我老婆
path = root + url.split('/')[-1]    #路径为根目录 + 图片名
try:
    if not os.path.exists(root) :
        os.mkdir (root)             #判断根目录存不存在，不存在则创建
    if not os.path.exists(path) :
        r = requests.get(url)       #判断path是否存在，不存在则get请求捕获url
    with open(path,'wb') as f:
        f.write(r.content)
        f.close()                   #写入文件(图片为二进制格式)
        print("文件保存成功")
except:
    print("爬取失败")

爬取结果：

在这里插入图片描述

5)IP地址归属地的自动查询

import requests
try:
    r = requests.get('http://m.ip138.com/ip.asp?ip=202.204.80.112')
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500:])
except:
    print("爬取失败")

爬取结果：

在这里插入图片描述