Python爬虫学习笔记（爬虫介绍及requests模块学习）

python网络爬虫的简单介绍

什么是爬虫

爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程

哪些语言可以实现爬虫

1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面做的不好。

2.java：可以实现爬虫。java可以非常好的处理和实现爬虫，是唯一可以与python并驾齐驱且是python的头号劲敌。但是java实现爬虫代码较为臃肿，重构成本较大。

3.c、c++：可以实现爬虫。但是使用这种方式实现爬虫纯粹是是某些人（大佬们）能力的体现，却不是明智和合理的选择。

4.python：可以实现爬虫。python实现和处理爬虫语法简单，代码优美，支持的模块繁多，学习成本低，具有非常强大的框架（scrapy等）且一句难以言表的好！没有但是！

爬虫的分类

1.通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 简单来讲就是尽可能的；把互联网上的所有的网页下载下来，放到本地服务器里形成备分，在对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。

搜索引擎如何抓取互联网上的网站数据？
门户网站主动向搜索引擎公司提供其网站的url
搜索引擎公司与DNS服务商合作，获取网站的url
门户网站主动挂靠在一些知名网站的友情链接中
2.聚焦爬虫：聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如：获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。

robots.txt协议

如果自己的门户网站中的指定页面中的数据不想让爬虫程序爬取到的话，那么则可以通过编写一个robots.txt的协议文件来约束爬虫程序的数据爬取。robots协议的编写格式可以观察淘宝网的robots（访问www.taobao.com/robots.txt即可）。但是需要注意的是，该协议只是相当于口头的协议，并没有使用相关技术进行强制管制，所以该协议是防君子不防小人。但是我们在学习爬虫阶段编写的爬虫程序可以先忽略robots协议。

反爬虫
- 门户网站通过相应的策略和技术手段，防止爬虫程序进行网站数据的爬取。
-
反反爬虫
- 爬虫程序通过相应的策略和技术手段，破解门户网站的反爬虫手段，从而爬取到相应的数据。
-

requests模块

一.什么是requests模块

requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。

二.为什么要使用requests模块

因为在使用urllib模块的时候，会有诸多不便之处，总结如下：
1.手动处理url编码
2.手动处理post请求参数
3.处理cookie和代理操作繁琐
…
使用requests模块：
1.自动处理url编码
2…自动处理post请求参数
3.简化cookie和代理操作
…

三.如何使用requests模块

安装：
pip install requests

使用流程
1.指定url
2.基于requests模块发起请求
3.获取响应对象中的数据值
4.持久化存储

需求：爬取搜狗指定词条搜索后的页面数据

import requests
url = 'https://www.baidu.com/'#指定url
response = requests.get(url=url)#发起请求
data_page = response.text#获取响应页面数据值，可以获取以字符串形式的页面数据
print(data_page)
#持久化操作
with open ('baidu.htm','w',encoding='utf-8') as f:
    f.write(data_page)

response 对象中其他重要的属性

import requests
url = 'https://www.baidu.com/'#指定url
response = requests.get(url=url)#发起请求

#content获取的是response对象中二进制（byte)类型的页面数据
print(response.content)
#返回一个状态响应码
print(response.status_code)
#200 请求成功
#返回响应头信息
print(response.headers)
#获取请求的url
print(response.url)
#https://www.baidu.com/

rsquests 模块如何处理携带参数的get请求

#方式一：
import requests
url = 'https://www.sogou.com/web?query=周杰伦&ie=utf-8'
response = requests.get(url=url)#发起请求
data_page = response.text#获取响应页面数据值，可以获取以字符串形式的页面数据
print(response.status_code)
#持久化操作
with open ('./zhou.html','w',encoding='utf-8') as f:
    f.write(data_page)

#方式二：
import requests
url = 'https://www.sogou.com/web?'
#将参数封装到字典中
parama = {
    'query' : '周杰伦',
    'ie' : 'utf-8'
}
response = requests.get(url =url,params = parama)
data_page = response.text
with open ('./zhou.html','w',encoding='utf-8') as f:
    f.write(data_page)

基于requests模块发起的post请求

-需求：登录豆瓣网，获取登陆成功后的页面数据

#1.指定post请求的url
import requests
url = 'https://graph.qq.com/oauth2.0/authorize'

#封装post请求的参数
data = {
    "response_type":"code",
    "client_id": "100387276",
    "redirect_uri":"https://accounts.douban.com/connect/qq/callback",
    "scope":"get_user_info",
    "state":"SbgSexgGZYk%23movie%23https%3A//movie.douban.com/",
    "switch":"",
    "from_ptlogin":"1",
    "src":"1",
    "update_auth":"1",
    "openapi":"80901010",
    "g_tk":"1219380160",
    "auth_time":"1553565698954",
    "ui":"D8A4FC50-95E9-45E5-8551-91449669DA86",
}
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
#2.发起post请求
response = requests.post(url=url,data = data,headers = headers)
#3.获取响应对象页面的数据
page_text = response.text
#4.持久化操作
with open('./douban.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

基于ajax的get请求

-需求：抓取豆瓣电影上电影详情的数据

import requests
url = 'https://movie.douban.com/j/chart/top_list?'

#封装ajax的get请求中携带的参数
params = {
    "type":'5',
    "interval_id":"100:90",
    'action':"",
    "start":"20",
    "limit":"20"
}
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}
response = requests.get(url =url,params = params,headers = headers)
print(response.text)

需求：爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定地点的餐厅数据(页面有选项，网址不变)

import requests
#指定ajax-post请求的url（通过抓包进行获取）
url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
#定制请求头信息，相关的头信息必须封装在字典结构中
headers = {
    #定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
#定制post请求携带的参数(从抓包工具中获取)
data = {
    'cname':'',
    'pid':'',
    'keyword':'武汉',
    'pageIndex': '1',
    'pageSize': '10'
}
#发起post请求，获取响应对象
response = requests.get(url=url,headers=headers,data=data)
#获取响应内容：响应内容为json串
print(response.text)

需求：爬取搜狗知乎指定词条指定页码下的页面数据

#前三页页面数据 （1，2，3）
import requests
import os
#指定搜索关键字
word = input('enter a word you want to search:')
#指定起始页码
start_page = int(input('enter start page num:'))
end_page = int(input('enter end page num:'))
#自定义请求头信息
headers={
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    }
#指定url
url = 'https://zhihu.sogou.com/zhihu'
#创建文件夹
if not os.path.exists('./sougou'):
    os.mkdir('./sougou')
for page in range(start_page,end_page+1):
    #封装get请求参数
    params = {
        'query':word,
        'ie':'utf-8',
        'page':str(page)
    }
    #发起post请求，获取响应对象
    response = requests.get(url=url,params=params)
    #获取页面数据
    page_text = response.text
    fileName = word+'_'+str(page)+'.html'
    filePath = './sougou/'+fileName
    with open(filePath,'w',encoding='utf-8') as fp:
        fp.write(page_text)
        print('爬取'+str(page)+'页结束')

requests模块的cookie和代理操作 代理和cookie操作 一.基于requests模块的cookie操作

引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如：

import requests
# 张三人人网个人信息页面的url
url = 'http://www.renren.com/289676607/profile'

# 伪装UA
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
}
# 发送请求，获取响应对象
response = requests.get(url=url, headers=headers)
# 将响应内容写入文件
with open('./renren.html', 'w', encoding='utf-8') as fp:
    fp.write(response.text)

• 结果发现，写入到文件中的数据，不是张三个人页面的数据，而是人人网登陆的首页面，why？首先我们来回顾下cookie的相关概念及作用：

- cookie概念：当用户通过浏览器首次访问一个域名时，访问的web服务器会给客户端发送数据，以保持web服务器与客户端之间的状态保持，这些数据就是cookie。

- cookie作用：我们在浏览器中，经常涉及到数据的交换，比如你登录邮箱，登录一个页面。我们经常会在此时设置30天内记住我，或者自动登录选项。那么它们是怎么记录信息的呢，答案就是今天的主角cookie了，Cookie是由HTTP服务器设置的，保存在浏览器中，但HTTP协议是一种无状态协议，在数据交换完毕后，服务器端和客户端的链接就会关闭，每次交换数据都需要建立新的链接。就像我们去超市买东西，没有积分卡的情况下，我们买完东西之后，超市没有我们的任何消费信息，但我们办了积分卡之后，超市就有了我们的消费信息。cookie就像是积分卡，可以保存积分，商品就是我们的信息，超市的系统就像服务器后台，http协议就是交易的过程。

• 经过cookie的相关介绍，其实你已经知道了为什么上述案例中爬取到的不是张三个人信息页，而是登录页面。那应该如何抓取到张三的个人信息页呢？

思路：

1.我们需要使用爬虫程序对人人网的登录时的请求进行一次抓取，获取请求中的cookie数据

2.在使用个人信息页的url进行请求时，该请求需要携带 1 中的cookie，只有携带了cookie后，服务器才可识别这次请求的用户信息，方可响应回指定的用户信息页数据

import requests
# 登录请求的url（通过抓包工具获取）
post_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201873958471'
# 创建一个session对象，该对象会自动将请求中的cookie进行存储和携带
session = requests.session()
# 伪装UA
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
}
formdata = {
    'email': '17701256561',
    'icode': '',
    'origURL': 'http://www.renren.com/home',
    'domain': 'renren.com',
    'key_id': '1',
    'captcha_type': 'web_login',
    'password': '7b456e6c3eb6615b2e122a2942ef3845da1f91e3de075179079a3b84952508e4',
    'rkey': '44fd96c219c593f3c9612360c80310a3',
    'f': 'https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3Dm7m_NSUp5Ri_ZrK5eNIpn_dMs48UAcvT-N_kmysWgYW%26wd%3D%26eqid%3Dba95daf5000065ce000000035b120219',
}
# 使用session发送请求，目的是为了将session保存该次请求中的cookie
session.post(url=post_url, data=formdata, headers=headers)

get_url = 'http://www.renren.com/960481378/profile'
# 再次使用session进行请求的发送，该次请求中已经携带了cookie
response = session.get(url=get_url, headers=headers)
# 设置响应内容的编码格式
response.encoding = 'utf-8'
# 将响应内容写入文件
with open('./renren.html', 'w') as fp:
    fp.write(response.text)

二.基于requests模块的代理操作

什么是代理
代理就是第三方代替本体处理相关事务。例如：生活中的代理：代购，中介，微商…

爬虫中为什么需要使用代理

一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理IP，每隔一段时间换一个代理IP，就算IP被禁止，依然可以换个IP继续爬取。

代理的分类：

正向代理：代理客户端获取数据。正向代理是为了保护客户端防止被追究责任。

反向代理：代理服务器提供数据。反向代理是为了保护服务器或负责负载均衡。

免费代理ip提供网站

http://www.goubanjia.com/

西祠代理

快代理

代码

import requests
import random
# 不同浏览器的UA
header_list = [
    # 遨游
    {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
    # 火狐
    {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
    # 谷歌
    {
        "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
]
# 不同的代理IP
proxy_list = [
    {"http": "112.115.57.20:3128"},
    {'http': '121.41.171.223:3128'}
]
# 随机获取UA和代理IP
header = random.choice(header_list)
proxy = random.choice(proxy_list)

url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'
# 参数3：设置代理
response = requests.get(url=url, headers=header, proxies=proxy)
response.encoding = 'utf-8'

with open('daili.html', 'wb') as fp:
    fp.write(response.content)
# 切换成原来的IP
requests.get(url, proxies={"http": ""})