一、爬虫的基本原理
1、网页请求的过程
（1）Request （请求）。每个展示在用户面前的网页都必须经过这一步，也就是向服务器发送访问请求。
（2）Response（响应）。服务器在接收到用户的请求后，会验证请求的有效性，然后向用户（客户端）发送响应的内容；客户端接收服务器响应的内容，将内容展示出来，这就是我们所熟悉的网页请求。
2、网页请求的方式
（1）GET：最常见的方式，一般用于获取或查询资源信息，参数设置在URL中，其也是大多数网站使用的方式，只需一次发送和返回，响应速度快。
（2）POST：相比GET方式，POST方式通过request body传递参数，可发送请求的信息远大于GET方式。所以，在写爬虫前要先确定向谁发送请求，用什么方式发送请求。
2.1、使用GET方式抓取数据
复制任意一条首页首条新闻的标题，在源码页面按【Ctrl+F】组合键调出搜索框，将标题粘贴到搜索框中，然后按【Enter】键。
确定好请求对象和方式后，在PyCharm中输入以下代码。
import requests
#导入requests包
url='https://passport.****.net/login?code=public' ##只是举例
strhtml=requests.get(url)
#get方式,获取网页数据
print(strhtml.text)
加载库使用的语句是import+库的名称。在上述过程中，加载requests库的语句是import requests。用GET方式获取数据需要调用requests库中的get方法，使用方法是在requests后输入英文点号（.）。将获取到的数据保存到strhtml变量中，这时strhtml是一个URL对象，它代表整个网页，但此时只需要网页中的源码，这个语句表示网页源码：：strhtml.text。
2.2、使用POST方式抓取数据
首先进入某翻译页面，然后按快捷键【F12】进入开发者模式，单击“Network”选项卡
找到数据所在之处并且明确请求方式之后，接下来开始撰写爬虫。首先，将Headers中的URL复制出来，并赋值给url，代码如下：
url = ‘http://fanyi.******.com/translate_o?smartresult=dict&smartresult=rule’
POST请求获取数据的方式不同于GET，GET可以通过URL传递参数，而POST参数则需要放在请求实体里。
Form_data = {'i': '你好','from': 'AUTO','to': 'AUTO','smartresult': 'dict','client': 'fanyideskweb','salt': '16141603979715','sign': 'c1215f89f296cf0af9404a92c94f42cb','lts': '1614160397971','bv': 'b5362300738e7f121e2c37609aaa6bb3','doctype':'json','version':'2.1','keyfrom': 'fanyi.web','action': 'FY_BY_REALTlME'}
接下来使用requests.post()方法请求表单数据：
import requests
response = requests.post（url=url,data=Form_data）
将字符串格式的数据转换成JSON格式的数据，并根据数据结构提取数据，将翻译结果打印出来，代码如下。
content = json.loads(response.text)
print(content['translateResult'][0][0]['tgt'])
完整代码如下：
import requests
import json
def get_translate_date(word=None):
url ='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
Form_data = {'i':word,'from':'AUTO','to':'AUTO','smartresult':'dict','client':'fanyideskweb',
'salt':'16141603979715','sign':'c1215f89f296cf0af9404a92c94f42cb','lts':'1614160397971',
'bv':'b5362300738e7f121e2c37609aaa6bb3','doctype':'json','version':'2.1','keyfrom':'fanyi.web',
'action':'FY_BY_REALTlME'}
#请求表单数据
response = requests.post(url=url,data=Form_data)
#将json格式的字符串转为字典dic
content = json.loads(response.text)
print(content)
# 打印翻译后的数据
print(content['translateResult'][0][0]['tgt'])
if __name__ =='__main__':
get_translate_date('你好，五彩缤纷的世界')
2.3、使用Beautiful Soup解析网页
通过requests库已经抓取到网页源码，接下来要从源码中找到并提取数据。Beautiful Soup是Python的一个库，其主要功能是从网页中抓取数据。BeautifulSoup目前已经被移植到bs4库中，也就是说在导入Beautiful Soup时需要先安装bs4库。
安装好bs4库以后，还需安装lxml库。如果我们不安装lxml库，就会使用 Python默认的解析器。尽管Beautiful Soup既支持Python标准库中的HTML解析器，又支持一些第三方解析器，但是lxml库功能更强大、速度更快，因此笔者推荐安装lxml库。安装Python第三方库后，输入下面的代码，即可开启Beautiful Soup之旅。
#从bs4库中导入BeautifulSoup
from bs4import BeautifulSoup
import requests
url ='https://www.*******.com/feng0815/p/8045850.html'
strhtml = requests.get(url)#get方式，获取网页数据
print(strhtml.text)
soup = BeautifulSoup(strhtml.text,'lxml')#使用lxml库解析网页文档
data = soup.select('#cnblogs_post_body > p:nth-child(7) > span')#获取数据
print(data)
接下来用select（选择器）定位数据，在定位数据时需要使用浏览器的开发者模式，随后在浏览器右侧会弹出开发者界面，右侧高亮的代码，对应着左侧高亮的数据文本。右击右侧高亮的代码，在弹出的快捷菜单中选择“Copy”===》“Copy selector”命令，便可以自动复制路径。
将路径粘贴到文档中，代码：data = soup.select('#cnblogs_post_body > p:nth-child(7) > span')#获取一条数据
由于这条路径是选中的第7条路径，而我们需要获取所有的头条新闻，因此将p:nth-child(7)中冒号（包含冒号）后面的部分删掉，代码如下:
data1 = soup.select('#cnblogs_post_body > p > span')#获取全部数据
2.4、清洗和组织数据
我们获得了一段目标的HTML代码，但还没有把数据提取出来，接下来在PyCharm中输入以下代码：
for itemin data1:
result = {
'title':item.get_text(),
'link':item.get('href')
}
print(result)
运行结果如下图：
首先明确要提取的数据是标题，标题在标签中，提取标签的正文用get_text()方法；链接在标签的href属性中，提取标签中的href属性用get()方法，在括号中指定要提取的属性数据，即get('href')。
需要使用的正则符号如下：
● \d：匹配数字。
● +：匹配前一个字符1次或多次。
在Python中调用正则表达式时使用re库，这个库不用安装，可以直接调用。使用re库的findall()方法，第一个参数表示正则表达式，第二个参数表示要提取的文本。如：'ID':re.findall('\d+',item.get('href'))
2.5、爬虫攻防战
爬虫是模拟人的浏览访问行为，进行数据的批量抓取。当抓取的数据量逐渐增大时，会给被访问的服务器造成很大的压力，甚至有可能崩溃。换句话说就是，服务器是不喜欢有人抓取自己的数据的。那么，网站方面就会针对这些爬虫者采取一些反爬策略。
服务器识别爬虫的一种方式是通过检查连接的User-Agent来识别到底是浏览器访问的还是代码访问的。如果是代码访问的，当访问量增大时，服务器就会直接封掉来访IP。
那么应对这种初级的反爬机制，我们应该采取何种举措？
在进行访问时，我们在开发者环境下不仅可以找到URL、Form Data，还可以在Request Headers中构造浏览器的请求头，封装自己。服务器识别浏览器访问的方法就是判断keywor是否为Request Headers下的User-Agent，如图2-25所示。因此，我们只需要构造这个请求头的参数。创建请求头部信息即可：
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'}
response = requests.post(url=url, data=Form_data,headers=headers)
So，修改User-Agent很简单。确实很简单，但是正常人1秒钟看一张图，而爬虫1秒钟可以抓取好多张图，比如1秒钟抓取上百张图，那么服务器的压力必然会增大。也就是说，在一个IP下批量访问、下载图片，这种行为不符合正常人类的行为，肯定要被封掉IP。其原理也很简单，就是统计每个IP的访问频率，该频率超过阈值就会返回一个验证码，如果真的是用户在进行访问，用户就会填写验证码，然后继续访问；如果是代码在进行访问，就会被封掉IP。
解决以上问题有两种方法，第一种方法就是常用的增设延时，每3秒钟抓取一次，代码如下：（效率低）
import time
time.sleep(3)
第二种方法：为避免被封掉IP，在数据采集时经常使用代理。当然，requests也有相应的proxies属性。首先构建自己的代理IP池，将其以字典的形式赋值给proxies，然后传输给requests，代码如下：
proxies ={
"http": "http: //10. 10.1.10: 3128",
"https": "http: //10.10.1. 10: 1080",}
response = requests. get (url, proxies=proxies)