python3的爬虫笔记3——GET和POST（1）

HTTP定义了与服务器交互的不同方法，最基本的方法有4种，分别是GET，POST，PUT，DELETE。URL全称是资源描述符，我们可以这样认为：一个URL地址，它用于描述一个网络上的资源，而HTTP中的GET，POST，PUT，DELETE就对应着对这个资源的查，改，增，删4个操作。其中，GET一般用于获取/查询资源信息，而POST一般用于更新资源信息，通常用于我们需要向服务器提交表单的情况。PUT，DELETE一般比较少见。
如何区分GET请求与POST请求？表面上，我们可以简单地通过浏览器地址栏是否改变来加以区分。
比如说，我们在百度首页输入“挪威的森林”，回车，然后地址栏会跳转到搜索结果的列表页。同时可以看到浏览器的地址栏会发生改变，变成’’ https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=64075107_1_dg&wd=挪威的森林 …… ’’的形式。变化就在于，在最初的url后面会附加相关的字段，通常是以‘?’分割url和请求的数据，各个数据之间用‘&’隔开。这些数据就是你要查询字段的编码。而这个过程，就是典型的GET请求的情况。

百度检索挪威的森林.png

与之对应的POST请求则显得“深藏不露”。它在于你必须通过浏览器输入或提交一些服务器需要的数据，才能给你返回完整的界面，这点其实与GET请求情况有相通之处，但是这个过程浏览器的地址栏是不会发生跳转的。
那POST请求提交的数据是如何传给服务器的呢？大家可以采用一些分析页面的手段来获取上传的数据。实际上，POST请求是将提交的数据放在HTTP包的包体中，这种方式无疑加强了数据的安全性，不像GET请求那样，用户可以通过跳转的url就可以查看出向服务器发送的数据。另外，POST请求除了提交数据外，还可以提交文件，这点也是GET请求做不到的。常见的帐号密码登录过程，就是典型的POST请求。
为了方便的观察数据交流的情况，我们除了使用开发者工具外，还能够用一些软件、插件。比如大名鼎鼎的Fiddler，火狐浏览器的插件HTTPFOX，谷歌浏览器的插件Fiddler。这里以谷歌插件Fiddler（在谷歌商店下载 https://chrome.google.com/webstore/detail/fiddler/hkknfnifmbannmgkdliadghepbneplka?hl=zh-CN ）为例。

一、GET请求（就以在厦大图书馆中检索"挪威的森林"为例）：
首先我们进入厦大图书馆（ http://library.xmu.edu.cn/portal/#&panel1-1 ）：

厦大图书馆首页.png

打开Fiddler，在搜索框中输入“挪威的森林”，然后在Fiddler界面中清除（clear）一下，确保显示的是相关内容，点击图书馆页面的查找：

clear.png

我们可以看到在Fiddler显示的就是我们的浏览器和服务端之间进行的交流啦，属性都是GET。我们点开第一个看一下，在Query Url中我们看到一些和字典很像的东西。

Fiddler显示.png

我们再看一下这时候的url是什么。

url.png

可以看到和上面GET的描述一样，新的url用？把原来的url和一些传送的数据隔开，传送数据之间用&表示。这些数据和Fidder上的数据是一样的，也就是说我们可以通过给服务器传送这些信息来得到检索结果。实际过程中，没有必要每个数据都传送，我们可以自己先“试试”。
比如把新的url删成：

看一下能不能出来正确结果：

好的并不行，那我们再加个数据。

看一下结果：

这回没问题了。
我们还可以对这些数据进行推测，比如pageSize=20，应该表示的是每页显示20条目录，sort=score应该表示分类或排序的方式，这里就不试了。我们知道对q0和sType0进行传送就能达到我们的目的了。那么，好戏开始吧。

（1）使用requests模块：

import requests
#检索网址为厦大图书馆
url = 'http://210.34.4.28/opac/search_adv_result.php'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/55.0.2883.103 Safari/537.36', 'Connection':'keep-alive'}
#创建要传送的关键词以及检索类型
params = {'q0':'挪威的森林', 'sType0':'any'}
response = requests.get(url=url, params=params, headers=headers)
response.encoding = 'utf-8'
html = response.text
print(html)

显示结果为：

检索结果.png

（2）方法二使用urllib模块

import urllib.request
import urllib.parse
#检索网址为厦大图书馆
url = 'http://210.34.4.28/opac/search_adv_result.php'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/55.0.2883.103 Safari/537.36', 'Connection':'keep-alive'}
#创建要传送的关键词以及检索类型
values = {'q0':'挪威的森林', 'sType0':'any'}
#编码工作，将字典转换为字符串的格式
data = urllib.parse.urlencode(value)
#用字符串想加的方式得到新的url
full_url = url + '?' + data
request = urllib.request.Request(url=full_url, headers=headers)
response = urllib.request.urlopen(request).read()
html = response.decode('utf-8')
print(html)

urllib的方法中，新的url还需要用比较麻烦的方式获得，包括调用了parse中的编码模块，手动加？实现字符串拼接。
因此我们能看出requests的便利性。
参考自：
http://www.lining0806.com/2-%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB-get%E8%AF%B7%E6%B1%82%E4%B8%8Epost%E8%AF%B7%E6%B1%82/