urllib库基本使用
urlopen
# 导入urllib库
import urllib.request
# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen("http://www.baidu.com/")
# read 方法读出响应的内容，返回字符串
print(response.read().decode("utf-8"))
实际上，如果我们在浏览器上打开百度主页， 右键选择“查看源代码”，你会发现，跟我们刚才打印出来的是一模一样。也就是说，上面的4行代码就已经帮我们把百度的首页的全部代码爬了下来。
Request
urlopen()的参数有url地址，data参数，timeout参数，但是如果需要执行更复杂的操作，比如增加HTTP报头，必须创建一个 Request 实例来作为urlopen()的参数；而需要访问的url地址则作为 Request 实例的参数。
# 导入urllib库
import urllib.request
# url 作为Request()方法的参数，构造并返回一个Request对象
request = urllib.request.Request("http://www.baidu.com/")
# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen(request)
# read 方法读出响应的内容，返回字符串
print(response.read().decode("utf-8"))
运行结果和上面是完全一样的
新建Request实例，除了必须要有 url 参数之外，还可以设置另外两个参数：
- data(默认为空) ： 是伴随url要提交的数据（比如post的数据）
- headers（默认空）：是以字典的形式，包含要发送给HTTP报头的键值对
Uesr-Agent
我们用一个合法的身份去请求别人网站，所以我们就应该给我们的这个代码加上一个身份，就是所谓的User-Agent头。
# 导入urllib库
import urllib.request
headers = {
"User-Agent":
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"
}
# url 作为Request()方法的参数，附带User-Agent构造并返回一个Request对象
request = urllib.request.Request("http://www.baidu.com/", headers=headers)
# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen(request)
# read 方法读出响应的内容，返回字符串
print(response.read().decode("utf-8"))
添加更多的heade信息
可以通过调用Request.add_header()添加或修改一个特定的header，也可以用Request.get_header()来查看已有的header。
- 添加特定的header
# 导入urllib库
import urllib.request
headers = {
"User-Agent":
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"
}
# url 作为Request()方法的参数，附带User-Agent构造并返回一个Request对象
request = urllib.request.Request("http://www.baidu.com/", headers=headers)
# 修改headers
request.add_header("Connection", "keep-alive")
# 获得User_Agent
print(request.get_header("Connection"))
# 注意只有第一个字母大写
# print(request.get_header(header_name="User-agent"))
# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen(request)
# 打印状态码
print(response.code)
输出结果如下
keep-alive
200
[Done] exited with code=0 in 0.55 seconds
get和post 方法
发送get请求时，需要将字符编码，编码工作使用urllib。parse的urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串。解码工作可以使用urllib。parse的unquote()函数
# ipython中的测试结果
In [1]: import urllib.parse
In [2]: data = {"wd" : "python"}
In [3]: urllib.parse.urlencode(data)
Out[3]: 'wd=python'
In [4]: data1 = {"wd" : "你好世界"}
In [5]: urllib.parse.urlencode(data1)
Out[5]: 'wd=%E4%BD%A0%E5%A5%BD%E4%B8%96%E7%95%8C'
In [6]: print(urllib.parse.unquote('wd=%E4%BD%A0%E5%A5%BD%E4%B8%96%E7%95%8C')
...: )
wd=你好世界
get方式
GET请求一般用于我们向服务器获取数据，比如说，我们用百度搜索清华大学：https://www.baidu.com/s?wd=清华大学
https://www.baidu.com/s?wd=%E6%B8%85%E5%8D%8E%E5%A4%A7%E5%AD%A6)
在其中我们可以看到在请求部分里，http://www.baidu.com/s? 之后出现一个长长的字符串，其中就包含我们要查询的关键词清华大学，于是我们可以尝试用默认的Get方式来发送请求
# 导入urllib库
import urllib.request
import urllib.parse
headers = {
"User-Agent":
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"
}
url = "http://www.baidu.com/s?"
word = {"wd": "清华大学"}
# urlencode 编码
word = urllib.parse.urlencode(word)
# 拼接完整的url
fullurl = url + word
request = urllib.request.Request(fullurl, headers=headers)
# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen(request)
# 打印返回内容
print(response.read().decode("utf-8"))
- 部分返回结果
清华大学_百度搜索
小事例 爬取贴吧页面数据
随便打开一个贴吧，比如知乎吧，可以发现
第一页的网址：http://tieba.baidu.com/f?kw=%E7%9F%A5%E4%B9%8E&ie=utf-8&pn=0
第二页的网址：http://tieba.baidu.com/f?kw=%E7%9F%A5%E4%B9%8E&ie=utf-8&pn=50
第三页的网址：http://tieba.baidu.com/f?kw=%E7%9F%A5%E4%B9%8E&ie=utf-8&pn=100
有所变化的仅仅是后面的pn的值（0>>50>>100）,所以只需改变pn值即可爬取每一页
- 提示用户输入要爬取的贴吧名，并用urllib.parse.urlencode()进行转码，然后组合url.
# 导入urllib库
import urllib.request
import urllib.parse
def tiebaSpider(url, page):
headers = {
"User-Agent":
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"
}
request = urllib.request.Request(url, headers=headers)
# 指定的url发送请求，返回服务器响应的对象
response = urllib.request.urlopen(request)
# 打印返回内容
print(response.read().decode("utf-8"))
'''
# 可以把每一页的内容记录下来
filename = str(page) + ".html"
with open(fielname, 'w', encoding="utf-8") as f:
f.write(response.read().decode("utf-8"))
'''
def startWorking():
# 一个完整的url的地址：http://tieba.baidu.com/f?kw=%E7%9F%A5%E4%B9%8E&ie=utf-8&pn=50
url = "http://tieba.baidu.com/f?"
wd = input("请输入要爬去的贴吧：")
start = int(input("请输入爬取起始页："))
end = int(input("请输入爬取结束页："))
word = {"kw": wd}
# urlencode 编码
word = urllib.parse.urlencode(word)
# 每一页的pn值不同，要改变pn的值
for page in range(start, end + 1):
fullurl = url + word + '&ie=utf-8&pn=' + str((page - 1) * 50)
tiebaSpider(fullurl, page)
if __name__ == "__main__":
startWorking()