urllib的用法

Urllib库是Python中的一个功能强大、用于操作URL，并在做爬虫的时候经常要用到的库。
在我们爬取一个网页的时候,首先要导入一个库
一、发送请求

使用 Urllib 的 request 模块我们可以方便地实现 Request 的发送并得到 Response
1、urlopen()

urllib.request 模块提供了最基本的构造 HTTP 请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理authenticaton（授权验证），redirections（重定向)，cookies（浏览器Cookies）以及其它内容。
我们来感受一下它的强大之处，以 Python 官网为例，我们来把这个网页抓下来：
import urllib.request

response = urllib.request.urlopen('https://www.baidu.com')
print(response.read().decode('utf-8'))

data参数

data 参数是可选的，如果要添加 data，它要是字节流编码格式的内容，即 bytes 类型，通过 bytes() 方法可以进行转化，另外如果传递了这个 data 参数，它的请求方式就不再是 GET 方式请求，而是 POST。

下面请看一下简单的爬取豆瓣网登录页面的代码