python函数深入浅出 14.urllib.urlopen(url).read()函数详解

1.函数名及其来源

这是python内置的一个网络请求模块，无需安装即可使用
一般来说爬虫更为常用的是requests库。

通常写法如下：

import urllib

response = urllib.request.urlopen('https://www.python.org')
print(response.read())

这里简单解释下我们请求一个网页信息的过程。通常我们使用浏览器请求一个网址的信息，比如www.baidu.com

一：输入网址
那肯定是输入你要访问的网站网址了，俗称url，比如www.baidu.com

二：缓存解析
浏览器获取了这个url，当然就去解析了，它先去缓存当中看看有没有，从 浏览器缓存-系统缓存-路由器缓存 当中查看，如果有从缓存当中显示页面，然后没有那就进行步骤三；

三： 域名解析
在发送http之前，需要进行DNS解析即域名解析。
DNS解析:域名到IP地址的转换过程。域名的解析工作由DNS服务器完成。解析后可以获取域名相应的IP地址

四：tcp连接，三次握手
在域名解析之后，浏览器向服务器发起了http请求，tcp连接，三次握手建立tcp连接。TCP协议是面向连接的，所以在传输数据前必须建立连接

五：服务器收到请求
服务器收到浏览器发送的请求信息，返回一个响应头response header和一个响应体response body。

六：页面渲染
浏览器收到服务器发送的响应头和响应体，进行客户端渲染，生成Dom树、解析css样式、js交互。

这里urllib就模拟了浏览器除了最后页面渲染外其他步骤。

2.函数定义源码及其用法拆解

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

参数说明：

• url:访问的地址，一般不只是地址。

• data:此参数为可选字段，特别要注意的是，如果选择，请求变为post传递方式,其中传递的参数需要转为bytes，如果是我们只需要通过urllib.parse.urlencode转换即可：

• timeout:设置网站的访问超时时间

其他参数：

• context 参数：它必须是 ssl.SSLContext 类型，用来指定 SSL 设置。

• cafile 和 capath 两个参数：是指定CA证书和它的路径，这个在请求 HTTPS 链接时会有用。

• cadefault 参数：现在已经弃用了，默认为 False

Python3中将python2.7的urllib和urllib2两个包合并成了一个urllib库，其主要包括一下模块：

• urllib.request 请求模块

• urllib.error 异常处理模块

• urllib.parse url解析模块

• urllib.robotparser robots.txt解析模块

urlopen返回对象提供方法：

• read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作。

• info()：返回HTTPMessage对象，表示远程服务器返回的头信息。

• getcode()：返回Http状态码。

• geturl()：返回请求的url

爬虫内容较多，此处仅举例请求Python官方网站http://python.org/

import urllib.request
response = urllib.request.urlopen('http://python.org/')
print("查看response的返回类型",type(response))
print("查看响应的信息",response)
print("查看头部信息1",response.info())
print("查看头部信息2",response.getheaders())
print("查看头部的server属性信息",response.getheader("Server"))
print("查看响应的状态信息",response.status)
print("查看响应状态码",response.getcode())
print("查看响应的url地址",response.geturl())
page = response.read()
print("输出网页源码：",page.decode('utf-8'))

3.版本差异

python2中使用urlib2请求

• urllib2.urlopen可以接受一个Request对象或者url，（在接受Request对象时候，并以此可以来设置一个URL
  的headers），urllib.urlopen只接收一个url
• urllib 有urlencode,urllib2没有
  所以python2中两者通常一起使用。

在Python3中包urllib2归入了urllib中，所以要导入urllib.request，并且要把urllib2替换成urllib.request

4.学习建议

实际使用中更多用到更强大的requests库，这个作为基础学习即可。

对基础运行环境有疑问的，推荐参考:python函数深入浅出 0.基础篇