python导入urllib request_Python爬虫学习笔记（一）——urllib库的使用

前言

我买了崔庆才的《Python3网络爬虫开发实战》，趁着短学期，准备系统地学习下网络爬虫。在学习这本书的同时，通过博客摘录并总结知识点，同时也督促自己每日学习。本书第一章是开发环境的配置，介绍了爬虫相关的各种库以及如何安装，这里就跳过了。第二章是爬虫基础，都是些基本知识点，也跳过。从第三章开始认真记录学习路径。

urllib库的使用

urllib库是python内置的HTTP请求库，包含四个模块，接下来我将分别记录四大模块的功能和应用

request模块

它是最基本的HTTP请求模块，可以用来模拟发送请求

一、urlopen()方法

这个方法可以发起最基本的请求，同时带有处理授权验证、重定向、浏览器Cookies等内容的功能。

关于返回的对象，可以先看看下面的代码。

import urllib.request

response = urllib.request.urlopen("http://www.python.org")

print(response.status)

print(response.getheaders())

print(response.read())

上面代码中的response是一个HTTPResponse类型的对象，主要包含read()、readinto()、getheader(name)、getheaders()、fileno()等方法，以及msg、version、status、reason、debuglevel、closed等属性。基本上如同字面能理解方法和属性的含义，其中常用的几个再提一下。read()方法可以得到返回的网页内容，status属性可以得到状态