Python3 爬虫入门（一）

发现了很多很不错的关于Python、关于爬虫的博客和书籍。列举如下，之后如果发现更好的，我也会补充上去。另外，因为爬虫用到的很多知识我之前都有过涉猎，所以有的地方我懂的话笔记里就会一笔带过，资料整理如下：

• Full Speed Python， 这本书很适合给有编程基础的人入门，它包含了Python基本的语法和对应的习题，快速刷一遍能很快对Python有个了解。
• Python 3 教程，菜鸟教程也很错，目录分的很细，很浅显也有对应的例子。

读完这两篇文档后，我仍然推荐找一本专门讲Python的书，在继续学习其他内容时抽空将其慢慢读一遍，因为对于Python语言，上述两项只能说讲了一些皮毛，而很多Python的特性以及编程技巧需要通过大量的系统化阅读和练习才能做到信手拈来，再者才能有所创新。

• Python3网络爬虫系列， 这个是我个人很推荐也是我即将照着学习的Python 爬虫入门教程，本文剩下的内容就是这系列的学习笔记。
• 爬虫代理服务， 爬虫进阶。
• Python程序员, Python进阶，该作者还有列出了一个爬虫进阶需要的资料，可以关注他的公众号获得。

当然还有万法之宗——Python3.6.5官方文档，以及其他零零碎碎搜索得到的资料就不赘述了。祝大家好运。

爬虫和Urllib库

安装pip（pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能）

网络爬虫的定义

网络爬虫，也叫网络蜘蛛(Web Spider)，如果把互联网比喻成一个蜘蛛网，Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的，也就是URL。举一个简单的例子，我们在浏览器的地址栏中输入的字符串就是URL，例如：https://www.baidu.com
URL就是同意资源定位符(Uniform Resource Locator)，它的一般格式如下(带方括号[]的为可选项)：
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
URL的格式由三部分组成：

1. protocol：第一部分就是协议，例如百度使用的就是https协议；
2. hostname[:port]：第二部分就是主机名(还有端口号为可选参数)，一般网站默认的端口号为80，例如百度的主机名就是www.baidu.com，这个就是服务器的地址;
3. path：第三部分就是主机资源的具体地址，如目录和文件名等。
   网络爬虫就是根据这个URL来获取网页信息的。

在Python3.x中，我们可以使用urlib这个组件抓取网页，urllib是一个URL处理包，这个包中集合了一些处理URL的模块，如下：

• 1.urllib.request模块是用来打开和读取URLs的；

• 2.urllib.error模块包含一些有urllib.request产生的错误，可以使用try进行捕捉处理；

• 3.urllib.parse模块包含了一些解析URLs的方法；

• 4.urllib.robotparser模块用来解析robots.txt文本文件.它提供了一个单独的RobotFileParser类，通过该类提供的can_fetch()方法测试爬虫是否可以下载一个页面。

我们使用urllib.request.urlopen()这个接口函数就可以很轻松的打开一个网站，读取并打印信息。

先来个简单的

from urllib import request
import chardet #第三方库chardet，它是用来判断编码的模块

# 构建Request
req = request.Request("https://www.guancha.cn/")

# 访问页面，并获取从服务器的回应，如果是HTTPS？
response = request.urlopen(req)
print (response.geturl() + '\n')
print (response.info())
print (response.getcode())

# 读取页面
html = response.read()

# 检测页面使用的编码
charset = chardet.detect(html)

# 解码：获得易于阅读的网页源码
html = html.decode(charset['encoding'])

结果：

C:\ProgramData\Anaconda3\python.exe "E:/大数据/hello world/urllib_test01.py"
https://www.guancha.cn/

Server: NWSs
Date: Sat, 23 Feb 2019 09:20:55 GMT
Content-Type: text/html
Content-Length: 239077
Connection: close
Cache-Control: max-age=60
Expires: Sat, 23 Feb 2019 09:21:54 GMT
Last-Modified: Sat, 23 Feb 2019 09:15:02 GMT
X-NWS-UUID-VERIFY: 94fe1429e739790b6f8a8475338d4874
X-NWS-LOG-UUID: b7c2b4e0-b930-4fa2-abcb-14d9b78a1337
X-Cache-Lookup: Hit From Disktank3
X-Daa-Tunnel: hop_count=2
X-Cache-Lookup: Hit From Inner Cluster
X-Cache-Lookup: Hit From Upstream


200

Process finished with exit code 0

这个程序中最后的html变量存储了目标网页的源代码打，经过浏览器解析，它就会呈现出你在日常生活中常见的网页。除此之外，关于网页的META标签和HTTP协议的状态码，就不赘述了，有兴趣的话可以读一下HTTP协议的RFC文档: RFC 2616 - Hypertext Transfer Protocol -- HTTP/1.1 - IETF Tools，相信我，通读之后会觉得神清气爽。这可算是爬虫界的Hello World程序了。