Python网络爬虫中常用第三方库总结

python对于爬虫的编写已经是相当的友好了，不过除了利用requests库或者scrapy框架之外，有一些库还需要我们知道，以便于我们更熟练、便捷的完成目标数据的爬取，接下来我就总结一下我认为在爬虫中常用的几个库。

一、re

re库是正则表达式库，是regex的缩写，用于从网页源码或者数据文件中提取我们所需的数据，具体使用方法如下：

①闯进过滤字符串的规定，一般用变量regex存储；

②将规则编译：pattern = re.compile(regex)

③使用规则进行查找：content = re.findall(pattern, html)

对于re库来说，最难的便是编写出相应的过滤规则，曾看到过这样一句话：如果一个问题你用了正则，那么就变成了两个问题。  接触过正则的也都知道它确实存在一定的难度性，下面是我对常用的符号用法的总结：

‘*’：匹配前面的子表达式零次或无数次；‘+’：匹配前面的子表达式一次或无数次；

‘.’：匹配除换行符\n以外的任何单字符；‘?‘：匹配前面的子表达式零次或一次；

’^'：匹配输入字符串开始位置；‘$’：匹配输入字符串的结尾位置

‘\w'：匹配字母、数字、下划线；’\d‘：匹配数字；

’\s'：匹配空格；反义：将前面的字母改为大写，即指原义的反义；

‘{n}’：重复n次；‘{n,m}’：重复n到m次；

‘{n, }'：重复n次或更多次；’?<=exp‘：匹配exp后的信息；如 How are you：(?(?<=How).+)

‘(?=exp)’：匹配exp前面的位置，如 How are you doing：(?.+(?=ing)) 这里取ing前所有字符，并定义txt为捕获分组名。

二、json

json是本身是一种存储格式，与python中的字典比较类似。因为我们在爬取时可能直接爬取到json格式数据，或者为方便后面的  使用需要将爬取数据转为json数据。因此学会运用json库，可以更加方便地提取我们所需数据。json中常用操作有：

①dumps：将python对象编码成json字符串。

其中一个参数为ensure_ascii，默认为True，若出现non-ascii字符，则出现\uxxxx，设为False即可。

②loads：用于解码json数据，返回python字段数据类型。

③encode：在转json文件时将文件编码转为utf-8

④decode：用于转为python类型时文件的解码。

三、xpath

同样是数据解析包，得到网页响应后传入xpath表达式，结果返回表达式所对应所有节点列表，如scrapy中：response.xpath()。

extract()：在提取节点中特定数据时后面要加，序列化该节点为unicode字符串并返回列表，后面可跟encode转码。如：

item['workType'] = data.xpath('./td[2]/text()').extract()[0]

xpath提取例子：

①/html/head/title/text()：选择下下