parsel的使用(保姆级别)
如果将xpath和css穿插起来，那是不是可以更灵活呢？
这里我们介绍另一个解析库叫做parsel。
1.介绍
parsel这个库可以解析HTML和XML，并支持使用Xpath和CSS选择器对内容进行提取和修改，同时还融合了正则表达式的提取功能。parsel灵活且强大，同时也是python最流行的爬虫框架Scrapy的底层支持
安装
pip3 install parsel
2.初始化
html = '''
- first item
- second item
- third item
- fourth item
- fifth item
'''
接着，一般我们会用parsel库里的Selector这个类声明一个Selector对象，写法如下：
from parsel import Selector
selector = Selector(text=html)
这样我们就创建一个selector对象,向其传入text参数，内容就是上面的html字符串。
有了这个selector对象之后，我们可以使用css和xpath方法分别传入css选择器和xpath进行内容提取，例如这里我们要提取class包含item-0的节点，写法如下：
items = selector.css('.item-0')
print(len(items), type(items), items)
items2 = selector.xpath('//li[contains(@class, "item-0")]')
print(len(items2), type(items), items2)
结果如下：
3 <class 'parsel.selector.SelectorList'> [<Selector xpath="descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' item-0 ')]" data='first item '>, <Selector xpath="descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' item-0 ')]" data='> , <Selector xpath="descendant-or-self::*[@class and contains(concat(' ', normalize-space(@class), ' '), ' item-0 ')]" data='> ]
3 <class 'parsel.selector.SelectorList'> [<Selector xpath='//li[contains(@class, "item-0")]' data='first item '>, <Selector xpath='//li[contains(@class, "item-0")]' data='> , <Selector xpath='//li[contains(@class, "item-0")]' data='> ]
可以看到两个结果都是selectorList对象，是个可迭代对象。用len方法获取结果的长度都是3.另外返回的节点也是一样的，都是第1、3、5个li节点每个节点都包含html代码。
此时注意看，我们用css选择器提取的节点，输出就是xpath属性而不是css属性，是因为css的背后，我们传入css选择器首先是被转化成xpath，真正用于节点提取的是xpath。其中css选择器转化为xpath的过程是由底层csselect这个库实现的。
3.提取文本
获取提取到li节点的内容：
from parsel import Selector
selector = Selector(text=html)
items = selector.css('.item-0')
for item in items:
text = item.xpath('.//text()').get()
print(text)
这里我们遍历了items变量，并赋值为item，于是这里的item变成了一个selector对象，此时我们调用其css或xpath方法进行内容提取。这里我们用.//text()这个xpath方法提取了当前节点文本内容，此时不调用其他方法则返回的是selector构成的可迭代对象selectorlist。selectorlist中有一个get方法，可以提取。
运行结果如下：
first item
third item
fifth item
我们再看一个实例：
from parsel import Selector
selector = Selector(text=html)
result = selector.xpath('//li[contains(@class,"item-0")]//text()').get()
print(result)
输出结果如下：
first item
准确来说因该是返回3个li对象，而这里get方法仅仅返回了第一个li对象文本，因为get方法只会提取第一个selector对象的结果
如果想获取所有的因该用getall()
from parsel import Selector
selector = Selector(text=html)
result = selector.xpath('//li[contains(@class,"item-0")]//text()').getall()
print(result)
结果如下：
['first item', 'third item', 'fifth item']
此时每一项和selector对象是一一对应的
以上是用xpath获取文本，如果用css获取文本则因该这样写：
from parsel import Selector
selector = Selector(text=html)
result = selector.css(".item-0 *::text").getall()
print(result)
这里用*来提取所有子节点，提取文本需要加上::text最后结果是一样的，
['first item', 'third item', 'fifth item']
4.属性提取
我们要提取第三个li节点内部的a节点的href属性：
from parsel import Selector
selector = Selector(text=html)
result = selector.css(".item-0.active a::attr(href)").get() # css方法
print(result)
result = selector.xpath("//li[contains(@class,'item-0') and contains(@class,'active')]/a/@href").get()
print(result)
运行结果如下：
link3.html
link3.html
5.正则提取
除了css和xpath方法，Selector对象还提供了正则表达式提取方法，我们用一个实例：
from parsel import Selector
selector = Selector(text=html)
result = selector.css(".item-0").re("link.*") # css方法
print(result)
这里先用css方法提取所有class包含item-0的节点，然后使用re方法传入link.*，用来匹配含link的所有结果。
运行结果如下：
['link3.html">third item', 'link5.html">fifth item']
返回的是一个列表
当然，如果在调用css方法时，已经提取进一步的结果了，例如提取了节点的文本值，那么re方法就只会针对节点文本值进行提取：
from parsel import Selector
selector = Selector(text=html)
result = selector.css(".item-0 *::text").re('.*item')
print(result)
运行结果如下：
['first item', 'third item', 'fifth item']
也可以利用re_first方法来提取第一个符合规则的结果：
from parsel import Selector
selector = Selector(text=html)
result = selector.css(".item-0").re_first('(.*?)')
print(result)
结果如下：
third item