Python爬虫-解析库之pyquery
使用pyquery
- pyquery
- 初始化
- 字符串初始化
- URL初始化
- 文件的初始化
- 基本CSS选择器
- 查找节点
- 子节点
- 父节点
- 兄弟节点
- 遍历
- 获取信息
- 获取属性
- 获取文本
- 节点操作
- addClass和removeClass
- attrr、text和html
- remove()
- 伪类选择器
pyquery
初始化
像Beautiful Soup一样，初始化pyquery的时候，也需要传入HTML文本来初始化一个PyQuery对象。它的初始化方式有多种，比如直接传入字符串，传入URL，传入文件名等待。官方文档：http://pyquery.readthedocs.io 。
字符串初始化
html = '''
- first item
- second item
- third item
- fourth item
- fifth item
'''
from pyquery import PyQuery as pq
doc = pq(html)
print(doc("li"))
运行结果如下：
first item 在这里插入代码片
second item
third item
fourth item
fifth item
首先引入PyQuery对象，取别名pq。然后声明一个长HTML字符串，并将其当作参数传递给PyQuery类，这个就完成了初始化，将初始化的对象传入CSS选择器。
URL初始化
初始化的参数不仅可以以字符串的形式传递，还可以传入网页的URL，此时只需要指定参数为url既可。
from pyquery import PyQuery as pq
doc = pq(url="https://cuiqingcai.com")
#等同于
#import requests
#doc = pq(request.get("https://cuiqingcai.com").text)
print(doc('title'))
运行结果如下：
静觅丨崔庆才的个人博客
说明：PyQuery对象会先请求这个URL，然后用得到的HTML内容完成初始化。
文件的初始化
除了传递URL，还可以传递本地的文件名，此时将参数指定为filename即可。
from pyquery import PyQuery as pq
doc = pq(filename='demo.html')
print(doc('li'))
说明：这里需要有一个本地HTML文件demo.html，其内容是待解析的HTML字符串。这样它会首先读取本地的文件内容，然后用文件内容以字符串的形式传递给PyQuery类来初始化。
基本CSS选择器
html = '''
- first item
- second item
- third item
- fourth item
- fifth item
'''
from pyquery import PyQuery as pq
doc = pq(html)
#先选取id为container的节点，再选取其内部的class为list的节点内部的所有li节点
#注意：container后面有一个空格
print(doc('#container .list li'))
print(type(doc('#container .list li')))
运行结果为：
first item
second item
third item
fourth item
fifth item
查找节点
子节点
查找子节点时，需要用到find()方法，此时传入的参数是CSS选择器。以上面HTML文档为例：
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
print(type(items))
print(items)
#用find()方法查找items中的li节点
lis = items.find('li')
print(type(lis))
print(lis)
运行结果：
- first item
- second item
- third item
- fourth item
- fifth item
first item
second item
third item
fourth item
fifth item
其实find()的查找范围是节点的所有子孙节点，而如果只想查找子节点，可以使用children()方法：
lis = items.children()
print(type(lis))
print(lis)
运行结果：
first item
second item
third item
fourth item
fifth item
如果要筛选所有子节点中符合条件的节点，比如筛选出子节点中class为active的节点，可以向children()方法传入CSS选择器.active。
lis = items.children('.active')
print(lis)
运行结果：
third item
fourth item
父节点
用parent()方法来获取某个节点的父节点，实例：
html = '''
- first item
- second item
- third item
- fourth item
- fifth item
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
container = items.parent()
print(type(container))
print(container)
运行结果：
- first item
- second item
- third item
- fourth item
- fifth item
说明：首先用.list选取class为list的节点，然后调用parent()方法得到其父节点，此父节点是直接父节点，不会再去查找祖先节点。
如果想获取祖先节点，使用parents()方法。
#传入css选择器，筛选出class为wrap的节点
parent = items.parents('.wrap')
print(parent)
兄弟节点
使用siblings()方法。
from pyquery import PyQuery as pq
doc = pq(html)
#上述文档中很显然，class为item-0和active的节点的兄弟节点有4个
#注意：list后面有个空格
li = doc('.list .item-0.active')
print(li.siblings())
#同样，用CSS选择器来筛选出class为active的兄弟节点
print(li.siblings('.active'))
运行结果为：
second item
first item
fourth item
fifth item
fourth item
遍历
从上面程序运行结果可以观察到，pyquery的选择结果可能是多个节点，也可能是单个节点，类型都是PyQuery类型，并没有返回像Beautiful Soup那样的列表。
对于单个节点来说，可以直接打印输出，也可以直接转成字符串。
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
print(str(li))
对于多个节点，就需要遍历来获取了。
from pyquery import PyQuery as pq
doc = pq(html)
lis = doc('li').items()
print(type(lis))
for li in lis:
print(li, type(li))
运行结果为：
first item
second item
third item
fourth item
fifth item
说明：可见，调用items()方法后，会得到一个生成器，遍历一下，就可以逐个得到li节点对象了，类型仍然是PyQuery类型，故还是可以调用前面说的各种方法进行选择。
获取信息
提取到节点后，最终目的当然是提取节点所包含的信息了。比较重要的信息有两类：一类是提取属性，二是提取文本。
获取属性
提取到某个PyQuery类型的节点后，可以调用attr()方法来获取属性：
html = '''
- first item
- second item
- third item
- fourth item
- fifth item
'''
from pyquery import PyQuery as pq
doc = pq(html)
a= doc('.item-0.active a')
print(a, type(a))
print(a.attr('href'))
#也可以通过调用attr属性来获取属性
print(a.attr.href)
运行结果为：
third item
link3.html
link3.html
如果选中的是多个元素，然后调用attr()方法，会发现，返回结果只有一个，只会得到第一个节点的属性。要获取多个节点的属性，就需要上面说的遍历了：
from pyquery import PyQuery as pq
doc = pq(html)
a= doc('a')
for item in a.items():
print(item.attr.href)
获取文本
获取节点之后的另一个主要操作就是获取其内部的文本，此时可以调用text()方法来实现：
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
#忽略节点内部的HTML文本，只返回纯文字内容
print(li.text())
#获取节点内部的HTML文本
print(li.html())
结果为：
third item
third item
third item
如果选择的结果是多个节点，html()方法返回的是第一个li节点的内部HTML文本，而text()则返回了所有的li节点内部的纯文本，中间用一个空格分隔开，即返回结果是一个字符串。
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('li')
print(li.html())
print(li.text())
print(type(li.text()))
运行结果为：
first item
first item second item third item fourth item fifth item
说明：如果得到的结果是多个节点，并且想要获取每个节点的内部HTML文本，则需要遍历每个节点。而text()方法不需要遍历就可以获取，它将所有节点选取文本之后合并成一个字符串。
节点操作
pyquery提供了一系列方法来对节点进行修改，比如为某一个节点添加一个class，移除某个节点等，这些操作有时候会为提取信息带来极大的便利。由于节点操作的方法太多，举几个典型的。除下举例之外，还有很多节点操作的方法，比如append()、empty()和prepend()等方法，它们和jQuery的用法一致，详细用法可以参见官方文档：http://pyquery.readthedocs.io/en/latest/api.html 。
addClass和removeClass
html = '''
- first item
- second item
- third item
- fourth item
- fifth item
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
#移除li节点的active这个class
li.removeClass('active')
print(li)
#添加li节点的active这个class
li.addClass('active')
print(li)
运行结果为：
third item
third item
third item
attrr、text和html
当然除了操作class这个属性外，也可以用attr()方法对属性进行操作。此外，还可以用text()和html()方法来改变节点内部的内容。
html = '''
third item
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.attr('name', 'link')
print(li)
li.text('changed item')
print(li)
li.html('changed item')
print(li)
运行结果：
third item
third item
changed item
changed item
可见：调用attr()方法后，li节点多了一个原本不存在的属性name，其值为link。接着调用text()方法，传入文本后，li节点内部的文本全被改为传入的字符串文本。调用html()方法传入HTML文本后，li节点内部变为传入的HTML文本了。
所以说，attr()方法只传入第一个参数的属性名，则是获取这个属性值；如果传入第二个参数，可以用来修改属性值。text()方法和html()方法如果不传参数，则是获取节点内纯文本和HTML文本；如果传入参数，则进行赋值。
remove()
顾名思义，remove()方法就是移除，它有时会为信息的提取带来非常大的便利。
html = '''
hellp, world
This is a paragraph.
'''
from pyquery import PyQuery as pq
doc = pq(html)
wrap = doc('.wrap')
print(wrap.text())
此时的运行结果为：
hellp, world
This is a paragraph.
如果只想获取hello, world呢？可以使用remove()方法：
wrap.find('p').remove()
print(wrap.text())
此时就能得到想要的结果。
伪类选择器
CSS选择器之所以强大，还有一个重要的原因，是因为它支持多种多样的伪类选择器，比如选择第一个节点、最后一个节点、奇偶数节点、包含某一文本的节点等。示例如下：
html = '''
- first item
- second item
- third item
- fourth item
- fifth item
'''
from pyquery import PyQuery as pq
doc = pq(html)
#选择第一个节点
li = doc('li:first-child')
print(li)
#最后一个节点
li = doc('li:last-child')
print(li)
#第二个节点
li = doc('li:nth-child(2)')
print(li)
#第三个之后的节点
li = doc('li:gt(2)')
print(li)
#奇偶数节点
li = doc('li:nth-child(2n)')
print(li)
#包含second的节点
li = doc('li:contains(second)')
print(li)
输出结果为：
first item
fifth item
second item
fourth item
fifth item
second item
fourth item
second item
这里使用了CSS3的伪类选择器。关于CSS选择器的更多用法，可以参考http://www.w3school.com.cn/css/index.asp 。