PyQuery解析器

  • 官方文档:https://pythonhosted.org/pyquery/index.html#
  • 中文教程:http://www.geoinformatics.cn/lab/pyquery/

前言 Python关于爬虫的库挺多的,也各有所长。了解前端的也都知道, jQuery 能够通过选择器精确定位 DOM 树中的目标并进行操作,所以我想如果能用 jQuery 去爬网页那就 cool 了。 Python 有没有与 DOM 相关的库什么的?—— PyQuery

PyQuery简介

pyquery相当于jQuery的python实现,可以用于解析HTML网页等。它的语法与jQuery几乎完全相同,对于使用过jQuery的人来说很熟悉,也很好上手。 引用作者的原话就是:

“The API is as much as possible the similar to jquery.” 。

安装

pip3 install pyquery

  • pyquery 依赖于 lxml ,要先安装 lxml ,否则会提示失败。

pip3 install lxml

初始化 有 4 种方法可以进行初始化: 可以通过传入 字符串、lxml、文件 或者 url 来使用PyQuery。

from pyquery import PyQuery as pq
from lxml import etree

d = pq("")#传入字符串
d = pq(etree.fromstring(""))#传入lxml
d = pq(url='http://google.com/') #传入url
d = pq(filename=path_to_html_file) #传入文件
现在,d 就像 jQuery 中的 $ 一样了。

示例 通过一个简单的例子快速熟悉 pyquery 的用法,传入文件 example.html,内容如下:

first section 1111 17-01-28 22:51 second section 2222 17-01-28 22:53

python代码:

PyQuery解析器_第1张图片
image.png

1、.html()和.text() 获取相应的 HTML 块或者文本内容,

p=pq("Hello World!")

print (p('head').html())# 获取相应的 HTML 块
print (p('head').text())# 获取相应的文本内容

'''输出:
hello Word
Hello World!
'''

2、.('selector'):通过选择器来获取目标内容,

d = pq("

test 1

test 2

") print (d('div').html())# 获取
元素内的 HTML 块 print (d('#item-0').text())# 获取 id 为 item-0 的元素内的文本内容 print (d('.item-1').text())# 获取 class 为 item-1 的元素的文本内容 '''输出:

test 1

test 2

test 1 test 2 '''

3、.eq(index):根据索引号获取指定元素(index 从 0 开始),

d = pq("

test 1

test 2

") print (d('p').eq(1).text())# 获取第二个 p 元素的文本内容, '''输出 test 2 '''

4、.find():查找嵌套元素,

d = pq("

test 1

test 2

") print d('div').find('p') # 查找
内的 p 元素 print d('div').find('p').eq(0) # 查找
内的 p 元素,输出第一个 p 元素 '''输出:

test 1

test 2

test 1

'''

5、.filter():根据 class、id 筛选指定元素,

d = pq("

test 1

test 2

") print d('p').filter('.item-1') # 查找 class 为 item-1 的 p 元素 print d('p').filter('#item-0') # 查找 id 为 item-0 的 p 元素 '''输出:

test 2

test 1

'''

6、.attr():获取、修改属性值,

d = pq("

test 1

test 2

") print d('p').attr('id') # 获取

标签的属性 id print d('a').attr('class','new')# 修改 标签的 class 属性为 new '''输出: item-0 test 2 '''

7、其他操作:

.addClass(value):添加 class;
.hasClass(name):判断是否包含指定的 class,返回 True 或 False;
.children():获取子元素;
.parents():获取父元素;
.next():获取下一个元素;
.nextAll():获取后面全部元素块;
.not_('.selector'):获取所有不匹配该选择器的元素;
for i in d.items('li'):
    print i.text():遍历 d 中的 li 元素

你可能感兴趣的:(PyQuery解析器)