最近遇到一个解析html数据得需求,第一个想法做爬虫得肯定有相关得库,因为是基于python开发,所以发现了pyquery这个库。pyquery是基于lxml封装得非常强大灵活得xml和html解析库,api跟jQuery非常类似,对了解jQuery得开发者来说是非常不错得选择。接下就和大家分享一下使用方法(本文基于1.4.0版本编写,如果你是一两年后看到此文,可以参考官网)。
官方文档:http://pyquery.readthedocs.io/en/latest/
github地址:https://github.com/gawel/pyquery
安装:
pip install pyquery
导入:
from pyquery import PyQuery as pq
快速使用:
1、通过字符串加载数据
from pyquery import PyQuery as pq
d = pq("网页标题 you know Python rocks")
2、通过url加载数据,官方文档上需要import urllib ,但实测不加也可以,内部实现已经引入了。
from pyquery import PyQuery as pq
d = pq(url="http://www.baidu.com")
3、通过文件加载数据
from pyquery import PyQuery as pq
d = pq(filename="D:/PycharmProjects/pyquery_test/pyq/login.html")
数据解析:
1、获取指定标签集
from pyquery import PyQuery as pq
d = pq("网页标题 第一个div内部div第二个divPython")
print(d("div"))
输出结果:
2、通过index获取指定的标签
from pyquery import PyQuery as pq
d = pq("网页标题 第一个div内部div第二个divPython")
print(d("div").eq(0))
print(d("div").eq(1))
print(d("div").eq(2))
输出结果:
3、获取指定标签的属性值
from pyquery import PyQuery as pq
d = pq("网页标题 第一个div内部div第二个divPython")
print(d("a").attr("href"))
输出结果:
http://python.org/
4、获取指定标签文本值
from pyquery import PyQuery as pq
d = pq("网页标题 第一个div内部div第二个divPython")
print(d("a").text())
输出结果:
Python
(未完,有时间在写)