Python爬虫之lxml模块
Python爬虫之lxml模块
- 一：lxml模块简介
- 二：xpath常用规则
- 2.1：读取文件解析节点
- 2.2 读取HTML文件进行解析
- 2.3 获取所有节点
- 2.4 获取子节点
- 2.5 获取父节点
- 2.6 属性匹配
- 2.7 文本获取
- 2.8 属性获取
- 2.9 属性多值匹配
- 2.10 多属性匹配
- 2.11 XPath中的运算符
- 2.12 按序选择
- 2.13 节点轴选择
- 三：xpath实例
一：lxml模块简介
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择
XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用
二：xpath常用规则
安装lxml模块：
pip install lxml
| 表达式 | 描述 |
|---|---|
| nodename | 选取此节点的所有子节点 |
| / | 从当前节点选取直接子节点 |
| // | 从当前节点选取子孙节点 |
| . | 选择当前节点 |
| … | 选取当前节点的父节点 |
| @ | 选取属性 |
| * | 通配符，选择所有元素节点与元素名 |
| @* | 选取所有属性 |
| [@attrib=‘value’] | 选取给定属性具有的给定值的所有元素 |
| [@attrib] | 选取具有给定属性的所有元素 |
| [tag] | 选取所有具有指定元素的直接子节点 |
| [tag=‘text’] | 选取所有具有指定元素并且文本内容是text节点 |
| /article/div[1] | 选取属于article子元素的第一个div元素 |
| /article/div[last()] | 选取属于article子元素的最后一个div元素 |
| /article/div[last()-1] | 选取属于article子元素的倒数第二个div元素 |
| //div[@lang] | 选取所有拥有lang属性的div元素 |
| //div[@lang=‘eng’] | 选取所有lang属性为eng的div元素 |
| /div/* | 选取属于div元素的所有子节点 |
| //* | 选取所有元素 |
| //div[@*] | 选取所有带属性的title元素 |
2.1：读取文件解析节点
from lxml import html
etree = html.etree
text='''
'''
html=etree.HTML(text) #初始化生成一个XPath解析对象
result=etree.tostring(html,encoding='utf-8') #解析对象输出代码
print(type(html))
print(type(result))
print(result.decode('utf-8'))
输出结果：
#etree会修复HTML文本节点
<class 'lxml.etree._Element'>
<class 'bytes'>
<html><body><div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0"><a href="link5.html">a属性</a>
</li></ul>
</div>
</body></html> # 自动加上了html,body标签
2.2 读取HTML文件进行解析
html=etree.parse('test.html',etree.HTMLParser()) #指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息
result=etree.tostring(html) #解析成字节
#result=etree.tostringlist(html) #解析成列表
print(type(html))
print(type(result))
print(result)
2.3 获取所有节点
返回一个列表每个元素都是Element类型，所有节点都包含在其中
html=etree.parse('test',etree.HTMLParser())
result=html.xpath('//*') # //代表获取子孙节点，*代表获取所有
# result=html.xpath('//li') # 获取所有子孙节点的li节点
# result=html.xpath('//li[2]]') # 获取所有子孙节点第二个li节点
print(result) # 总是返回一个列表
2.4 获取子节点
通过/或者//即可查找元素的子节点或者子孙节点，如果想选择li节点的所有直接a节点，可以这样使用
result=html.xpath('//li/a') # 通过追加/a选择所有li节点的所有直接a节点，因为//li用于选中所有li节点，/a用于选中li节点的所有直接子节点a
2.5 获取父节点
我们知道通过连续的/或者//可以查找子节点或子孙节点，那么要查找父节点可以使用…来实现也可以使用parent::来获取父节点
from lxml import etree
from lxml.etree import HTMLParser
text='''
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//a[@href="link2.html"]/../@class')
result1=html.xpath('//a[@href="link2.html"]/parent::*/@class')
print(result)
print(result1)
###############################################################
['item-1']
['item-1']
2.6 属性匹配
在选取的时候，我们还可以用@符号进行属性过滤。比如，这里如果要选取class为item-1的li节点，可以这样实现:
text='''
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]')
print(result)
2.7 文本获取
我们用XPath中的text()方法获取节点中的文本
text='''
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]/a/text()') #获取a节点下的内容
result1=html.xpath('//li[@class="item-1"]//text()') #获取li下所有子孙节点的内容
print(result)
print(result1)
2.8 属性获取
使用@符号即可获取节点的属性，如下：获取所有li节点下所有a节点的href属性
result=html.xpath('//li/a/@href') # 获取a的href属性
result=html.xpath('//li//@href') # 获取所有li子孙节点的href属性
2.9 属性多值匹配
如果某个属性的值有多个时，我们可以使用contains()函数来获取
text1='''
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa")]/a/text()')
print(result)
print(result1)
#通过第一种方法没有取到值，通过contains（）就能精确匹配到节点了
[]
['第一个']
2.10 多属性匹配
另外我们还可能遇到一种情况，那就是根据多个属性确定一个节点，这时就需要同时匹配多个属性，此时可用运用and运算符来连接使用：
text1='''
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa" and @name="fore"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa") and @name="fore"]/a/text()')
print(result)
print(result1)
#########################################
['second item']
['second item']
2.11 XPath中的运算符
2.12 按序选择
有时候，我们在选择的时候某些属性可能同时匹配多个节点，但我们只想要其中的某个节点，如第二个节点或者最后一个节点，这时可以利用中括号引入索引的方法获取特定次序的节点：
text1='''
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[contains(@class,"aaa")]/a/text()') #获取所有li节点下a节点的内容
result1=html.xpath('//li[1][contains(@class,"aaa")]/a/text()') #获取第一个
result2=html.xpath('//li[last()][contains(@class,"aaa")]/a/text()') #获取最后一个
result3=html.xpath('//li[position()>2 and position()<4][contains(@class,"aaa")]/a/text()') #获取第一个
result4=html.xpath('//li[last()-2][contains(@class,"aaa")]/a/text()') #获取倒数第三个
print(result)
print(result1)
print(result2)
print(result3)
print(result4)
###########################################
['第一个', '第二个', '第三个', '第四个']
['第一个']
['第四个']
['第三个']
['第二个']
这里使用了last()、position()函数，在XPath中，提供了100多个函数，包括存取、数值、字符串、逻辑、节点、序列等处理功能，它们的具体作用可参考：
http://www.w3school.com.cn/xpath/xpath_functions.asp
2.13 节点轴选择
XPath提供了很多节点选择方法，包括获取子元素、兄弟元素、父元素、祖先元素等，示例如下：
text1='''
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[1]/ancestor::*') #获取所有祖先节点
result1=html.xpath('//li[1]/ancestor::div') #获取div祖先节点
result2=html.xpath('//li[1]/attribute::*') #获取所有属性值
result3=html.xpath('//li[1]/child::*') #获取所有直接子节点
result4=html.xpath('//li[1]/descendant::a') #获取所有子孙节点的a节点
result5=html.xpath('//li[1]/following::*') #获取当前子节之后的所有节点
result6=html.xpath('//li[1]/following-sibling::*') #获取当前节点的所有同级节点
######################
[<Element html at 0x3ca6b960c8>, <Element body at 0x3ca6b96088>, <Element div at 0x3ca6b96188>, <Element ul at 0x3ca6b961c8>]
[<Element div at 0x3ca6b96188>]
['aaa', 'item']
[<Element a at 0x3ca6b96248>]
[<Element a at 0x3ca6b96248>]
[<Element li at 0x3ca6b96308>, <Element a at 0x3ca6b96348>, <Element li at 0x3ca6b96388>, <Element a at 0x3ca6b963c8>, <Element li at 0x3ca6b96408>, <Element a at 0x3ca6b96488>]
[<Element li at 0x3ca6b96308>, <Element li at 0x3ca6b96388>, <Element li at 0x3ca6b96408>]
以上使用的是XPath轴的用法，更多轴的用法可参考：http://www.w3school.com.cn/xpath/xpath_axes.asp
三：xpath实例
基础版：
from lxml import html
from urllib import request
etree = html.etree
def parse_page(url):
headers = {
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)',
}
response = requests.get(url, headers = headers)
text = response.text
html = etree.HTML(text)
imgs = html.xpath("//div[@class='page-content text-center']//img[@class!='gif']")
for img in imgs:
img_url = img.get('data-original') # 获取image标签中的data-original属性值
img_title = img.get('alt') # 获取image标签中的alt属性值
img_title = re.sub(r'[\?？\.，。！!]', '', img_title)
img_suffix = os.path.splitext(img_url)[-1]
filename = img_title + img_suffix
request.urlretrieve(img_url, 'images/' + filename)
def main():
url = 'http://www.doutula.com/photo/list/?page=4'
parse_page(url)
if __name__ == '__main__':
main()
多线程版：
from queue import Queue
import requests
from lxml import html
from urllib import request
import threading
etree = html.etree
class Producer(threading.Thread):
headers = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
def __init__(self, page_queue, image_queue, *args, **kwargs):
super(Producer, self).__init__(*args, **kwargs)
self.page_queue = page_queue
self.image_queue = image_queue
def run(self) -> None:
while True:
if self.page_queue.empty(): break
url = self.page_queue.get() # 队列中的最后一个url
self.parse_page(url)
def parse_page(self, url):
response = requests.get(url, headers=self.headers)
text = response.content.decode()
html = etree.HTML(text)
images = html.xpath("//div[@class='page-content text-center']//img")
for image in images:
image_url = image.get('data-original')
image_name = image_url.split('/')[-1]
# request.urlretrieve(image_url, 'images/%s' % image_name)
self.image_queue.put((image_url, image_name))
class Consumer(threading.Thread):
def __init__(self, page_queue, image_queue, *args, **kwargs):
super(Consumer, self).__init__(*args, **kwargs)
self.page_queue = page_queue
self.image_queue = image_queue
def run(self) -> None:
while True:
if self.image_queue.empty() and self.page_queue.empty():
break
image_url, image_name = self.image_queue.get()
request.urlretrieve(image_url, 'images/%s' % image_name)
print(image_name + ' Downloaded')
def main():
page_queue = Queue(10)
image_queue = Queue(1000)
for x in range(1,10):
url = "https://www.doutula.com/photo/list/?page=%s" % x
page_queue.put(url)
for x in range(5):
t = Producer(page_queue, image_queue)
t.start()
for x in range(5):
t = Consumer(page_queue, image_queue)
t.start()
if __name__ == '__main__':
main()