lxml基本使用

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。

XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择

lxml使用流程

lxml 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面简单介绍一下 lxml 库的使用流程：

（1）导入模块

from lxml import etree

（2）创建解析对象
调用etree模块的HTML() 方法来创建HTML解析对象：

parse_html = etree.HTML(html)

HTML()方法能够将HTML标签字符串解析为HTML文件，该方法可以自动修正HTML 文本。

（3）调用xpath表达式
最后使用第二步创建的解析对象调用xpath()方法，完成数据的提取。

r_list = parse_html.xpath('xpath表达式')

xpath常用规则

表达式	描述
nodename	选取此节点的所有子节点
/	从当前节点选取直接子节点
//	从当前节点选取子孙节点
.	选取当前节点
…	选取当前节点的父节点
@	选取属性
*	通配符，选择所有元素节点与元素名
@*	选取所有属性
[@attrib]	选取具有给定属性的所有元素
[@attrib=‘value’]	选取给定属性具有给定值的所有元素
[tag]	选取所有具有指定元素的直接子节点
[tag=‘text’]	选取所有具有指定元素并且文本内容是text节点

下面结合lxml使用流程和xpath常用规则举几个例子，假定我们要处理的HTML代码如下：

<div class="wrapper">
  <a href="www.biancheng.net/product/" id="site">website producta>
  <ul id="sitename">
    <li><a href="http://www.biancheng.net/" title="编程帮">编程a>li>
    <li><a href="http://world.sina.com/" title="新浪娱乐">微博a>li>
    <li><a href="http://www.baidu.com" title="百度">百度贴吧a>li>
    <li><a href="http://www.taobao.com" title="淘宝">天猫淘宝a>li>
    <li><a href="http://www.jd.com/" title="京东">京东购物a>li>
    <li><a href="http://c.bianchneg.net/" title="C语言中文网">编程a>li>
    <li><a href="http://www.360.com" title="360科技">安全卫士a>li>
    <li>视频娱乐a>li>
    <li><a href="http://bzhan.com/" title="b站">年轻娱乐a>li>
    <li><a href="http://hao123.com/" title="浏览器">搜索引擎a>li>
  ul>
div>

（1）提取所有a标签内的文本信息

from lxml import etree
# 创建解析对象
parse_html=etree.HTML(html)
# 书写xpath表达式,提取文本最终使用text()
xpath_bds='//a/text()'
# 提取文本数据，以列表形式输出
r_list=parse_html.xpath(xpath_bds)
# 打印数据列表
print(r_list)

（2）获取所有href的属性值

from lxml import etree
# 创建解析对象
parse_html=etree.HTML(html)
# 书写xpath表达式,提取文本最终使用text()
xpath_bds='//a/@href'
# 提取文本数据，以列表形式输出
r_list=parse_html.xpath(xpath_bds)
# 打印数据列表
print(r_list)

（3）获取ul标签下的li标签下的a标签的href属性值

from lxml import etree
# 创建解析对象
parse_html=etree.HTML(html)
# 书写xpath表达式,提取文本最终使用text()
xpath_bds='//ul[@id="sitename"]/li/a/@href'
# 提取文本数据，以列表形式输出
r_list=parse_html.xpath(xpath_bds)
# 打印数据列表
print(r_list)

案例——爬取某一地区所有企业名称

这里有一个网站：http://m.54114.cn/luoyang/。以洛阳为例，里面按行业列出了该地区所有企业的名称。

通过进入不同的行业内查看，我们能发现他的url是有规律的：
http://m.54114.cn/luoyang/hangye1/、http://m.54114.cn/luoyang/hangye2/、……、一直到huangye20。

在翻看不同页的内容时，我们也发现url是有规律的：比如第二页的url是http://m.54114.cn/luoyang/hangye1_p2/，第三页的最后就是p3，依次类推。虽然第一页没有“_p1”的后缀，但是我们按照此规律进行尝试，发现也可以访问，这就简单了。

点进某一行业的页面，有几个东西是我们感兴趣的。首先就是这个标题。

通过html文档结构，我们能得到其对应的xpath为：//div[@class="list_content"]/div[1]/strong/text()

然后就是这个总页数

总页数是倒数第二个a标签，所以我们能得到其对应的xpath为：//div[@class="pagination2"]/a[last()-1]/@title。

最后就是我们关心的企业名称

xpath为：//div[@class="list_content"]/div[3]/ul/li/a/text()

最后得到总的爬取脚本：

import requests
from lxml import etree

# url = 'http://m.54114.cn/luoyang/hangye12_p1/'
headers = {
    'User-ASgent':
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0',
    'Host': 'm.54114.cn',
    'Cookie': 'ZDEDebuggerPresent=php,phtml,php3'
}


def get_content(url, xpath):
    response = requests.get(url, headers=headers)
    tree = etree.HTML(response.text)
    target = tree.xpath(xpath)
    return target


for i in range(1, 21):
    url = f'http://m.54114.cn/luoyang/hangye{i}_p1/'
    response = requests.get(url, headers=headers)
    tree = etree.HTML(response.text)
    filename = tree.xpath(
        '//div[@class="list_content"]/div[1]/strong/text()')[0]
    pages = tree.xpath('//div[@class="pagination2"]/a[last()-1]/@title')
    if len(pages) == 0:
        continue
    pages = int(pages[0][1:-1])
    file = open('./luoyang/' + filename + '.txt', 'w')
    for j in range(1, pages + 1):
        url = f'http://m.54114.cn/luoyang/hangye{i}_p{j}/'
        xpath = '//div[@class="list_content"]/div[3]/ul/li/a/text()'
        names = get_content(url, xpath)
        for name in names:
            file.write(name + '\n')
    file.close()

执行完的效果如下