爬虫入门6（Lxml与Xpath）

Lxml库的使用：

1.修正HTML代码
from lxml import etree
html=etree.HTML(text) #Lxml库解析数据，为Element对象
result=etree.tostring(html) #此时可以自动修正HTML代码，补齐标签等等

2.读取HTML文件
可以通过pycharm新建HTML文件，然后用代码写网页
读取本地的HTML文件使用parse（）方法
from lxml import etree
html=etree.parse（r"文件路径"）
result=etree.tostring(html,pretty_print=True)

3.解析HTML文件
使用requests获取HTML文件后，村咋子res中
html=etree.HTML(res.text)
result=etree.tostring(html) #实现对其的解析

Xpath语法

xiao ming
man
34
89

1.父节点
每个元素及属性都有一个父节点，在上面的代码中，user元素是name、sex、id及goal元素的父节点。
2.子节点
元素节点可有0个、一个或多个子节点，在上面的代码中，name、sex、id及goal元素都是user元素的子节点。
3.同胞结点
同胞节点拥有相同的父节点，在上面的代码中，name、sex、id及goal元素都是同胞节点
4.先辈结点
先辈节点指某节点的父、父的父节点等，在下面的例子中，name元素的先辈是user元素和user_database元素：


xiao ming
man
34
89


5.后代节点指某个节点的子节点、子节点的子节点等，在下面的例子中，user_database的后代是user、name、sex、id及goal元素：


xiao ming
man
34
89

节点选择

Xpath使用路径表达式在XML文档中选取节点。节点是通过演着路径或者step来选取的，如下表：

image.png

image.png

image.png

作者：OzanShareing
链接：https://www.jianshu.com/p/8e3aff9919d4
來源：
著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

使用技巧

从浏览器上检查寻找，然后复制出xpath路径，这就是某一个的，通过观察对比得到所有的
//*[@id="qiushi_tag_121525160"]/div[1]/a[2]/h2
注意在后面加/text()提取文字信息，然后得到的是一个列表，用切片法得到内容[0]，再用strip（）语法去掉换行符

用xpath爬取多个id信息

可以用：
1.id=selector.xpath('//div/div[1]/a[2]/h2/text()')
for i in id:
print(i.strip())
2.id=selector.xpath('//div[@class="article block untagged mb15 typs_hot"]/div[1]/a[2]/h2/text()')
for i in id:
print(i.strip())

有时候会遇到相同的字符开头的多个标签：

需要的内容1

需要的内容2

需要的内容3

想同时爬取时，不需要构造多个Xpath路径，通过starts-with()便可以获取多个标签内容。
如下：
starts-with()方法
contents = selector.xpath('//li[starts-with(@class,"tag")]/text() ')

string(.)方法
当遇到标签套标签情况时：

需要的内容1

需要的内容2

>
想同时获取文本内容，可以通过string(.)完成：
from lxml import etree

html2 = '''

需要的内容1

需要的内容2

>
'''

selector = etree.HTML(html2)

content1 = selector.xpath('//div[@class="red"]')[0]

content2 = content1.xpath('string(.)')
print(content2)

string(.)方法可用于标签套标签情况