学习lxml解析html两小时后总结

总的：

1. from lxml import etree
2. 对html文本使用 etree.HTML(html)解析，得到Element对象

• （报错可以尝试 etree.HTML(html.decode('utf-8'))）
• html文本的获取，比如：request.get(url).text

3. 对Element对象使用xpath筛选，返回一个列表（里面的元素也是Element）。

安装：

我使用的wheel安装，下载

使用说明（给定一个html如下）：

　　
　　　　
　　　　
　　　　
　　　　
　　　　
　　
　　
　　　　
Top News
　　　　
World News only on this page
　　　　Ah, and here's some more text, by the way.
　　　　
... and this is a parsed fragment ...
　　　　青少年发展基金会 
　　　　洛克王国
　　　　奥拉星 
　　　　手机游戏
　　　　手机壁纸
　　　　4399小游戏 
　　　　91wan游戏

　　

1. 解析html：

from lxml import etree
page = etree.HTML(html)

2. 获取标签：

# a标签
tag_a = page.xpath('/html/body/a')
print(tag_a)  
# html 下的 body 下的所有 a
# 结果[, ...]

对于/html/body/a：“/”分隔上下级，最开始是文件本身（而不是html），文件下一级才是html
另外，使用//a效果等价于“html下的所有 a 标签”：
　　因为：中间的“/”等于“descendant::”

“descendant::”前缀可以指代任意多层的中间节点，它也可以被省略成一个“/”

在本例中：因为上面的 html 中，所有 a 都在 body 中，所以：/html/body/a 等价于 /descendant::a等价于//a

3. 获取节点（标签）属性：

for a in tag_a:
    print(a.attrib)    
    # 获取属性： {'target': '_blank', 'rel': 'nofollow', 'href': 'http://www.cydf.org.cn/'}
    print(a.get('href'))
    # 获取某一属性：http://www.cydf.org.cn/
    print(a.text)
    # 获取文本： 青少年发展基金会

4. 利用属性筛选标签

# 直接定位到
Top News
hs = page.xpath('//h1[@class="heading"]')
for h in hs:
    print(h.values())
    print(h.text)
    # 打印结果：
    # ['heading']
    # Top News

上面还可以写作：hs = page.xpath('/html/body/h1[@class="heading"]')
属性还可以写：

@name, @id, @value, @href, @src, @class....

没有属性可以用文本或者位置来筛选：

文本用 text()：hs = page.xpath('/html/body/h1[text()="Top News"]')
位置用 position()：hs = page.xpath('//h1[position()=1]')
对于位置筛选，常常省略，直接用：hs = page.xpath('//h1[1]')

5. 筛选任意标签

*表示任意标签

ts = page.xpath('/*')
for t in ts:
    print(t.tag)
    # 打印:html
    # html是文件的唯一下一级标签

ts = page.xpath('/html/*')
for t in ts:
    print(t.tag)
    # 打印:body
    # body是html的唯一下一级标签

ts = page.xpath('/html//*')
for t in ts:
    print(t.tag)
    # 打印：body、p、meta、title、meta、meta、h1、p等等

获取head里面的标签要特别一点：

比如 ('//html/head/*') 或 ('//html/head/title')

6. 关于preceding-sibling:: 和 following-sibling::：

preceding-sibling::前缀表示同一层的上一个节点。
following-sibling::前缀表示同一层的下一个节点。
following-sibling:: 就是任意下一个节点，而 “following-sibling::u” 就是下一个u节点。
preceding-sibling:: 同理。

sbs = page.xpath('//body//following-sibling::a')
for sb in sbs:
    print(sb.tag)
    # 打印：a a a a a a ...

sbs = page.xpath('//body/h1/following-sibling::*')
for sb in sbs:
    print(sb.tag)
    # h1 下，所有 h1 同级的子节点（标签）
    # 打印：p p a a a a ...

sbs = page.xpath('//body/h1/preceding-sibling::*')
for sb in sbs:
    print(sb.tag)
    # h1 上，所有 h1 同级的子节点（标签）
    # 打印： p、meta、title、meta、meta

7. 关于tail（给定新的html如下）：

    无流量站点清理公告
    

    取不到的内容
    

page = etree.HTML(html)
brs = page.xpath('//br')
for br in brs:
    print(br.text)
    print(br.tail.strip())
    # 打印：
    # None
    # 取不到的内容

主要因为，上面的 html 中“取不到的内容”在两个“/”之间，所以不能用 .text 直接上，要用tail。

tail 的意思是结束节点前面的内容，也就是说在 “br /” 与 “/div” 之间的内容

参考网页：
李少宏·用lxml解析HTML
Marhol·Python+lxml解析html
无风·XPath学习:轴(8)——following-sibling

英文资料（备用吧）：
Elements and Element Trees
lxml - XML and HTML with Python