第7章 解析HTML和XHTML
理解基本的HTML解析
在用HTMLParser模块解析之前，一般需要定义一个子类HTMLParser.HTMLParser，并添加用来处理不同标签的函数。例子：
#!/usr/bin/env python #-*-coding:utf-8-*- import sys from HTMLParser import HTMLParser class TitleParser(HTMLParser): def __init__(self): self.title='' self.readingtitle=0 HTMLParser.__init__(self)#初始化和重置实例 def handle_starttag(self,tag,attrs): if tag=='title': self.readingtitle=1 def handle_data(self,data): if self.readingtitle: self.title+=data def handle_endtag(self,tag): if tag=='title': self.readingtitle=0 def gettitle(self): return self.title fd=open(sys.argv[1]) tp=TitleParser() tp.feed(fd.read()) print 'Title is:',tp.gettitle() tp.close()
HTMLParser的feed()方法会适当地调用handle_starttag()、handle_data()和handle_endtag()方法。按照我的理解，HTMLParser会解析html文档中的每一层，若遇到的是<...>，则将括号内的内容交给handle_starttag()处理，若是</...>，则交给handle_endtag()处理，若是两者之间的，则交给handle_data()处理。
除此以外，真是的html中会有实体。实体表示正规的字符，例如：&；表示“&”。对于实体的处理会调用handle_entityref()方法。除了实体外，还有字符参考，看上去类似®；这样的字符参考是用来嵌入那些不能打印的字符的。对于字符参考的处理会调用handle_charref()函数处理。
对于HTML代码来说，一个令人讨厌的问题是不均衡的标签。因为在HTML中，有些标签是不要求结束的。而XHTML要求左右的标签必须有结束部分。mxTidy和uTidylib库可以用来自动修复写得不号的HTML代码。例子：
<HTML> <HEAD> <TITLE>Document Title & Intro® </HEAD> <BODY> This is my text. <UL> <LI>First list item <LI>Second list item</LI> <LI>Third list item </BODY> </HTML>
#!/usr/bin/env python
from htmlentitydefs import entitydefs
from HTMLParser import HTMLParser
import sys,re
class TitleParser(HTMLParser):
def __init__(self):
self.taglevels=[]
self.handledtags=['title','ul','li']
self.processing=None
HTMLParser.__init__(self)
def handle_starttag(self,tag,attrs):
if len(self.taglevels) and self.taglevels[-1]==tag:
#Processing a previous version of this tag.Close it out
#and then start a new on this one
self.handle_endtag(tag)
#Note that we're now processing this tag
self.taglevels.append(tag)
if tag in self.handledtags:
self.data=''
self.processing=tag
if tag=='ul':
print 'List started.'
def handle_data(self,data):
if self.processing:
self.data+=data
def handle_endtag(self,tag):
if not tag in self.taglevels:
return
while len(self.taglevels):
starttag=self.taglevels.pop()
if starttag in self.handledtags:
self.finishprocessing(starttag)
if starttag==tag:
break
def cleanse(self):
self.data=re.sub('\s+',' ',self.data)
def finishprocessing(self,tag):
self.cleanse()
if tag=='title' and tag==self.processing:
print 'Document Title:',self.data
elif tag=='ul':
print 'List ended.'
elif tag=='li' and tag==self.processing:
print 'List item:',self.data
self.processing=None
def handle_entityref(self,name):
if entitydefs.has_key(name):
self.handle_data(entitydefs[name])
else:
self.handle_data('&'+name+';')
def handle_charref(self,name):
try:
charnum=int(name)
except ValueError:
return
if charnum<1 or charnum>255:
return
self.handle_data(chr(charnum))
def gettitle(self):
return self.title
fd=open(sys.argv[1])
tp=TitleParser()
tp.feed(fd.read())
在handle_starttag()函数中，无论何时只要出现了一个开始标签，系统就会在self.taglevels中记录下来。若标签是程序处理的三种之一，也会在self.processing设置标记来通知系统开始记录数据。在handle_endtag()中，首先检查在查询中是否存在一个和结束标签对应的起始标签。若没有就会略过。若有就会找到最近的哪个。self.finishprocessing()函数会去掉数据字符串中的空格，并打印除合适的消息。tag==self.processing确保相同的数据不会被使用两次。