1121|itertools, HTMLParser

http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143200162233153835cfdd1a541a18ddc15059e3ddeec000

使用HTMLParser 解析html

python里面的HTMLParser解析html，跟c++和其他语言的html库解析不同，是使用类继承的方式。

通过重实现HTMLParser类的几个函数，来达到解析html的目的。

主要的重载的函数有：

handle_starttag #开始标签的解析( <>)
handle_endtag #结束标签的解析()
handle_data #标签内数据的解析

from html.parser import HTMLParser
 
class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Encountered a start tag:", tag)
    def handle_endtag(self, tag):
        print("Encountered an end tag :", tag)
    def handle_data(self, data):
        print("Encountered some data  :", data)
 
parser = MyHTMLParser()
parser.feed(''
            '
Parse me!
')

HTMLParser含有的方法分为两类,一类是需要显式调用的,而另一类不需显示调用.

不需显式调用的方法

下面的这些函数在解析的过程中会触发,但是默认情况下不会产生任何副作用,因而我们要根据自己的需求重载.

1.HTMLParser.handle_starttag(tag,attrs):
解析时遇到开始标签调用,如

,参数tag是标签名,这里是'p',attrs为标签所有属性(name,value)列表,这里是[('class','para')]

2.HTMLParser.handle_endtag(tag): 遇到结束标签时调用,tag是标签名
3.HTMLPars.handle_data(data): 遇到标签中间的内容时调用,如,参数data为开闭标签间的内容.值得注意的是在形如

...

的位置,并不会在div处调用,而是只在p处调用
当然还有其他函数,这里不做介绍