python htmllib.HTMLParser处理A标签获取链接和描述
HTMLParser类中有针对HTML标签的相应的函数，通过自定义，重载类中的函数来处理一些标签，函数如下：
HTMLParser.anchor_bgn(href, name, type):#a标签开始的时候被调用，参数是A标签的属性值
HTMLParser.anchor_end() #锚点标签结束的时候处理
HTMLParser.save_bgn():#开始在缓冲区中保存字符数据,通过save_end（）检索存储的数据。save_bgn（）/ save_end（）对可能不能嵌套使用。
HTMLParser.save_end():#结束缓冲字符数据，并返回自前调用save_bgn（）保存所有数据。一个没有前面的调用save_bgn（）调用此方法将引发TypeError异常。
HTMLParser.handle_image(source, alt[, ismap[, align[, width[, height]]]])：调用此方法来处理图像。默认实现只是简单地传递到handle_data（）方法的alt值。
HTMLParser.reset() #重置实例.所有未处理的数据都会丢失.在初始化时自动调用.
HTMLParser.feed(data) #给分析器喂食.在由完整元素构成的情况下工作；不完整数据情况下,会进行缓冲知道更多数据加进来或者 close() 被调用.
HTMLParser.close() #处理所有缓冲数据.这个方法可以被派生类重定义,以便在输入结束后处理额外的事情,重定义的版本也要调用 HTMLParser 基类的 close() 方法.
HTMLParser.getpos() #返回当前行数和列数
HTMLParser.get_starttag_text() #返回最近打开过得开始标记处的文本.通常不会用到
HTMLParser.handle_starttag(tag, attrs) #该方法用来处理一个标记的开始.tag参数是tag的名字的小写化.attrs参数是一个list,由(name,value)组成,反映了<>里面的属性. name会被翻译成小写字母,在value中的引号也被移除了,字符实体引用也会被替换.例如,有个 tag<A HREF=”http://www.cwi.nl/”> ,那么使用该方法就该这么做： handle_starttag('a', [('href','http://www.cwi.nl/')])
HTMLParser.handle_startendtag(tag, attrs) #和handle_starttag()类似,用来处理XHTML风格的空标签(<a .../>).可能被子类重载
HTMLParser.handle_endtag(tag) #该方法用来处理元素结束标记.可以被派生类重载；基类什么也不做. tag参数是tag的name转化来的小写字母.
HTMLParser.handle_data(data) #该方法用来处理随机的数据.
HTMLParser.handle_charref(name) #处理 &#ref 格式的字符引用.
HTMLParser.handle_entityref(name) #处理一般的 &name 格式的实体引用. name 是一个一般的实体引用.
HTMLParser.handle_comment(data) #处理遇到注释的情况.注释参数为在——和——之间的字符串文本,而不是分隔符自身.例如 <!--text--> ,该方法将调用'text'.
HTMLParser.handle_decl(decl) #当分析器遇到SGML声明时调用此方法. decl 参数是 <!...> 标记里的整个内容.
HTMLParser.handle_pi(data) #处理命令, data 参数包含整个的处理命令.例如 <?proc color=’red'> ,该方法应写成 handle_pi("proc color='red'")
下面是处理A标签的例子：
- #!/usr/bin/python
- #encoding='utf-8'
- import htmllib,urllib,formatter,string
- '''''
- import chardet,sys
- type = sys.getdefaultencoding()
- '''
- class GetLinks(htmllib.HTMLParser): #从HTMLParser类中继承
- def __init__(self): #初始化的时候调用，将links设置为空。这里的links为字典结构
- self.links = {} #存放地址->链接的字典
- f = formatter.NullFormatter()#将传输过来的数据不做处理，格式化为数据流
- htmllib.HTMLParser.__init__(self, f)
- def anchor_bgn(self, href, name, type): #锚点标签开始的时候处理
- self.save_bgn()
- self.link = href
- def anchor_end(self): #锚点标签结束的时候处理
- text = string.strip(self.save_end()) #去掉A标签保留A标签的信息
- if self.link and text:
- self.links[text] = self.link#self.links.get(text, []) + [self.link]
- #print self.links
- #exit()
- fp = urllib.urlopen("http://www.baidu.com") #打开指定的URL
- data = fp.read()
- fp.close()
- linkdemo = GetLinks() #实例化一个LinkDemo对象
- linkdemo.feed(data) #给HTMLParser喂食
- linkdemo.close()
- for href, link in linkdemo.links.items(): #打印相关的信息
- print href, "=>", link
输出：
hao123 => http://www.hao123.com
搜索设置 => /gaoji/preferences.html
使用百度前必读 => /duty/
加入百度推广 => http://e.baidu.com/?refer=888
还有个例子:
- #!/usr/bin/python
- #encoding=utf-8
- import HTMLParser
- class MyParser(HTMLParser.HTMLParser):
- def __init__(self):
- HTMLParser.HTMLParser.__init__(self)
- def handle_starttag(self, tag, attrs):
- # 这里重新定义了处理开始标签的函数
- if tag == 'a':
- # 判断标签<a>的属性
- for name,value in attrs:
- if name == 'href':
- print value
- if __name__ == '__main__':
- a = '<html><head><title>test</title><body><a href="http: //www.163.com">链接到163</a><a href="http://www.focus.cn">焦点</a></body></html>'
- my = MyParser()
- # 传入要分析的数据，是html的。
- my.feed(a)