python抓取网页（一）--获得网页链接

 抓取了网页之后，对HTML的解析，常用的是：SGMLParser、HTMLParser、BeautifulSoup。。

 

1>用urllib2/sgmllib包，将目标网页的所有URL列出

 

import urllib2
from sgmllib import SGMLParser #SGMLParser,其作用相当于一个解析器.解析HTML的开始与结束标记.

class URLLister(SGMLParser):#对各片段进行处理的类 URLLister

    def reset(self):                           
        SGMLParser.reset(self)
        self.urls = []

    def start_a(self, attrs):                   
        href = [v for k, v in attrs if k=='href']
        if href:
            self.urls.extend(href)

f = urllib2.urlopen("http://www.baidu.com/")

if f.code == 200:
    parser = URLLister()
    parser.feed(f.read())#把HTML文件传给解析器
    f.close()
    for url in parser.urls:
        print url

 

 

2> HTMLParser是Python自带的模块，使用简单，能够很容易的实现HTML文件的分析。

 

HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以handler_开头的函数即可。这几个函数包括：

handle_startendtag  处理开始标签和结束标签

handle_starttag     处理开始标签，比如

handle_endtag       处理结束标签，比如

handle_charref      处理特殊字符串，就是以&#开头的，一般是内码表示的字符

handle_entityref    处理一些特殊字符，以&开头的，比如  

handle_data         处理数据，就是data中间的那些数据

handle_comment      处理注释

handle_decl         处理

handle_pi           处理形如的东西

 

抽取了html中的所有链接：

from HTMLParser import HTMLParser
 
class MyHTMLParser(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self.links = []
 
    def handle_starttag(self, tag, attrs):
        # 这里重新定义了处理开始标签的函数
        if tag == "a":# 判断标签的属性
            if len(attrs) == 0: pass
            else:
                for (variable, value)  in attrs:
                    if variable == "href":
                        self.links.append(value)
 
if __name__ == "__main__":
    html_code = """
    google.com
    PythonClub
    Sina
    """
    hp = MyHTMLParser()
    hp.feed(html_code)
    hp.close()
    print(hp.links)