Python中网络页面抓取和页面分析

转载本文请以链接形式注明出处。

1.前言

        Python的网络抓取有很多包可以实现，比如：urllib、urllib2、httplib、httplib2。其中httplib、httplib2是专门处理与http相关的；而urllib、urllib2是借助于httplib、httplib2实现的，相当于在httplib、httplib2上又封装了一层来进行处理web数据。而urllib2是urllib的高版本，httplib2是httplib的高版本。

        这里我给出一个学习python库的网址，里面有各种lib库的讲解：http://docs.python.org/library/index.html  。有兴趣的读者可以看一下。

        由于最近在使用httplib2进行网上抓取数据，所以下面对httplib2进行介绍。

2.httplib2

(1)安装      

         httplib2的安装：首先下载python的httplib2的安装包，下载地址为：http://code.google.com/p/httplib2/downloads/list；其次， 在dos窗口下进入httplib2的解压目录，执行命令：python setup.py install  。 即完成安装。

(2)使用讲解

        下面再给出一个httplib2的学习地址，是httplib2的一个wiki，里面有几个httplib2的简单例子：http://code.google.com/p/httplib2/wiki/Examples 。

(a)下面给出第一个httplib2的例子，根据weibo用户的ID，抓取用户相关信息：

         这个例子涉及到cookies的使用，下面简单介绍一下cookies的问题：

         当用户抓取的网页需要登陆时，一般的登录页面只需要用户名和密码，此时我们可以采用username和password的python代码抓取网页。但是当用户频繁的登录抓取时，此时登录页面就需要输入用户名、密码和一个随机数字图片验证，图片验证无法屏蔽掉。此时，我们这里可以采用先获取用户登陆后的cookies，再以http的get请求的方式向用户发送headers（该headers包含用户登陆后的cookies信息），这样就避免了登陆。

        获取cookies的方法我感觉有2种，一种是手工方式：通过fiddler软件来查看，当用户在浏览器里输入请求的网址时，通过fiddler就可以查看用户的http的响应，具体的过程如下面2张图片所示，第一张图片是fiddler查看cookies的header，第二张图是拷贝该header：

       

        第二种获取cookies的方式，可以第一次通过用户名和密码向url发出请求，然后将请求后的response中的headers的cookies保存下来，下次就可以根据cookies去登录该url并获取页面内容。

        好，cookies介绍完毕，咱们回来，下面给出第一个demo（通过cookie登陆获取微博页面，并抓取微博用户信息）：

#!/usr/bin/python
# -*-coding:utf-8 -*-
import httplib2
import urllib2
import re #正则表达式模块

class WeiboClass: #定义一个weibo类

    #获取指定url的网页内容
    def get_content(self,url,headers,id):
        http=httplib2.Http()
        response,content=http.request(url+str(id),'GET',headers=headers)
        #print url+str(id)
        return content.decode('unicode-escape').encode('utf-8')

    #判断weibo的用户是否是企业用户
    def is_company(self,url,headers,id):
        content=self.get_content(url,headers,id)
        title=r'行业'
        company_title=re.compile(title) 
        if company_title.search(content): #使用正则表达式对title进行匹配        
            return 1
        else:
            return 0
        
    #获取用户的weibo信息：ID，主页url，昵称
    def get_info(self, url,headers,id):
        flag=self.is_company(url,headers,id)
        content=self.get_content(url,headers,id)
        if flag==0:  #如果用户是个人用户            
            #print content
            #微博ID
            id_flag=r'\$CONFIG\[\'oid\'\] = \'([0-9].+?)\';'
            id_re=re.compile(id_flag)
            id_regx=id_re.search(content)
            id=id_regx.group(1)
            print id

            #微博url
            url_flag=r'.+?
(.+?)<'
            name_re=re.compile(name_flag,re.S)
            name_regx=name_re.search(content)
            name=name_regx.group(1)
            name=name.decode('utf-8').encode('GBK')
            print name

def main():            
    headers={"cookie":'NSC_wjq_xfjcp.dpn_w3.6_w4=ffffffff0941137b45525d5f4f58455e445a4a423660; SUS=SID-1806453925-1342851885-XD-hgrjc-03210d75ca203f3ad0d57666a05ae49d; SUE=es%3Deabd0a14bc6e6123c5c4d058d9a2c96f%26ev%3Dv1%26es2%3Db50ae59b82b457a1ba54b2b7708fbb5b%26rs0%3DdP4RVYzORRwV64PFw6wRdNGBk0HP47V8C5SXUp%252F7Q9K2RcduYt4ECQbEDNZk%252Bs8GHDpW5wk%252B3%252FmYKP12zIyQbD1bUMd2wNBgdRX45p2rygizXgHMjH%252FFnU53HJFC2OfSvEHZADJkZD%252BTdLHidgoyy4maajVHi%252B%252B1en0zIKIf3mo%253D%26rv%3D0; SUP=cv%3D1%26bt%3D1342851885%26et%3D1342938285%26d%3Dc909%26i%3D4dc3%26us%3D1%26vf%3D0%26vt%3D0%26ac%3D0%26uid%3D1806453925%26user%3Dqipeng.sdsy%2540163.com%26ag%3D4%26name%3Dqipeng.sdsy%2540163.com%26nick%3D%25E4%25B8%2580%25E5%258C%25B9%25E5%259C%25A8%25E8%25B7%25AF%25E4%25B8%258A%25E7%259A%2584%25E9%25A9%25AC%26fmp%3D%26lcp%3D; SSOLoginState=1342851885; ads_ck=1; UOR=hao.360.cn,weibo.com,spr_web_360_hao360_weibo_t001:1342851234578; _olympicMedalsTable=; ULV=1342851891453:53:53:53:3919105774821.296.1342851890484:1342851070843; SinaRot/u/1806453925=25; [email protected]; __utma=182865017.1486634646.1342787238.1342787238.1342787238.1; __utmz=182865017.1342787238.1.1.utmcsr=weibo.com|utmccn=(referral)|utmcmd=referral|utmcct=/u/1806453925; myuid=1806453925; wvr=4; ALF=1343135290; SinaRot/u/1806453925%3Fgid%3D201108260278357557=77; SinaRot/u/1806453925%3Fc%3Dspr_web_360_hao360_weibo_t001=59; _s_tentry=-; Apache=3919105774821.296.1342851890484; SINAGLOBAL=3919105774821.296.1342851890484; BAYEUX_BROWSER=4e70u68yfp1x9xreh4wbcw2jfhs; JSESSI\
ONID=3nvoas5ykh0e'}    
    url='http://weibo.com/'
    print headers
    page = WeiboClass()
    page.get_info(url,headers,1842764911)


if __name__ == "__main__":
    main()

(b)下面给出httplib2的第二个例子

#!/usr/bin/python
# -*-coding:utf-8 -*-
import sys;
import os;
import urllib2;
import httplib2;
import Cookie;
import random;
import re;
import time;
from urllib import urlencode;
import hashlib;
import datetime;
import socket;

#httplib2.debuglevel=1;

def error_log(log):
    sys.stderr.write("%s\n" % (log));

class ErrorCode:
    Succ         = 0;
    Unknown      = -1; # 未知原因

class SimBrowser :
    socket.setdefaulttimeout(10); # 超时限制 10秒
    UserAgent="";
    cookie=None;
    httplink = httplib2.Http();    
    httplink.follow_redirects = False;
    hostname="";    
    def __init__(self, cookie, UserAgent="Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727)"):
        self.cookie = cookie;
        self.UserAgent = UserAgent;        
        
    def gen_cookie_str(self):
        cookiestr = '; '.join(self.cookie.output(attrs=[], header="").split('\r\n'));
        if len(cookiestr) <= 0:
            return "";
        else:
            return cookiestr;
    def prepare_request_header(self, header):
        newheader = {};
        cookiestr = self.gen_cookie_str();
        if len(cookiestr) > 0:
            newheader['Cookie'] = cookiestr;        
        # set agent
        newheader['User-Agent'] = self.UserAgent;
        
        # replace or append user specified values in header
        for key in header.keys():
            newheader[key] = header[key];
        return newheader;

    # maintain cookies
    def maintain_cookie(self, response_header):
        if 'set-cookie' in response_header:
            self.cookie.load(response_header['set-cookie']);            

    def get_redirect_url(self, prevurl, res):
        if 'location' not in res:
            error_log('no location in res');
            return "";

        location = res['location'];
        if len(location) <= 0:
            error_log('location length is zero');
            return "";

        # check location contain fullpath of target
        if location.find("http://") != 0:
            p = re.compile(r"[(http://)]*[.\-_0-9A-Za-z]+");
            m = p.match(prevurl);
            if m != None:                
                host = m.group();
                return host + location;
            else:
                error_log('cannot get host link');
                host = "";
        else:
            return location;

    def request(self, url, method="GET", headers={}, body="", follow_redirects=False): 
        newheaders = self.prepare_request_header(headers);
        newurl = url;
        newbody = body;
        while (True):
            try:
              res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);
              self.maintain_cookie(res);
            except Exception , what:
                try:
                  res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);
                  self.maintain_cookie(res);
                except Exception , what: 
                    try:
                      res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);
                      self.maintain_cookie(res);
                    except Exception , what: # 访问获取 三次 不成功返回失败
                        res='';
                        content='';
                        break;

            # check redirects
            if follow_redirects==False:
                break;
            elif res.status in(300, 301, 302):                
                prevurl = newurl;
                newheaders = self.prepare_request_header({});
                newurl = self.get_redirect_url(prevurl, res);
                body = "";
                method="GET";
                if len(url) > 0:
                    continue;
                else:
                    sys.stderr.write("Error:failed to get redirect location\n");
                    break;
            else:
                break;
        return res, content;
def main():
    cookie = Cookie.SimpleCookie();
    sim = SimBrowser(cookie);
    
    aurl='http://s.weibo.com/weibo/computer&Refer=STopic_box';
    myCookie = ('UOR=,weibo.com,; myuid=1369574593; [email protected]; \
[email protected]; wvr=4; __utma=15428400.565128140.1342666019.13426660\
19.1342666019.1; __utmz=15428400.1342666019.1.1.utmcsr=blog.sina.com.cn|utmccn\
=(referral)|utmcmd=referral|utmcct=/s/blog_84313fa001010n90.html; NSC_wjq_xfjc\
p.dpn_w3.6_w4=ffffffff0941010945525d5f4f58455e445a4a423660; SSOLoginState=1342\
867370; _s_tentry=login.sina.com.cn; Apache=9964875415898.86.1342867464581; UL\
V=1342867464624:7:7:4:9964875415898.86.1342867464581:1342514299919; SUE=es%3D6\
c406ebb66f15ce0e5b852efa908d728%26ev%3Dv1%26es2%3D658950facb6ad8c9c8627639f31a\
61de%26rs0%3Df6AWRRwcy3r7HJ7y1mdnQR5icnbFHj6Qt%252F6Og2%252FaDBwMtLGJbQhanphxu\
EWsXCI1CPdl1yhB%252BHNobWvCmQPmF0xjrJhrvxCWAoiiE7D9cPDXQVOvlQPDsAopv10Un5DDuES\
%252FZcPXtwnaCYnD5hcMAoDinTKgBxbeZ%252FBSiLzvEdQ%253D%26rv%3D0; SUP=cv%3D1%26b\
t%3D1343009147%26et%3D1343095547%26d%3Dc909%26i%3D3d45%26us%3D1%26vf%3D0%26vt%\
3D0%26ac%3D1%26uid%3D1842764911%26user%3Dzhaolianxiang%2540126.com%26ag%3D4%26\
name%3Dzhaolianxiang%2540126.com%26nick%3DSean%26fmp%3D%26lcp%3D2011-12-25%252\
012%253A59%253A36; SUS=SID-1842764911-1343009147-XD-cyk5d-215c6a72f1b3a340c301\
533e2b4ce49d; ALF=1343095212; ads_ck=1; SinaRot/z/zhaolianxiang=44; SINAGLOBAL\
=9964875415898.86.1342867464581; _olympicMedalsTable=; USRHAWB=usrmdins213_206');
    headers={'Cookie':myCookie,'Content-Type':'application/x-www-form-urlencoded'};
#    print "myCookie:",myCookie;
#    body={'path':'GET/material','userid':self.BaiduId,'token':self.token,'params':'{"level":"useracct","fields":["wregion","wbudget","userstat"]}'};
    #以http的方式向aurl发出get请求，同时将http的头headers发送过去
    #这个headers包含了用户的登陆的cookies信息。cookies的获取可以通过fiddler软件来查看。
    res, content = sim.request(aurl,'GET', headers=headers);
    print "res:",res  #输出http的响应response
    #将获取的网页内容先解码，再以utf-8的形式编码
    print "content:",content.decode('unicode-escape').encode('utf-8');
    

if __name__ == "__main__":
    main();        
        

注：上面的两个程序中的cookies均已失效，需要您通过我上面介绍的方法替换cookies中的内容。

(3)总结

使用cookie登陆抓取指定页面，可以像下面这样，这是一个最简洁的代码

#!/usr/bin/python
# coding:utf-8 
import httplib2
import urllib2
import re #正则表达式模块

class PageClass:

    #获取指定url的网页内容
    def get_page(self,url,headers):
        http=httplib2.Http()
        response,content=http.request(url,'GET',headers=headers)
        #return content.decode('unicode-escape').encode('utf-8')
        return content.decode('unicode-escape').encode('utf-8')
        
def main():            
    headers={"cookie":'your cookie'}
    url = 'http://fengchao.baidu.com'
    #print headers
    page = PageClass()
    content = page.get_page(url,headers)
    print content

if __name__ == "__main__":
    main()

只需要输入url和headers就可以抓取到指定的页面。这里需要输入你自己的cookie。上面的代码执行后的结果如下，可以看到我们抓取到了内容：

3.XPath

        将抓取到的页面源码，如何进行解析，一般采用下面三种技术：
        (1)lxml的xpath:基于XML的语义进行解析的(推荐)。
        (2)正则表达式(RE):基于纯文本的处理。
        (3)纯字符串处理(不推荐)

        总结：RE对付简单的页面没有问题，如果页面结构复杂度较高的时候，建议采用xpath，因为此时设计一个合适的RE pattern可能会远比写一个xpath要复杂。

        lxml的下载地址：http://pypi.python.org/pypi/lxml/2.3

       上面介绍的httplib2的2个示例均是通过RE(正则表达式)来进行页面解析的。下面我们介绍XPath来进行页面解析想要的内容。

        XPATH基本上是用一种类似目录树的方法来描述在XML文档中的路径。比如用“/”来作为上下层级间的分隔。第一个“/”表示文档的根节点（注意，不是指文档最外层的tag节点，而是指文档本身）。比如对于一个HTML文件来说，最外层的节点应该是”/html”。同样的，“..”和“.”分别被用来表示父节点和本节点。
        XPATH返回的不一定就是唯一的节点，而是符合条件的所有节点。比如在HTML文档里使用“/html/head/scrpt”就会把head里的所有script节点都取出来。
        为了缩小定位范围，往往还需要增加过滤条件。过滤的方法就是用“[”“]”把过滤条件加上。比如在HTML文档里使用“/html/body/div[@id='main']”，即可取出body里id为main的div节点。其中@id表示属性id，类似的还可以使用如@name, @value, @href, @src, @class….  。

         而函数text()的意思则是取得节点包含的文本。比如：

hello

world

< /div>中，用”div[text()='hello']“即可取得这个div，而world则是p的text()。

          函数position()的意思是取得节点的位置。比如“li[position()=2]”表示取得第二个li节点，它也可以被省略为“li[2]”。

          不过要注意的是数字定位和过滤条件的顺序。比如“ul/li[5][@name='hello']”表示取ul下第五项li，并且其name必须是hello，否则返回空。而如果用“ul/li[@name='hello'][5]”的意思就不同，它表示寻找ul下第五个name为”hello“的li节点。
          此外，“*”可以代替所有的节点名，比如用”/html/body/*/span”可以取出body下第二级的所有span，而不管它上一级是div还是p或是其它什么东东。
而 “descendant::”前缀可以指代任意多层的中间节点，它也可以被省略成一个“/”。比如在整个HTML文档中查找id为“leftmenu”的 div，可以用“/descendant::div[@id='leftmenu']”，也可以简单地使用“ //div[@id='leftmenu']”。
        至于“following-sibling::”前缀就如其名所说，表示同一层的下一个节点。”following-sibling::*”就是任意下一个节点，而“following-sibling::ul”就是下一个ul节点。

        下面给出一个示例，其功能为提取百度首页搜索框上面的导航条的内容：

#该程序是对百度的首页进行分析，并提取出其搜索框上面的导航条
import httplib2
import urllib2
import re
from lxml import etree

def main():
    http = httplib2.Http()
    response,content = http.request("http://www.baidu.com",'GET')
    print "response:",response
    print "content:",content

    tree = etree.HTML(content)

    #上面的注释为要查找的部分html
    #
新闻网页
    #贴吧知道
    #MP3图片
    #视频地图

    #下面开始查找id为nv的p标签下的所有的href值
    hyperlinks = tree.xpath(u'//p[@id="nv"]/a/@href')
    print "hyperlinks:",hyperlinks
    for hyperlink in hyperlinks:
        print "hyperlink:",hyperlink
        
    #查找id为nv的p标签下的所有节点
    a_nodes = tree.xpath(u'//p[@id="nv"]/a')
    print "a_nodes_length:",len(a_nodes)
    for a_node in a_nodes:
        print ":",a_node.text,a_node.attrib['href']
    print "\n"

    #通过正则表达式查找
的标签内容，匹配的内容为正则表达式中的"()"内的内容   
    name_flag='
(.+?)
'
    name_re=re.compile(name_flag,re.S)
    name_regx=name_re.search(content)
    print name_regx
    name=name_regx.group(1)
    print "name:",name
        
if __name__ == "__main__":
    main()

其执行结果为：

下面对其进行分析：

        首先，对www.baidu.com进行http的get请求，然后将相应的页面结果进行分析。这里我使用了3种方式进行页面分析，前2种方式为使用xpath提取，第3种方式为通过正则表达式匹配提取。程序中有详细的注释。

4.HTMLParser

        该模块是用来解析HTML元素的。可以从HTML中筛选出指定的标签。下面给出一个例子，读取百度首页www.baidu.com中的所有链接，并打印出来。

import HTMLParser
import urllib
import sys

#定义HTML解析器
class parseLinks(HTMLParser.HTMLParser):
    #该方法用来处理开始标签的，eg:

    def handle_starttag(self, tag, attrs):
        if tag == 'a':  #如果为标签
            #name为标签的属性名，如href、name、id、onClick等等
            for name,value in attrs:    
                if name == 'href': #这时选择href属性
                    print "name_value: ",value  #href属性的值
                    print "first tag:",self.get_starttag_text() #标签的开始tag
                    print "\n"

if __name__ == "__main__":
    #创建HTML解析器的实例
    lParser = parseLinks()
    #打开HTML文件
    lParser.feed(urllib.urlopen("http://www.baidu.com").read())
    lParser.close()

        但调用feed函数时，会自动调用handle_starttag函数，这里的handle_starttag函数是对原函数的重写。handle_starttag(self,tag,attrs)中的参数tag是标签的名字；参数attrs是一个(name,value)键值对，是通过查找到tag的<>括号来确定的，其中name是tag的<>中的属性名，value是去除引号后的值。

       上面程序的执行结果如下：（下面的结果只是部分的屏幕截图）

5.正则表达式(RE)

      由于上面涉及到很到正则表达式的匹配问题。下面对Python中的RE使用进行简单的演示和说明。下面给出一段，我测试用的code：

import re  
  
text = "JGood is a handsome booy, he is cool, clever, and so on..."  
regex1 = re.match(r"\w*oo\w*", text)  
if regex1:  
    print "regex1:" , regex1
    print "result1:" ,regex1.group(0)  
else:  
    print 'not match'
print "\n"

regex2 = re.compile(r'(\w*oo\w*)')
print "result2:" , regex2.findall(text)
print "\n"

regex3 = re.compile(r'(\w*oo\w*).+?(\w*eve\w*).*')
regex3_result = regex3.search(text)
if regex3_result: 
    print "regex3:", regex3
    print " result3:",regex3_result.group(1)," ",regex3_result.group(2)
else:
    print 'not match'

程序的运行结果：

下面简单的讲解一下：

        regex1是通过match方法进行匹配，match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；regex2是通过findall，查找所有满足的匹配；regex3是通过search匹配整个字符串，直到找到一个匹配。

        对于regex3_result.group(1),regex3_result.group(2)是什么意思呢，我搞了半天才弄明白。group(i)表示匹配的正则表达式"()"中的内容。如regex3_result.group(1)表示匹配的正则表达式中第一个()内的内容，regex3_result.group(2)表示匹配的正则表达式中第二个“()”的对应的字符串。group(0)表示整个表达式。group是从左向右计数的，从1开始。组可以被嵌套。计数的数值可以通过从左到右计算打开的括号数来确定。

再给出一个小例子，一目了然：

#!python
>>> p = re.compile('(a(b)c)d')
>>> m = p.match('abcd')
>>> m.group(0)
'abcd'
>>> m.group(1)
'abc'
>>> m.group(2)
'b'

6.如何判断网络连接

有的软件如果需要访问网络，这时我们就需要定时地检测网络的连接，下面的代码给出了如何检测网络连接：当连接时返回1；当网络断掉时返回0。原理就是通过http去请求网页，如果能够请求到则网络正常，如果请求出现异常则网络断掉。

def check_network():
    import httplib2
    try:
        http = httplib2.Http()
        resp, content = http.request("http://www.baidu.com")
    except:
        return 0
    return 1