设计python版的爬虫

准备工作
安装Python2.5

安装easy_install，pycurl，lxml；建议使用firefox浏览器，可以方便的使用各
种调试插件。

基本知识
需要了解python中unicode的原理，以便掌握GBK和UTF-8的转换方法.

假设content是GBK编码，在python中，转换成UTF-8的方法如下：

Content=Content.decode(‘gbk’).encode(‘utf-8’)


3  专业技能

需要熟练掌握xpath，强烈推荐在信息抽取时使用xpath，这是一种基于文档结构
的方法。优于使用正则表达式。正则表达式是一种字符串匹配的方法，难于维
护。经常用到的xpath很少，比如抽取页面里的全部链接 “//a” 就好了，可以
用它把程序写的很优雅，易于维护。Lxml是python实现的高效的xml解析工具，易
于使用，示例如下：

建立DOM : dom=lxml.html.document_fromstring(content)
得到符合XPATH的元素列表：alist=dom.xpath(“//a[@id=’123’]”)
对这些元素做处理：
For a in alist:
   Do something

   需要指出的是，传入lxml.html.document_fromstring的content最好是
unicode的， 因此可以先做一个变换content=content.decode(‘encoding’)。

   和服务器交互，推荐使用pycurl,这个部分已经封装好了，只要使用就可以
了。

def get_curl(user_agent="MSIE"):
    "initialize curl handle"
    dev_null = _StringIO.StringIO()
    curl_handle = pycurl.Curl()
    curl_handle.setopt(pycurl.FOLLOWLOCATION, 1)
    curl_handle.setopt(pycurl.MAXREDIRS, 5)
    curl_handle.setopt(pycurl.CONNECTTIMEOUT, connection_timeout)
    curl_handle.setopt(pycurl.TIMEOUT, timeout)
    curl_handle.setopt(pycurl.NOSIGNAL, 1)
    curl_handle.setopt(pycurl.LOW_SPEED_LIMIT, 100)
    curl_handle.setopt(pycurl.LOW_SPEED_TIME, low_speed_time)
    curl_handle.setopt(pycurl.HTTPHEADER, ["User-Agent: %s" %
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)",
accept_type])
    curl_handle.setopt(pycurl.MAXFILESIZE, max_size)
    curl_handle.setopt(pycurl.COOKIEFILE, 'cookies.txt')
    curl_handle.setopt(pycurl.COOKIEJAR, 'cookies.txt')
    curl_handle.setopt(pycurl.WRITEFUNCTION, dev_null.write)
   
    return curl_handle


def curl_fetch(curl_handle, url):
   
    fp = _StringIO.StringIO()
    curl_handle.setopt(pycurl.URL, url)
    curl_handle.setopt(pycurl.WRITEFUNCTION, fp.write)
   
    # perform the transfer
    try:
        curl_handle.perform()
    except pycurl.error, e:
        print e
        return (-1,0,0)
    content_type = curl_handle.getinfo(pycurl.CONTENT_TYPE)
    return (curl_handle.getinfo(pycurl.HTTP_CODE),fp.getvalue(),
content_type)