挖坑中....urlencode

爬虫的时候遇到了urlencode，urldecode的问题，用下面函数，可以把 汉字 urlencode

def my_urlencode(str):
    key = str;
    mass = {}
    mass["key"] = key
    params = urlencode(mass)
    return params

 

使用fiddler可以对浏览器进行抓包分析，获得get，post的信息。

 

在爬写字楼时候，遇到了404错误，换代理也无法解决，检查后设置上cookie，使问题得到解决，cookie设置方法如下：

    import cookielib
    cookie = cookielib.CookieJar()
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
    urllib2.install_opener(opener )

 

其实用 urllib 也可以完成这项内容。