Python 爬虫实现简单例子（爬取某个页面）

Python爬虫最简单实现

#!/usr/bin/env python
#coding=utf-8
import  urllib
import urllib2
def login():
    url = 'https://www.oschina.net/action/user/hash_login'
    values= {'userMail':'[email protected]','userPassword':'123456'}
    headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87Safari/537.36'}
    data = urllib.urlencode(values)
    request = urllib2.Request(url=url,data=data,headers=headers)
    response = urllib2.urlopen(request)
    printresponse.read()
if __name__ == "__main__":
    login()

urllib.urlencode来对输入的数据进行格式化，urllib2.urlopen后面既可以是一个request对象又可以是一个URL的字符串。但是推荐使用的是request对象，因为这样看起来比较清楚，从建立请求传入参数，都是比较清晰的。最后对爬到的网页内容进行输出即可。

note：在上面的程序中加上了header信息，并不是所有的网站都是需要加的，但是有些网站禁止爬虫来爬取这些信息，所以加上这些信息之后我们就可以伪造成浏览器的访问请求了。