python爬虫上教学信息网

1、要用到的库

import urllib

import urllib2

import cookielib

2、cookie

cookie = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

3、表单数据

postdata = urllib.urlencode({

    '__VIEWSTATEGENERATOR':'E7EB4345',

    'txtUserName' : '',      '__EVENTVALIDATION':'/wEWBwL0tccgAqXVsrMJAp37up0OAsjo85cBAtfo85cBAtiH2fkNAoznisYGZM0R7CSpTozhDGzdwmcGVPPr4MA=',

    'txtPwd' : '',

    'rbtnLst' : '1',

    'Button1':'登录'

})

这部分是用火狐抓的

4、提交表单

req = urllib2.Request(url='http://electsys.sjtu.edu.cn/edu/index.aspx',data=postdata)

response = opener.open(req) 

5、选择要什么数据，打印

result = opener.open('http://electsys.sjtu.edu.cn/edu/GradAudit/MyGradList.aspx')

html = result.read()

具体要什么数据可以抓取看看，这里是成绩的那一页