一句话介绍：

用程序模拟人登录网页进行成绩查询的行为。

流程

�流程

使用工具

python2.7
pycharm（断点调试）
firefox浏览器(Firebug)
wireshark

基本信息

教务系统有3个服务器，内网ip
- 10.50.17.1
- 10.50.17.10
- 10.50.17.21
IIS
正方教务系统是ASP.NET开发的

firebug查看登录过程

1.登录：

gdpu教学管理系统页面

需要post数据

我们需要post过去的数据：
tbYHM:用户名
tbPSW"密码
TextBox3:验证码
RadioButtonList1：身份选项（学生）
_VIEWSTATE:

tip1:_VIEWSTATE作用？
在当前页面中保存数据的.
像session.是会话级别的.只要会话没有过期.session中存的数据就在.

viewstate是页面级别的.只要这个页面在.viewstate中存的数据就在.

保存了控件的很多状态信息的一个东西，用base64编码在客户端保存，每次提交时，返回到服务器，服务器再解析出这些控件的状态

tip2:
乱码是因为编码问题

1.1验证码处理

识别办法：

自动识别
调用各种高级的库
找验证码识别网站的接口
人工识别

水平有限，所以选择人工识别：
在default.aspx页面源代码中可以找到验证码的链接，然后下载下来

1.2cookie处理

Python提供了一个模块叫做cookielib,我们要构建一个cookie的处理器来存储访问网站所得的cookie

# cookie and opener
studentCookie = cookielib.CookieJar() #创建CookieJar对象，自动管理cookie
#创建pageOpener对象，把cookiejar塞进去，每次打开页面都会自动使用cookie
pageOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor(studentCookie))

1.3字符编码处理

网页编码：gbk编码

python编码：
默认：ascii编码
一般：utf-8编码
我在Linux下用gedit写代码的时候，自动默认成gbk编码了

1.4 _VIEWSTATE处理

可以在default3.aspx页面源码下找到

正则表达式提取__VIEWSTATE

viewstatePattern = re.compile(r'name="__VIEWSTATE" value="(.*?)" /',re.DOTALL)
result=viewstatePattern.search(loginPageHTML)

try:
    viewstate = result.group(1)
except:
    print 'cannot find the value of viewstate'

2.访问：get&post

2.1get访问

#学生信息页面  get方式访问
xsxxPageURL = loginURL + '/xsxx.aspx?xh=' + loginID[0] + '&xh1=' + loginID[0]

#需要传header和cookie，cookie和default的一样
xsxxPageRequest = urllib2.Request(xsxxPageURL , headers = getxsxxPageHeader)
xsxxPageHTML = pageOpener.open(xsxxPageRequest).read().decode('gbk').encode('utf-8')

get方式最主要是保证header里面的referer别错

2.2post访问

#post访问 ,data
# login 时需要post的数据
postxscjData = {
                '__VIEWSTATE':viewstate,
                'xn':'',
                'xq':'',
                'ddlKCLX':'必修课',
                'Button3':'按课程类型查询'
}

post访问注意编码问题

3.抓取

3.1编码问题

没什么好说的，注意编码问题

4.解析

得到初始的页面数据

4.1.去掉dirty数据（2次）

原始数据部分截图

#匹配出需要的数据
htmls = re.findall('(.*?)',htmlss,re.S)

去掉红线部分

while ' ' in goal:  #只要有' '就一直继续消除
        goal.remove(' ')

然后就能得到一个纯净的数据

4.2.正则表达式匹配

得到纯净数据之后就找下规律，正则匹配+循环输出数据

print '课程------------分数------------绩点'.decode('gbk').encode('utf-8')
    i=0
while i < (len(goal)-13):
    print '%s' %goal[i+15],'---------','%s' %goal[i+19],'---------','%s' %goal[i+20]
    i+=9

5.效果：

6.tips

6.1 wireshark抓包神器

1.先通过网页端正常完整访问一次，抓包
2.然后这个就是标准包了，接下来运行python脚本的时候，抓包跟标准包比较分析
3.很多时候可以通过返回码：200 302 判断

6.2 需要注意的坑：

1.编码问题
2.请求头里面的referer
3._VIEWSTATE

6.3 代码：

代码写得很烂就不放了，或者等我重构一下吧。。。

6.4 实现方案:

可以使用java,php实现该功能,java大神们有兴趣可以尝试一下~~
欢迎交流~~

仅供学习测试使用~~~

7.参考

用Python模拟登录正方教务系统并抓取初始网页的一些个人笔记
python爬虫实战之模拟正方教务系统登录查询成绩
python刷课脚本（正方教务系统）
教务系统爬虫

G(eek)DPU | python模拟登录教务系统