php dpu,G(eek)DPU | python模拟登录教务系统

一句话介绍：

用程序模拟人登录网页进行成绩查询的行为。

流程

�流程

使用工具

python2.7

pycharm(断点调试)

firefox浏览器(Firebug)

wireshark

基本信息

教务系统有3个服务器，内网ip

10.50.17.1

10.50.17.10

10.50.17.21

IIS

正方教务系统是ASP.NET开发的

firebug查看登录过程

1.登录：

gdpu教学管理系统页面

需要post数据

我们需要post过去的数据：

tbYHM:用户名

tbPSW"密码

TextBox3:验证码

RadioButtonList1：身份选项(学生)

_VIEWSTATE:

tip1:_VIEWSTATE作用？

在当前页面中保存数据的.

像session.是会话级别的.只要会话没有过期.session中存的数据就在.

viewstate是页面级别的.只要这个页面在.viewstate中存的数据就在.

保存了控件的很多状态信息的一个东西，用base64编码在客户端保存，每次提交时，返回到服务器，服务器再解析出这些控件的状态

tip2:

乱码是因为编码问题

1.1验证码处理

识别办法：

自动识别

调用各种高级的库

找验证码识别网站的接口

人工识别

水平有限，所以选择人工识别：

在default.aspx页面源代码中可以找到验证码的链接，然后下载下来

1.2cookie处理

Python提供了一个模块叫做cookielib,我们要构建一个cookie的处理器来存储访问网站所得的cookie

# cookie and opener

studentCookie = cookielib.CookieJar() #创建CookieJar对象，自动管理cookie

#创建pageOpener对象，把cookiejar塞进去，每次打开页面都会自动使用cookie

pageOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor(studentCookie))

1.3字符编码处理

网页编码：gbk编码

python编码：

默认：ascii编码

一般：utf-8编码

我在Linux下用gedit写代码的时候，自动默认成gbk编码了

1.4 _VIEWSTATE处理

可以在default3.aspx页面源码下找到

正则表达式提取__VIEWSTATE

viewstatePattern = re.compile(r'name="__VIEWSTATE" value="(.*?)" /',re.DOTALL)

result=viewstatePattern.search(loginPageHTML)

try:

viewstate = result.group(1)

except:

print 'cannot find the value of viewstate'

2.访问：get&post

2.1get访问

#学生信息页面 get方式访问

xsxxPageURL = loginURL + '/xsxx.aspx?xh=' + loginID[0] + '&xh1=' + loginID[0]

#需要传header和cookie，cookie和default的一样

xsxxPageRequest = urllib2.Request(xsxxPageURL , headers = getxsxxPageHeader)

xsxxPageHTML = pageOpener.open(xsxxPageRequest).read().decode('gbk').encode('utf-8')

get方式最主要是保证header里面的referer别错

2.2post访问

#post访问 ,data

# login 时需要post的数据

postxscjData = {

'__VIEWSTATE':viewstate,

'xn':'',

'xq':'',

'ddlKCLX':'必修课',

'Button3':'按课程类型查询'

}

post访问注意编码问题

3.抓取

3.1编码问题

没什么好说的，注意编码问题

4.解析

得到初始的页面数据

4.1.去掉dirty数据(2次)

原始数据部分截图

#匹配出需要的数据

htmls = re.findall('

(.*?)',htmlss,re.S)

去掉红线部分

while ' ' in goal: #只要有' '就一直继续消除

goal.remove(' ')

然后就能得到一个纯净的数据

4.2.正则表达式匹配

得到纯净数据之后就找下规律，正则匹配+循环 输出数据

print '课程------------分数------------绩点'.decode('gbk').encode('utf-8')

i=0

while i < (len(goal)-13):

print '%s' %goal[i+15],'---------','%s' %goal[i+19],'---------','%s' %goal[i+20]

i+=9

5.效果：

6.tips

6.1 wireshark抓包神器

1.先通过网页端正常完整访问一次，抓包

2.然后这个就是标准包了，接下来运行python脚本的时候，抓包跟标准包比较分析

3.很多时候可以通过返回码：200 302 判断

6.2 需要注意的坑：

1.编码问题

2.请求头里面的referer

3._VIEWSTATE

6.3 代码：

代码写得很烂就不放了，或者等我重构一下吧。。。

6.4 实现方案:

可以使用java,php实现该功能,java大神们有兴趣可以尝试一下~~

欢迎交流~~

仅供学习测试使用~~~

7.参考