Python_模拟登录（爬取教务系统信息并制作查询界面）

采用模块：
（1）urllib，urllib2，cookielib，BeautifulSoup
（2）wx，py2exe


工作步骤：
（1）解析网站原理，主要获取post数据、密码加密方式相关信息所在真实页面；
（2）爬取所选课程信息与成绩；
（3）利用wxpython制作界面，并生成exe；
（4）发博客增加个人人气。
1、网站解析
（1）headers和post数据可利用浏览器审查元素，刷新页面获取相关元素的get或post方式查询得到，发现post到的数据中除了用户名和密码之外，还有个x和y，多次登录，发现这两个值不是确定的，暂时先不管。除此之外，post的密码是一串密文，暂时也不管，直接复制下来，留作后面备用当作post的数据。
（2）页面框架是多个子页面构成，而且查看源代码看不到相关信息所在的页面，这可头疼了，偶然发现，用ExplorerEdge浏览器直接选中相关的目标，右键——复制地址，OK，成功得到信息真实页面。
已经迫不及待要进入下一步了。
2、爬取信息
（1）建立带cookie的opener，向相关页面发送post数据，包括用户名和密码，上面提到的x和y是否作为发送数据待后面测试，然后获得带cookie的opener；
（2）利用上面的opener打开成绩所在页面和课程信息所在页面，获得页面信息；
（3）对获得的页面代码进行BeautifulSoup处理，或进行正则分析，提取所需要的信息。

3、界面制作及exe生成

4、代码测试
注意事项：
（1）向登录页面可不提交x和y的值，不影响获取页面信息；
（2）密码加密为md5加密，Python中有直接利用的方法，参加模块hashlib；
（3）exe生成时，BeautifulSoup中的lxml解析不能被识别,py2exe操作时，需要加入这样两个参数-p lxml,gzip.
（4）生成exe时对图片的处理有问题，暂时没有解决，只是把图片放到生成的exe文件夹内，而且为ico格式的图片。


5、源代码

（1）爬取信息方法：
sysu_getStudentInfo.py

#-*-coding:utf-8-*-
'''
created by zwg in 2016-10-19
'''
import urllib2
import urllib
from bs4 import BeautifulSoup
import cookielib
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import hashlib
import lxml

class get_data_from_sysu(object):
    def __init__(self,name,password):
        H=hashlib.md5()
        H.update(password)
        password=H.hexdigest()
        password=password.upper()
        post_data = {'j_username': name,
                     'j_password': password}
        post_data = urllib.urlencode(post_data)
        login_url = 'http://ecampus.sysu.edu.cn/zsuyy/login.do'
        info_url = 'http://ecampus.sysu.edu.cn/zsuyy/application/desktop.jsp'
        User_Agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393'
        Referer = 'http://ecampus.sysu.edu.cn/zsuyy/login_normal.jsp'
        Host = 'ecampus.sysu.edu.cn'
        headers = {'User-Agent': User_Agent,
                   'Referer': Referer,
                   'Host': Host,
                   'Connection': 'Keep-Alive',
                   'Content-Type': 'application/x-www-form-urlencoded'}
        cookie = cookielib.CookieJar()
        handle1 = urllib2.HTTPCookieProcessor(cookie)
        myopener = urllib2.build_opener(handle1)
        urllib2.install_opener(myopener)
        myopener.addheaders = headers.items()
        myopener.open(login_url, data=post_data)  # 这时已成功得到可以登录用的cookie
        html_info = myopener.open(info_url, data=post_data).read()
        soup_info = BeautifulSoup(html_info,'lxml')
        info = soup_info.find_all('span', class_="article_subhead1")
        student_name = info[1].string
        student_id = info[0].string
        student_college = info[2].string
        self.password=password
        self.id=student_id
        self.name=student_name
        self.opener=myopener
        self.college=student_college

    def get_course(self):
        course_url = 'http://ecampus.sysu.edu.cn/zsuyy/yanyuan/py/pyjxjh.do?method=enter'
        myopener=self.opener
        html_course = myopener.open(course_url).read()
        soup_course = BeautifulSoup(html_course, 'lxml')
        course = soup_course.find_all('tr', bgcolor='#FFFFFF')
        k = 0
        n=len(course)-1  ## the number of the students' course
        student_course = []
        course_header = []
        one_course=[]
        for i in course:
            S = i.find_all('td')
            if k == 0:
                for j in S:
                    try:
                        course_header.append(str(j.string))
                    except:
                        course_header.append(None)
            else:
                if k==n:
                    continue
                else:
                    for j in S:
                        try:
                            one_course.append(str(j.string))
                        except:
                            one_course.append(None)
                    student_course.append(one_course)
                    one_course=[]
            k+=1
        return course_header,student_course


    def get_grade(self):
        myopener=self.opener
        grade_url = 'http://ecampus.sysu.edu.cn/zsuyy/yanyuan/py/pychengji.do?method=enterChaxun'
        html_grade = myopener.open(grade_url).read()
        soup_grade = BeautifulSoup(html_grade, 'lxml')
        grade = soup_grade.find_all('tr', bgcolor='#FFFFFF')
        k=0
        student_grade={}
        grade_header=[]
        one_grade=[]
        for i in grade[4:len(grade)]:
            S = i.find_all('td')
            if k==0:
                for j in S:
                    try:
                        grade_header.append(str(j.string))
                    except:
                        grade_header.append(None)
            else:
                for j in S:
                    try:
                        one_grade.append(str(j.string))
                    except:
                        one_grade.append(None)
                    student_grade[one_grade[3]]=one_grade[8]
                one_grade=[]
            k+=1
        return grade_header,student_grade

(2)wxpython界面
sysu_login.py

注意：其中有些涉及到图片展示的，使用时需要替换下

#-*-coding:utf-8-*-
'''
created by zwg in 2016=10-20
'''

import wx
import wx.grid
import sysu_getStudentInfo as sysu
class myFrame(wx.Frame):
    def __init__(self):
        wx.Frame.__init__(self,None,-1,'SYSU-查成绩',pos=(100,100),size=(1200,600))
        self.MaxSize=self.Size
        self.MinSize=self.Size
        panel=wx.Panel(self,-1)
        sizer=wx.BoxSizer(wx.VERTICAL)
        sizer1=wx.BoxSizer(wx.HORIZONTAL)
        sizer2=wx.BoxSizer(wx.VERTICAL)
        sizer3=wx.BoxSizer(wx.HORIZONTAL)
        font=wx.Font(15,wx.ROMAN,wx.NORMAL,wx.BOLD)
        self.SetIcon(wx.Icon('sysu.ico',wx.BITMAP_TYPE_ICO))
        self.text1=wx.StaticText(panel, -1, '用户名',style=wx.ALIGN_CENTER)
        self.text1.SetFont(font)
        sizer1.Add(self.text1,proportion=0,flag=wx.LEFT|wx.ALIGN_CENTER_VERTICAL,border=10)
        self.text2=wx.TextCtrl(panel,-1,size=(150,-1),style=wx.ALIGN_LEFT)
        self.text2.SetFont(font)
        sizer1.Add(self.text2,proportion=1,flag=wx.LEFT|wx.EXPAND,border=5)
        self.text3=wx.StaticText(panel,-1,'密码',style=wx.ALIGN_CENTER)
        self.text3.SetFont(font)
        sizer1.Add(self.text3,proportion=0,flag=wx.LEFT|wx.ALIGN_CENTER_VERTICAL,border=15)
        self.text4=wx.TextCtrl(panel,-1,size=(150,-1),style=wx.ALIGN_LEFT|wx.PASSWORD)
        self.text4.SetFont(font)
        sizer1.Add(self.text4,proportion=1,flag=wx.LEFT|wx.EXPAND,border=5)
        self.command1=wx.Button(panel,-1,'确定')
        self.command1.SetFont(font)
        sizer1.Add(self.command1,proportion=0,flag=wx.LEFT|wx.EXPAND,border=15)
        self.command2=wx.Button(panel,-1,'重置')
        self.command2.SetFont(font)
        sizer1.Add(self.command2,proportion=0,flag=wx.LEFT|wx.EXPAND,border=15)

        self.text5=wx.StaticText(panel,-1,'姓名：')
        self.text6=wx.StaticText(panel,-1,'学号：')
        self.text7=wx.StaticText(panel,-1,'学院：')
        sizer2.Add(self.text5,flag=wx.LEFT,border=5)
        sizer2.Add(self.text6,flag=wx.LEFT,border=5)
        sizer2.Add(self.text7,flag=wx.LEFT,border=5)

        # img = wx.Image('head.ico', wx.BITMAP_TYPE_ICO)
        # img.Rescale(70,80)
        # img = img.ConvertToBitmap()
        # self.photo = wx.StaticBitmap(panel, -1, img)
        sizer3.Add(sizer2,flag=wx.ALL,border=10)
        # sizer3.Add(self.photo,flag=wx.LEFT,border=400)

        self.grid=mygrid(panel)
        sizer.Add(sizer1,flag=wx.EXPAND|wx.ALL,border=20)
        sizer.Add(sizer3,flag=wx.EXPAND|wx.ALL,border=20)
        sizer.Add(self.grid,proportion=1,flag=wx.EXPAND|wx.ALL,border=25)

        self.grid.SetSize((200,400))

        panel.SetSizer(sizer)

        self.command1.Bind(wx.EVT_BUTTON,self.command1_event)
        self.command2.Bind(wx.EVT_BUTTON,self.command2_event)
        self.Show()
    def command1_event(self,event):
        try:
            name=self.text2.GetValue()
            password=self.text4.GetValue()
            G=sysu.get_data_from_sysu(name=name,password=password)
            course_header, student_course = G.get_course()
            grade_header, student_grade = G.get_grade()

            self.text5.SetLabel('姓名：'+str(G.name).encode('gbk'))
            self.text6.SetLabel('学号：'+str(G.id).encode('gbk'))
            self.text7.SetLabel('学院：'+str(G.college).encode('gbk'))
            n1=len(student_course)
            n2=len(student_course[0])
            self.grid.InsertRows(0,n1)
            for i in xrange(n1):
                for j in xrange(n2):
                    self.grid.SetCellValue(i,j,str(student_course[i][j]).encode('gbk'))
            for i in xrange(n1):
                try:
                    self.grid.SetCellValue(i,n2,str(student_grade[student_course[i][5]]).encode('gbk'))
                except:
                    self.grid.SetCellValue(i, n2,'暂无成绩')
        except:
            self.Message=wx.MessageDialog(self,'你输入了错误的密码或用户不存在或系统崩溃','ERROR')
            self.Message.ShowModal()
            self.Message.Destroy()
    def command2_event(self,event):
        self.text2.SetValue('')
        self.text4.SetValue('')
        self.text5.SetLabel('姓名：')
        self.text6.SetLabel('学号：')
        self.text7.SetLabel('学院：')
        self.grid.DeleteRows(0,self.grid.GetNumberRows())
class mygrid(wx.grid.Grid):
    def __init__(self,parent):
        wx.grid.Grid.__init__(self,parent=parent,id=-1)
        self.CreateGrid(0,13)
        self.SetDefaultCellBackgroundColour(parent.BackgroundColour)
        header=['开课学年','开课学期','教学班名称',
                '课程代码','课程中文名称','课程性质','课程类别','学时','学分',
                '开课单位','上课时间地点','上课老师','成绩']
        for i in range(len(header)):
            self.SetColLabelValue(i,header[i])
        # n1,n2=self.Size
        # n1=60
        # n2=55
        # self.SetDefaultRowSize(30)
        # self.SetDefaultColSize(100)

if __name__=='__main__':
    app=wx.App()
    frame=myFrame()
    app.MainLoop()

(3)setup
generate_sysu_exe.py

#-*-coding:utf-8-*-
'''
created by zwg in 2016-10-19
'''
from distutils.core import setup
import py2exe
options = {"py2exe":{"compressed": 1, #压缩
                     "optimize": 2,
                     "bundle_files": 1,#所有文件打包成一个exe文件
                     }}


setup(
    options=options,
    name='SYSU_USE',
    windows=['sysu_login.py'],
    zipfile=None)#压缩成一个exe文件
#cmd操作：python generate_sysu_exe.py py2exe -p lxml,gzip

(4)所有文件放在同一个文件夹，cmd进行该文件夹，输入：python generate_sysu_exe.py py2exe -p lxml,gzip

6、界面展示