python爬虫入门之监控教务处网站

一个简单的爬虫，主要分为两部分，一是从网页上抓取源代码，二是从这些代码中提取出想要的内容。前者我用的是Requests库，比起自带的urllib库要简单方便，需要自行安装。后者我暂时用re的正则表达式，虽然有时候会出现一点莫名其妙的小问题。

下面是Requests库和re的一些简单常用的方法。

（1）从目标网址直接抓取源代码

html=requests.get(url) 

（2）将源代码格式转化成可以处理的格式

text=html.text
content=html.content//偶尔会用到

（3）寻找内容

resout=re.findall("开始(.*?)结束",text,re.S)//返回一个列表
resout=re.search("开始(.*?)中间(.*?)结束",text,re.S)
resout.group(1)            resout.group(2)`

接下来接收一下我的思路：首先从教务网上爬取下来首页上的通知，将它们保存在txt文件里。然后就是一定时间间隔的循环，每次爬取下来之后都与文件里的内容比较，一旦发现不同，说明有新通知，发送邮件至我的邮箱（这一部分代码直接网上搜来的）

源代码如下：
#--coding:utf8--
'''爬虫监控教务处网站，有新公告则发送邮件到邮箱，绑定的手机接到短信提示
缺点：一开始运行的话，如果出现撤销置顶的情况，旧的消息会出现在首页
解决方式：手动输入前两页的信息，或者运行一段时间'''
import smtplib
from email.mime.text import MIMEText
import requests
import re
import os
import time
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

class mailhelper(object):
    '''
    这个类实现发送邮件的功能
    '''
    def __init__(self):

        self.mail_host="smtp.163.com"
        self.mail_user="发送邮箱账号如sss2397472"
        self.mail_pass="发送邮箱密码"
        self.mail_postfix="163.com"

    def send_mail(self,to_list,sub,content):
        me="教务网助手"+"  <"+self.mail_user+"@"+self.mail_postfix+">"
        msg = MIMEText(content,_subtype='plain',_charset='utf-8')
        msg['Subject'] = sub
        msg['From'] = me
        msg['To'] = ";".join(to_list)
        try:
            server = smtplib.SMTP()
            server.connect(self.mail_host)
            server.login(self.mail_user,self.mail_pass)
            server.sendmail(me, to_list, msg.as_string())
            server.close()
            return True
        except Exception, e:
            print str(e)
            return False

class jiaowu(object):
    '''
    这个类实现将爬取教务网公告内容
    '''
    def __init__(self):
        self.url = 'http://jw.nju.edu.cn/'
    def getContent(self):
        html = requests.get(self.url).text
        text=re.search('
(.*?) 
',html,re.S).group(1)
        title=re.findall("title='(.*?)'>",text,re.S)
        href=re.findall("