一个检测网页是否有日常链接的python脚本

     在大的互联网公司干技术的基本都会碰到测试、预发布、线上这种多套环境的，来实现测试和线上正式环境的隔离，这种情况下，就难免会碰到秀逗了把测试的链接发布到线上的情况，一般这种都是通过一些测试的检查工具来检查链接来规避风险的。前两天跟了一个问题也是这个情况，开发疏忽把日常url发布到线上了。但是测试那边没有自动化的监控工具，导致没有及时发现，由于最近正好在看python，后来处理完回家就想用python做个简单的监控。

     大略思路是：用python写一个脚本来分析网页里的所有url，看是否包含日常的链接，然后把脚本放到crontab里跑定时任务，10分钟跑一次检查。如果发现非法链接，就发告警邮件给相关人员。脚本代码100行左右，比较好理解，贴上代码。

　　本来想用beautifulsoup，不过考虑到安装三方库麻烦，所以还是用自带的sgmllib来，不需要关心库。发邮件函数没有实现，根据各自的smtp服务器实现以下即可。

 1 #!/usr/bin/env python

 2 #coding:UTF-8

 3 

 4 import urllib2

 5 from sgmllib import SGMLParser

 6 import smtplib

 7 import time

 8 #from email.mime.text import MIMEText

 9 #from bs4 import BeautifulSoup

10 #import re

11 

12 class UrlParser(SGMLParser):

13     urls = []

14     def do_a(self,attrs):

15         '''parse tag a'''

16         for name,value in attrs:

17             if name=='href':

18                 self.urls.append(value)

19             else:

20                 continue

21     

22     def do_link(self,attrs):

23         '''parse tag link'''

24         for name,value in attrs:

25             if name=='href':

26                 self.urls.append(value);

27             else:

28                 continue

29 

30 def checkUrl(checkurl, isDetail):

31     '''检查checkurl对应的网页源码是否有非法url'''

32     parser = UrlParser()

33     page = urllib2.urlopen(checkurl)

34     content = page.read()

35     #content = unicode(content, "gb2312").encode("utf8")

36     parser.feed(content)

37     urls = parser.urls

38     

39     dailyUrls = []

40     detailUrl = ""

41     for url in urls:

42         if 'daily' in url:

43             dailyUrls.append(url);

44         if not detailUrl and not isDetail and 'detail.ju.taobao.com' in url:

45             detailUrl = url

46     

47     page.close()

48     parser.close()

49     

50     if isDetail:

51         return dailyUrls

52     else:

53         return dailyUrls,detailUrl

54 

55 def sendMail():

56     '''发送提醒邮件'''

57     pass

58     

59 def log(content):

60     '''记录执行日志'''

61     logFile = 'checkdailyurl.log'

62     f = open(logFile,'a')

63     f.write(str(time.strftime("%Y-%m-%d %X",time.localtime()))+content+'\n')

64     f.flush()

65     f.close()

66 

67 def main():

68     '''入口方法'''

69     #检查ju

70     url = "XXX.xxx.com"

71 

72     dailyUrls,detailUrl=checkUrl(url, False)

73     if dailyUrls:

74         #检查到daily链接，发送告警邮件

75         sendMail()

76         log('check: find daily url')

77     else:

78         #没检查到daily链接，不处理

79         log('check: not find daily url')

80 

81     #检查judetail

82     dailyUrls=checkUrl(detailUrl, True)

83     if dailyUrls:

84         #检查到daily链接，发送告警邮件

85         log('check: find daily url')

86         sendMail()

87     else:

88         #没检查到daily链接，不处理

89         log('check: not find daily url')

90 

91 if __name__ == '__main__':

92     main()