利用Pycurl库监控WEB访问质量（二）

上一篇文章使用urllib2来监控WEB访问质量（http://www.jianshu.com/p/c74ddabd5212），理论上来说已经可以满足要求，不过其很多性能指标都是我们自己计算出来的，比如响应时间。而Pycurl却能够得到整个HTTP连接过程的所需数据，比如HTTP Code,DNS解析时间，完整响应时间等。
Pycurl地址：https://pypi.python.org/pypi/pycurl/ 或者：http://pycurl.io/docs/latest/
PyCurl的常用方法（参考：http://www.jianshu.com/p/53e9082633e8）：

c = pycurl.Curl() #创建一个curl对象
c.setopt(pycurl.CONNECTTIMEOUT, 5) #连接的等待时间，设置为0则不等待
c.setopt(pycurl.TIMEOUT, 5) #请求超时时间
c.setopt(pycurl.NOPROGRESS, 0) #是否屏蔽下载进度条，非0则屏蔽
c.setopt(pycurl.MAXREDIRS, 5) #指定HTTP重定向的最大数
c.setopt(pycurl.FORBID_REUSE, 1) #完成交互后强制断开连接，不重用
c.setopt(pycurl.FRESH_CONNECT,1) #强制获取新的连接，即替代缓存中的连接
c.setopt(pycurl.DNS_CACHE_TIMEOUT,60) #设置保存DNS信息的时间，默认为120秒
c.setopt(pycurl.URL,"[http://www.baidu.com](http://www.baidu.com)") #指定请求的URL
c.setopt(pycurl.USERAGENT,"Mozilla/5.2 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50324)") #配置请求HTTP头的User-Agent
c.setopt(pycurl.HEADERFUNCTION, getheader) #将返回的HTTP HEADER定向到回调函数getheaderc.setopt(pycurl.WRITEFUNCTION, getbody) #将返回的内容定向到回调函数getbody
c.setopt(pycurl.WRITEHEADER, fileobj) #将返回的HTTP HEADER定向到fileobj文件对象
c.setopt(pycurl.WRITEDATA, fileobj) #将返回的HTML内容定向到fileobj文件对象
c = pycurl.Curl() #创建一个curl对象c.getinfo(pycurl.HTTP_CODE) #返回的HTTP状态码
c.getinfo(pycurl.TOTAL_TIME) #传输结束所消耗的总时间
c.getinfo(pycurl.NAMELOOKUP_TIME) #DNS解析所消耗的时间
c.getinfo(pycurl.CONNECT_TIME) #建立连接所消耗的时间
c.getinfo(pycurl.PRETRANSFER_TIME) #从建立连接到准备传输所消耗的时间
c.getinfo(pycurl.STARTTRANSFER_TIME) #从建立连接到传输开始消耗的时间
c.getinfo(pycurl.REDIRECT_TIME) #重定向所消耗的时间
c.getinfo(pycurl.SIZE_UPLOAD) #上传数据包大小
c.getinfo(pycurl.SIZE_DOWNLOAD) #下载数据包大小
c.getinfo(pycurl.SPEED_DOWNLOAD) #平均下载速度
c.getinfo(pycurl.SPEED_UPLOAD) #平均上传速度
c.getinfo(pycurl.HEADER_SIZE) #HTTP头部大小

有了上面的信息，我们就可以利用pycurl来监控我们的WEB站点了，目标了上一篇一致，得到HTTP CODE（HTTP_CODE）和响应时间（TOTAL_TIME）。另外，我们的发邮件模块中，进行了优化， 让发出来的邮件更漂亮。代码如下 ：

# coding: utf-8
import pycurl
try:
    from io import BytesIO
except ImportError:
    from StringIO import StringIO as BytesIO
from email.header import Header
from email.mime.text import MIMEText
from email.utils import parseaddr, formataddr
import smtplib


def _format_addr(s):
    name, addr = parseaddr(s)
    return formataddr(( \
        Header(name, 'utf-8').encode(), \
        addr.encode("utf-8") if isinstance(addr, unicode) else addr))


from_addr = "XXX"
to_addr = "XXX"  # 发送给多个用户，使用逗号分隔
password = "XXX"
smtp_server = "smtp.XXX.com"


def format_msg(s):
    # type: (object) -> object
    msg = MIMEText(s, _subtype='html', _charset='utf-8')
    msg['From'] = _format_addr(from_addr)
    msg['To'] = _format_addr(to_addr)
    msg['Subject'] = Header(u'来自XXX的监控小黑屋', 'utf-8').encode()
    return msg.as_string()


def send_email(s):
    server = smtplib.SMTP(smtp_server, 25)
    server.set_debuglevel(0)
    server.login(from_addr, password)
    server.sendmail(from_addr, ["[email protected]"], s)
    server.quit()

flag = False    # 决定是否发报警邮件的标志
list_of_sites = []
result_of_access = '''
    

  
    
    
    
    
    
    
    
    
    
  
  
    

      
      

        

          

            
            

              
 
            
            

              
![LoGo Here](http://upload-images.jianshu.io/upload_images/3900471-db3d2ef41db98dc2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
            
            

              
 
            
            
            
            

              
![](https://www.sendwithus.com/assets/img/emailmonks/images/spacer.gif)
            
            

              
![](https://www.sendwithus.com/assets/img/emailmonks/images/spacer.gif)
            
            
            
            

              

                

                  

                    
 
                  
                  

                    
XX网站监控信息记录
                  
                  

                    
 
                  
                  

                    

                      

                        

                          

                            

                              

                                

                                  机房信息 : 亦庄-XX数据中心
                                
                              
                            
                            

                              

                                

                                  

                                    

                                      

                                        机房电话 : 138XXXXXXXX
                                      
                                    
                                  
                                
                              
                            
                          
                        
                      
                    
                  
                  

                    
 
                  
                  

                    

                      

                        

                          
 
                          

                            

                              

                                
 
                              
                              

                                
XXX :  136XXXXXXXX/186XXXXXXXX  |  [email protected]
                              
                              

                                
 
                              
                            
                          
                          
 
                        
                      
                    
                  
                  

                    
 
                  
                  

                    

                      

                        

                          

                            

                              

                                
 
                                
网站
                                

                                
Code
                                

                                

                                
响应时间
                                
 
                              
                            
                          
                        
                        

                          
 
                        
                        

                          

                            

'''
with open("sites.txt") as f:
    list_of_sites = f.readlines()
# print list_of_sites

num_sites = len(list_of_sites)

buffer = BytesIO()
c = pycurl.Curl()
c.setopt(c.FRESH_CONNECT, 1)

for site in list_of_sites:
    if len(site) == 0 or site.startswith("#"):
        pass
    else:
        c.setopt(c.URL, site.replace('\n', ''))
        c.setopt(c.WRITEFUNCTION, buffer.write)
        try:
            c.perform()
            http_code = c.getinfo(c.HTTP_CODE)
            total_time = c.getinfo(c.TOTAL_TIME)
            if http_code == 200:
                if total_time <= 5.0:
                    msg = """
                    
                    """ % (site, site, http_code, total_time)
                    result_of_access += msg
                else:
                    msg = """
                    
                    """ % (site, site, http_code, total_time)
                    result_of_access += msg
                    flag = True
            else:
                msg = """
                    

                    """ % (site, site, http_code, total_time)
                result_of_access += msg
                flag = True
        except pycurl.error, error:
            errno, errstr = error
            print errno, errstr
            msg = """
                            

                            """ % (site, site, "Error", "Unknown")
            result_of_access += msg
            flag = True

result_of_access += """
                        

                        
 
                        
%s
                        

                        
%s
                         

                        

                        
%s
                        
 
                    

                        
 
                        
%s
                        

                        
%s
                         

                        

                        
%s
                        
 
                  

                        
 
                        
%s
                        

                        
%s
                        

                        

                        
%s
                        
 
                    

                                
 
                                
%s
                                

                                
%s
                                

                                

                                
%s
                                
 
                            
                        
                        
                        

                          
 
                        
                        

                          
 
                        
                        

                          
 
                        
                        

                          
![](https://www.sendwithus.com/assets/img/emailmonks/images/spacer.gif)
                        
                        

                          
 
                        
                        

                          
 
                        
                        

                          

                            

                              

                                
总网站数:    15   个
                                
 
                              
                            
                          
                        
                      
                    
                  
                  

                    
 
                  
                
              
            
            
          
        
      
      
      
      

        

          

            

              
 
            
            

              

               PRIVACY STATEMENT   |   TERMS OF SERVICE   |   RETURNS
              
            
            

              
 
            
            

              

                ©2‌016XXXXXXXX. All Rights Reserved.
              
            
            

              
 
            
            

              

                If you do not wish to receive any further emails from us, please
              
            
            

              
 
            
          
        
      
      
    
    
                                         
  

"""
c.close()

msg = format_msg(result_of_access)
if flag:
    send_email(msg)

效果如下 ：

Paste_Image.png

注意点：

1. 上述代码中Pycurl在windows下执行，响应很慢，即响应时间特别长，事实上并不会这么长，这个已经确认非代码问题，在linux下很快。属于pycurl的问题了。
2. 在linux下有时会碰到无法解析域名的情况，目前还没找到原因。(这个原因已经找到，我的域名列表文件site.txt是在windows下建立好，上传到Linux上的，实际windows和Linux的默认字符编码并不一样，所以一定要注意这个问题)