Django搭建简易监控系统

背景

Django是使用最广泛的用python写的开源WEB框架，用它可以搭建一套WEB系统，它也可以和其他开源组件，如cellery组合使用，扩展性比较强。

下面详细讲一讲如何利用django搭建一套简易的服务器监控系统。

客户端服务端模式，客户端通过脚本抓取本地性能参数，然后提交POST请求给django服务端，把数据传给服务端。服务端接收到数据后先保存到本地数据库中，用户在浏览器端输入对应URL来展示数据库中的数据信息。

正文

下载安装django，我这里以1.4版本为例。

创建项目

django-admin.py startproject test_site

运行完命令后，在当前目录下会生成一个目录：test_site， 进去后你会发现有一些已经创建好的python文件。

启动django服务

python manage.py runserver 0.0.0.0:8080

执行完命令后，你可以在浏览器端输入IP：8080就可以正常访问了，前提是你的浏览器端和django服务所在的电脑能联通，而且端口没有被防火墙挡住，若这一步有问题请留言讨论，这里不再赘述。

配置django数据库

django内置了几种数据库的接口：mysql, postgresql, sqlite3 , oracle。我这里以最简单的sqlite3为例来讲。

在test_site/test_site目录下有个setting.py，打开,找到DATABASES这一段，把ENGINE的值设为django.db.backends.sqlite3，NAME的值写数据库的绝对路径，比如：/opt/django/db/sqlite3.db。

创建app

每个项目下可以有多个app，我们先创建一个monitor_metric。

python manage.py startapp monitor_metric

执行完后，你会在当前目录下看到monitor_metric目录。

打开test_site/test_site/setting.py，在INSTALLED_APPS段中添加刚刚创建的app：monitor_metric。

打开test_site/test_site/urls.py,添加一行：

url(r'^monitor_metric/', include('monitor_metric.urls')),

打开test_site/monitor_metric/models.py,内容如下：

from django.db import models
# Create your models here.
class ServerMetric(models.Model):
    id = models.IntegerField(primary_key=True, db_column='ID') # Field name made lowercase.
    history_ip = models.CharField(max_length=45)
    history_datetime = models.DateTimeField()
    history_cpu_load = models.CharField(max_length=45)
    history_disk_usage = models.CharField(max_length=45)
    history_memory_usage = models.CharField(max_length=45)
    class Meta:
        db_table = u'server_metric'

打开test_site/monitor_metric/views.py,内容如下：

# Create your views here.
# -*- coding: utf-8 -*-
# Create your views here.
import os,sys,time
from django.http import HttpResponse
from django.shortcuts import render_to_response
#from django.template import Context
from django.template.loader import get_template
from monitor_metric.models import ServerMetric
from django.conf import settings
from django.template import RequestContext
from public.views import *
from django.core.paginator import Paginator, InvalidPage, EmptyPage
from django.utils.log import logger
from django.views.decorators.csrf import csrf_exempt
def index(request):
    res_template_dist={'system_name': settings.SYSTEM_NAME}
    return render_to_response('monitor_metric.html',res_template_dist)
def monitor_metric_display(request):
        MetricObj = ServerMetric.objects.order_by('-id')
        Metric_string_prefix = "Host IP" +"  \t" +"Date Time" +"  \t" +"CPU load average" +"  \t" +"Disk usage" +"  \t" +"Memory usage"+"
"
        Metric_string = ""
        for e in MetricObj:
                Metric_string +=  e.history_ip+ "  \t"+ str(e.history_datetime)+"  \t"+e.history_cpu_load+"  \t"+e.history_disk_usage +"  \t"+e.history_memory_usage+ "
"
        return HttpResponse(Metric_string_prefix+Metric_string)
@csrf_exempt
def monitor_metric_writedb(request):
        if request.method == 'POST':
                #return HttpResponse( "POST request have been fulfilled")
                history_ip=request.POST['history_ip']
                history_datetime=request.POST['history_datetime']
                history_cpu_load=request.POST['history_cpu_load']
                history_disk_usage=request.POST['history_disk_usage']
                history_memory_usage=request.POST['history_memory_usage']
                historyobj = ServerMetric(
                                        history_ip=history_ip, \
                                        history_datetime=history_datetime, \
                                        history_cpu_load=history_cpu_load, \
                                        history_disk_usage=history_disk_usage, \
                                        history_memory_usage=history_memory_usage, \
                                        )
                try:
                        historyobj.save()
                except Exception,e:
                        return HttpResponse("入库失败，请与管理员联系！"+str(e))
                Response_result="OK"
                return HttpResponse(Response_result)
        else:
                return HttpResponse("非法提交！")

 

这里我们定义了三个函数，index（）是定义浏览器访问默认页的，monitor_metric_display（）是定义在浏览器显示的数据信息的，monitor_metric_writedb（）是从客户端获取POST信息并保存到数据库中。

cat test_site/monitor_metric/urls.py,

from django.conf.urls.defaults import *
urlpatterns = patterns('monitor_metric.views',
    (r'^$','index'),
    (r'monitor_metric_writedb/$','monitor_metric_writedb'),
    (r'monitor_metric_display/$','monitor_metric_display'),
)

这个是浏览器访问的url将被指定的函数执行。

根据models.py生成相应的数据库结构。

python manage.py syncdb

执行完后会生成/opt/django/db/sqlite3.db，你可以看下里面有哪些数据库，

sqlite3 /opt/django/db/sqlite3.db
.schema
.tables

服务端已经搞好了，现在去客户端，创建目录monitor_metric,新建文件config.py

#!/usr/bin/env python
Net_driver = "eth0"
Server_address = "10.9.214.15"
Connect_TimeOut = 3

Server_address指的是django服务端的ip.

新建文件collect_metric.py

#!/usr/bin/env python
#coding:utf-8
import sys
import os
import socket
import fcntl
import struct
import logging
from config import *
import urllib,httplib
from datetime import datetime
import psutil
socket.setdefaulttimeout(Connect_TimeOut)
logging.basicConfig(level=logging.DEBUG,
            format='%(asctime)s [%(levelname)s] %(message)s',
            filename=sys.path[0]+'/omsys.log',
            filemode='a')
def get_local_ip(ethname):
    try:
        sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
        addr = fcntl.ioctl(sock.fileno(), 0x8915, struct.pack('256s', ethname))
        return socket.inet_ntoa( addr[20:24] )
    except Exception,e:
        logging.error('get localhost IP address error:'+str(e))
        return "127.0.0.1"
def post_metric(http_get_param=""):
    try:
        http_client =httplib.HTTPConnection(Server_address ,8080, timeout=Connect_TimeOut)
        headers = {"Content-type": "application/x-www-form-urlencoded","Accept": "text/plain"}
        http_client.request('POST','/monitor_metric/monitor_metric_writedb/', http_get_param, headers)
        response =http_client.getresponse()
        print response.status, response.reason
        f = open('./response_page', 'w')
        f.write(response.read())
        if response.status != 200:       
            logging.error('response http status error:'+str(response.status))
            sys.exit()
    except Exception, e:
        logging.error('connection django-cgi server error:'+str(e))
        sys.exit()
    finally:
        if http_client:
            http_client.close()
        else:
            logging.error('connection django-cgi server unknown error.')
            sys.exit()
Sysip = get_local_ip(Net_driver)
History_Id = "1"
History_datetime = str(datetime.now())
History_cpu_load = os.getloadavg()[0]
History_disk_usage = psutil.disk_usage('/')[3]
History_memory_usage = psutil.virtual_memory()[2]
params = {'history_id':History_Id, 'history_ip':Sysip, 'history_datetime':History_datetime, 'history_cpu_load':History_cpu_load, 'history_disk_usage':History_disk_usage, 'history_memory_usage':History_memory_usage}
encoded_params = urllib.urlencode(params)
post_metric(encoded_params)

这个脚本是抓取客户端性能参数的。

执行

python collect_metric.py

若返回200 OK， 说明POST请求执行成功，同学们做到这一步的时候肯定会遇到各种问题，请不要着急，collect_metric.py中已经把POST请求的返回html页面保存到response_page中了， 你可以把response_page拷到django服务器中，通过浏览器查看里面的报错信息，这样一步一步慢慢调试。

成功后在浏览器中输入

http://IP:8080/monitor_metric/monitor_metric_display/ 

就可以看到ip,cpu load average, memory usage, disk usage等信息了。

 

补充：

在调试过程中你会碰到csfr token的问题，这是django的跨站访问保护的机制（cross site request forgery protection）,具体意思是防止恶意网站通过获取正常网站的cookie来进行破坏活动。

碰到这个问题有两种解决方法：

a.在服务端禁用CSRF

from django.views.decorators.csrf import csrf_exempt
@csrf_exempt
def monitor_metric_writedb(request):

b.把CSRF token作为参数，放在post data里面传送给django。

若同学们有任何疑问，请留言，共同探讨。