使用python编写一个监控使用内存情况的网页界面
环境：centos-7.2
1. 获取内存信息
[root@cml10 web_mem]# cat /proc/meminfo MemTotal: 1001332 kB MemFree: 147800 kB MemAvailable: 257776 kB Buffers: 0 kB Cached: 201032 kB
说明：
buffers是指用来给块设备做的缓冲大小
cached是用来给文件做缓冲。
MemFree 是空闲内存
算法：
已使用内存 = MemTotal - MemFree - Buffers – Cached（centos6）
已使用内存 = MemTotal - MemAvailable（centos7）
2. 存储信息
1. 安装myql
# 安装mysql
[root@cml10 web_mem]# yum install -y mariadb-server mariadb
#启动mysql
[root@cml10 web_mem]# systemctl start mariadb
#快速配置，设置root密码
[root@cml10 web_mem]# mysql_secure_installation
2. 创建数据库
[root@cml10 web_mem]# mysql -uroot -predhat mysql> create database mem; mysql> use mem; mysql> create table mem (mem int(10), date int(20));
注意：用time字段表示时间戳，使用int类型
为简单化，这里的数据库名和表名，还有字段名，都使用mem，含义不同。
3. 把获取到的内存信息保存到数据库
1）安装python的mysql库
[root@cml10 web_mem]# yum install MySQL-python -y
#写一个python调用mysql模块持续观察内存并写入数据库
[root@cml10 web_mem]# cat save_mem.py
#_*_coding:utf-8_*_
import time
import MySQLdb as mysql
db = mysql.connect(user="root",passwd="redhat",db="mem",host="localhost")
db.autocommit(True) #自动提交模式，把每个查询都当做一个单独的事务自动执行
cur = db.cursor() #获取一个 “游标”，用来执行sql语句
def save_mem():
f = open("/proc/meminfo")
total = int(f.readlines()[0].split()[1])
f = open("/proc/meminfo")
aviable = int(f.readlines()[2].split()[1])
mem = (total-aviable)/1024 # unit: MB（把已用内存转成MB单位）
cur_time = int(time.time())
sql = 'insert into mem(mem,date) values(%s,%s)' %(mem,cur_time)
cur.execute(sql)
while True:
save_mem()
time.sleep(1) # sleep 1 second（等待一秒时间）
##编写一个消耗内存的程序：
[root@cml10 web_mem]# consumer_mem.py
s1 = "Today is good day! " s2 = s1 * 10000 for i in range(1,100): for j in range(1,100): s2.count(s1) |
测试：
在一个终端运行save_mem.py, 然后在另一个终端运行consumer_mempy
观察终端1的输出，输出信息是否发生变化。
3. 展示信息构建web服务
安装flask
使用flask框架构建web服务
#安装pip
[root@cml10 web_mem]# cd /usr/local/src [root@cml10 src]# wget --no-check-certificate https://bootstrap.pypa.io/get-pip.py [root@cml10 src]# python get-pip.py
#使用pip安装python的flask模块：
[root@cml10 src]# pip install flask
编辑后台页面
[root@cml10 web_mem]# flask_web.py
from flask import Flask #导入flask中的Flask模块=import flask 引用时要flask.Flask
app = Flask(__name__) #产生一个flask实例，即一个网站应用程序。
@app.route('/') #表示访问网站的根目录时，触发函数index()
def index():
return 'hello flask'
if __name__=='__main__': #指的是只能自己运行的才可以运行网站。
app.run(host='0.0.0.0', port=9092, debug=True)
#任意主机可以访问，使用9092端口，启用调试模式
关闭防火墙，或者进行配置
[root@cml10 web_mem]# systemctl stop firewalld
启动flask web服务：
[root@cml10 web_mem]# python flask_web.py
在任何客户端主机的浏览器测试：
http://192.168.5.200:9092
使用真实数据渲染图标
1. 在后台程序中获取真实数据
2. 为便于调试，先把真实数据直接打印到后台的终端，然后把后台获取到的数据发送到前端（用json格式）
修改后台程序 flask_web.py
[root@cml10 web_mem]# cat flask_web.py
#_*_coding:utf-8_*_
from flask import Flask,render_template
import MySQLdb as mysql
import json
con = mysql.connect(user="root",passwd="redhat",db="mem",host="localhost")
con.autocommit(True)
cur = con.cursor()
app = Flask(__name__)
last_time = 0
@app.route('/')
def index():
# return "cml test"
return render_template('index.html')
@app.route('/cml')
def cml():
global last_time
if (last_time > 0):
sql = 'select * from mem where date > %s' %(last_time/1000)
else:
sql = 'select * from mem'
cur.execute(sql)
arr = []
for i in cur.fetchall():
# print i
arr.append([i[1]*1000,i[0]])
# return "ok"
if (len(arr) > 0):
last_time = arr[-1][0]
return json.dumps(arr)
if __name__=='__main__':
app.run(host='0.0.0.0',port=9092,debug=True)
动静态文件分离和使用图表展现
使用highchats图标库
测试图表显示
使用示例数据测试图表显示：
1. 准备用于显示图片的基础js文件
jquery.js 和 highstock.js（可以在github网站上搜索下载）
并把这两个文件保存到网站根目录下的static子目录下
[root@cml10 web_mem]# mkdir static [root@cml10 web_mem]# cp jquery.js highstock.js static
[root@cml10 web_mem]# tree . ├── flask_web.py ├── save_mem.py ├── static │ ├── highstock.js │ └── jquery.js └── templates └── index.html 2 directories, 5 files
2. 选择图表模板
选择一个基本的图 single line series
https://www.hcharts.cn/demo/highstock/basic-line
[root@cml10 web_mem]# cat templates/index.html
from flask import Flask,render_template
import MySQLdb as mysql
import json
con = mysql.connect(user="root", passwd="redhat", db="mem", host="localhost")
con.autocommit(True)
cur = con.cursor()
app = Flask(__name__)
@app.route('/')
def index():
#return 'cml test'
return render_template('index.html')
@app.route('/cml')
def cml():
sql = 'select * from memory'
cur.execute(sql)
arr = []
for i in cur.fetchall():
#print i
arr.append([i[1]*1000, i[0]) #如果写入数据库使没转这里可以，除以1024，以MB为单位
#return 'ok'
return json.dumps(arr)
if __name__=='__main__':
app.run(host='0.0.0.0', port=9092, debug=True)
测试：（先执行save_mem.py在执行flask_web.py）
[root@cml10 web_mem]# python save_mem.py [root@cml10 web_mem]# python flask_web.py
##最后出图展示的结果：
4. 扩展获取增量数据
##修改文件加上判断取最新的值
[root@cml10 web_mem]# cat flask_web.py
#_*_coding:utf-8_*_
from flask import Flask,render_template
import MySQLdb as mysql
import json
con = mysql.connect(user="root",passwd="redhat",db="mem",host="localhost")
con.autocommit(True)
cur = con.cursor()
app = Flask(__name__)
last_time = 0
@app.route('/')
def index():
# return "cml test"
return render_template('index.html')
@app.route('/cml')
def cml():
global last_time
if (last_time > 0):
sql = 'select * from mem where date > %s' %(last_time/1000)
else:
sql = 'select * from mem'
cur.execute(sql)
arr = []
for i in cur.fetchall():
# print i
arr.append([i[1]*1000,i[0]])
# return "ok"
if (len(arr) > 0):
last_time = arr[-1][0] ##意思是取最新的值
return json.dumps(arr)
if __name__=='__main__':
app.run(host='0.0.0.0',port=9092,debug=True)
##修改index.html文件前端输出自动更新
[root@cml10 web_mem]# cat templates/index.htmlmy memory monitor
###注意新写了一遍扩展监控多台主机上的内存情况代码：（需要可以看看，也可以给给意见）
https://blog.51cto.com/legehappy/2043776