使用Python将TXT文本内容读取后生成指定XML格式的文件
任务说明：
- 解析服务器内存和CPU信息。格式是无后缀的文本格式。将其转换为统一XML格式。
- 源文件名：zmonitor.2017-04-06-14_28
172.17.8.64 saptmqas_cpu 431 CPU utilization percentage : 1% 172.17.8.95 saptmprd_cpu 426 CPU utilization percentage : 6% 172.17.8.63 saptmdev_cpu 421 CPU utilization percentage : 2.5% 172.17.8.91 saptm2prd_cpu 487 CPU utilization percentage : 24.75% 172.17.8.66 sappoqas_cpu 394 CPU utilization percentage : 1.75% 172.17.8.93 sappoprd_cpu 382 CPU utilization percentage : 1.125% 172.17.8.62 sappodev_cpu 313 CPU utilization percentage : 2.5% 172.17.8.78 sapmdmqas_cpu 450 CPU utilization percentage : 1.5% 172.17.8.79 sapmdmprd_cpu 445 CPU utilization percentage : 1% 172.17.8.72 sapmdmdev_cpu 440 CPU utilization percentage : 3.5% 172.17.8.74 sapepdev_cpu 462 CPU utilization percentage : 1% 172.17.8.65 sapemqas_cpu 413 CPU utilization percentage : 1% 172.17.8.96 sapemprd_cpu 408 CPU utilization percentage : 1% 172.17.8.61 sapemdev_cpu 403 CPU utilization percentage : 1.5% 172.17.8.83 sapeccqas_cpu 364 CPU utilization percentage : 1.5% 172.17.8.92 sapem2prd_cpu 476 CPU utilization percentage : 1% 172.17.8.89 sapeccprd_2_cpu 376 CPU utilization percentage : 6.75% 172.17.8.88 sapeccprd_1_cpu 372 CPU utilization percentage : 4.625% 172.17.8.87 sapeccprd_0_cpu 368 CPU utilization percentage : 1% 172.17.8.80 sapeccdev_cpu 336 CPU utilization percentage : 2.625% 172.17.8.76 sapbpmprd_cpu 468 CPU utilization percentage : 1.75% 172.17.8.73 sapbpmdev_cpu 457 CPU utilization percentage : 1% 172.17.8.64 saptmqas_memval 519 Disk OK - Physical memory TOTAL: 31.361GB USED: 30.801GB (98%) FREE: 0.560GB (2%) 172.17.8.95 saptmprd_memval 518 Disk OK - Physical memory TOTAL: 47.342GB USED: 46.992GB (99%) FREE: 0.350GB (1%) 172.17.8.63 saptmdev_memval 517 Disk OK - Physical memory TOTAL: 31.361GB USED: 31.088GB (99%) FREE: 0.272GB (1%) 172.17.8.91 saptm2prd_memval 516 Disk OK - Physical memory TOTAL: 47.137GB USED: 46.847GB (99%) FREE: 0.290GB (1%) 172.17.8.66 sappoqas_memval 515 Disk OK - Physical memory TOTAL: 31.361GB USED: 30.074GB (95%) FREE: 1.287GB (5%) 172.17.8.93 sappoprd_memval 514 Disk OK - Physical memory TOTAL: 31.357GB USED: 31.141GB (99%) FREE: 0.216GB (1%) 172.17.8.62 sappodev_memval 513 Disk OK - Physical memory TOTAL: 31.358GB USED: 31.051GB (99%) FREE: 0.306GB (1%) 172.17.8.78 sapmdmqas_memval 512 Disk OK - Physical memory TOTAL: 15.577GB USED: 15.325GB (98%) FREE: 0.253GB (2%) 172.17.8.79 sapmdmprd_memval 511 Disk OK - Physical memory TOTAL: 62.917GB USED: 62.499GB (99%) FREE: 0.418GB (1%) 172.17.8.72 sapmdmdev_memval 510 Disk OK - Physical memory TOTAL: 15.577GB USED: 15.421GB (98%) FREE: 0.156GB (2%) 172.17.8.74 sapepdev_memval 509 Disk OK - Physical memory TOTAL: 31.343GB USED: 28.224GB (90%) FREE: 3.119GB (10%) 172.17.8.65 sapemqas_memval 508 Disk OK - Physical memory TOTAL: 15.579GB USED: 15.364GB (98%) FREE: 0.215GB (2%) 172.17.8.96 sapemprd_memval 507 Disk OK - Physical memory TOTAL: 31.342GB USED: 30.852GB (98%) FREE: 0.490GB (2%) 172.17.8.61 sapemdev_memval 506 Disk OK - Physical memory TOTAL: 31.486GB USED: 31.166GB (98%) FREE: 0.320GB (2%) 172.17.8.92 sapem2prd_memval 505 Disk OK - Physical memory TOTAL: 35.302GB USED: 34.755GB (98%) FREE: 0.547GB (2%) 172.17.8.89 sapeccprd_2_memval 503 Disk OK - Physical memory TOTAL: 47.137GB USED: 41.424GB (87%) FREE: 5.712GB (13%) 172.17.8.83 sapeccqas_memval 504 Disk OK - Physical memory TOTAL: 15.579GB USED: 15.381GB (98%) FREE: 0.198GB (2%) 172.17.8.88 sapeccprd_1_memval 502 Disk OK - Physical memory TOTAL: 47.122GB USED: 46.764GB (99%) FREE: 0.359GB (1%) 172.17.8.87 sapeccprd_0_memval 501 Disk OK - Physical memory TOTAL: 7.688GB USED: 7.552GB (98%) FREE: 0.136GB (2%) 172.17.8.80 sapeccdev_memval 500 Disk OK - Physical memory TOTAL: 15.579GB USED: 15.283GB (98%) FREE: 0.297GB (2%) 172.17.8.76 sapbpmprd_memval 499 Disk OK - Physical memory TOTAL: 31.358GB USED: 31.117GB (99%) FREE: 0.241GB (1%) 172.17.8.73 sapbpmdev_memval 498 Disk OK - Physical memory TOTAL: 31.673GB USED: 31.031GB (97%) FREE: 0.642GB (3%) - 统一的XML文件格式（示例）：
xml version="1.0" encoding="UTF-8"?> <root> <Platform date="2017-02-28 12:00:00"> <PlatformNum description="数据中心监控平台编号，以便识别****************************"> 1872_ZABBIX PlatformNum> <Module description="模块编号"> M1 Module> Platform> <datas description="数据"> <data ciNum="CI201702230001" datetime="2017-02-28 12:00:00" host="lxbdb01" ip="172.32.224.73" itemName="CPU idle time" itemValue="0.3233" > data> <data ciNum="CI201702230001" datetime="2017-02-28 12:00:00" host="lxbdb01" ip="172.32.224.73" itemName="Total memory" itemValue="128000000" > data> <data ciNum="CI201702230001" datetime="2017-02-28 12:00:00" host="lxbdb01" ip="172.32.224.73" itemName="Free real memory" itemValue="30666000" > data> <data ciNum="CI201701260002" datetime="2017-02-28 12:00:00" host="lxbdb02" ip="172.32.224.78" itemName="CPU idle time" itemValue="0.3233" > data> <data ciNum="CI201701260002" datetime="2017-02-28 12:00:00" host="lxbdb02" ip="172.32.224.78" itemName="Total memory" itemValue="96000000" > data> <data ciNum="CI201701260002" datetime="2017-02-28 12:00:00" host="lxbdb02" ip="172.32.224.78" itemName="Free real memory" itemValue="60222000" > data> datas> root>
需求：
- 将文本格式转换成统一的XML格式，并形成文件。
- 文件名上的日期，是监控时间点，读取后写入统一XML格式中。
思路：
- 因为统一的XML格式是一个服务器3段标签，其中重复信息比较多。所以先生成JSON格式，以后方便读取。
- 根本原因是领导还在协商使用XML还是JSON。
- 再将JSON格式的依次插入到XML中。
- 生成XML文件。
代码简述：
- 声明CLASS readFileToXML
- 初始化类（要求一个参数：文件完整路径）
- 第一个方法：getTime，根据文件名获取监控时间点。
- “2017-04-06-14_28”需要注意的地方是，最后一个“-”需要替换为空格。因为字符串不能单独修改，则转换成LIST修改后，再转格式为string
- 第二个方法：readFileToDict，解析源文件并生成JSON。
- 这里有个坑要说一下，生成XML的时候，要求值为字符串。因为牵扯计算，所以其中一个值为FLOAT格式存入JSON。但当这个float的值存入XML文件时报错。
- 所以这个坑是在XML模块中，并不是JSON的。当时好找一顿。
- 第三个方法：json2XML，将JSON格式数据按照XML统一格式转换。
- 简单xml模块使用。
- doc = Document() #创建DOM文档对象
- root = doc.createElement('root') # 创建根元素
- doc.appendChild(root) # 将根标签root加载到doc结构下。
- 以我的XML为例节点顺序：doc>root>Platform>PlatformNum
| >Module
>datas>data
> ....... - 这里的坑是如果你要在root标签下添加Platform标签则需要：root.appendChild(Platform)
- 创建节点和文本等，都是doc.createXXXX。但添加到指定节点时，则是节点元素Platform.appendChild(Module)
- 呵呵，有点啰嗦。
- 第四个方法：makeXML，生成XML文件保存。
- 没什么要说的，doc.toprettyxml(indent='')就是之前所有操作后的结果。
代码如下：
#coding=utf-8 2017/4/7
__author__ = 'Asktao'
import os
from xml.dom.minidom import Document
class readFileToXML(object):
def __init__(self, filepath):
self.filepath = filepath # 完整路径
self._path = os.path.split(filepath)[0] # 文件的路径
self._filename = os.path.split(filepath)[1] # 文件的名称
self.DATA_JSON = readFileToXML.readFileToDict(self) # JSON格式数据
self.DATA_XML = readFileToXML.json2XML(self) # XML格式数据
def getTime(self):
'''
文件名格式：zmonitor.2017-04-06-14_28
把文件名的中的时间信息截取出来。格式：2017-04-06 14:28:00
'''
getTime_str = self._filename.partition(".")[2].replace("_", ":")
# name.partition(".")的结果为("zmonitor", ".", "2017-04-06-14_28")
getTime_list = list(getTime_str)
getTime_list[10] = " " # 字符串不可以单独修改，则修改格式为列表格式，修改后再整体修改为字符串格式。
getTime_str = "".join(getTime_list)
return getTime_str+":00"
def readFileToDict(self):
'''
解析原始文件，提取信息存为字典格式（JSON）
'''
JSON_dict = {"hosts": {}} # 用于这里原始文件的数据，编排成JSON格式。
fileUpdataTime = readFileToXML.getTime(self) # 取文件名中包含的时间。
JSON_dict["datetime"] = fileUpdataTime
with open(self.filepath, "r", encoding="utf-8") as file:
for line in file:
line = line.replace("\n", "")
line_item = line.split("\t")
if line_item[1].endswith("_cpu"):
ip = line_item[0] # IP地址
name = line_item[1].partition('_')[0] # 机器名
num3 = line_item[2] # 不知道做什么的三位数
CPU_utilization_percentage = line_item[3].partition(":")[2] # CPU占用率 **%
CPU_utilization_percentage = CPU_utilization_percentage.replace("%", "") # CPU占用率 去掉%号
CPU_utilization_percentage = str(float(100) - float(CPU_utilization_percentage)) # 求得CPU空闲时间
if not ip in JSON_dict["hosts"]: #判断JSON_dict中索引是否存在，如不在则创建
JSON_dict["hosts"][ip] = {} # 用IP做索引（用IP做一级目录）
JSON_dict["hosts"][ip]["ip"] = ip # 添加机器名到JSON_dict
JSON_dict["hosts"][ip]["name"] = name # 添加机器名到JSON_dict
JSON_dict["hosts"][ip]["num3"] = num3 # 添加不知道什么的3位数，到JSON_dict
# CPU占用率
JSON_dict["hosts"][ip]["CPU_utilization_percentage"] = CPU_utilization_percentage
elif line_item[1].endswith("_memval"):
ip = line_item[0] # IP地址
num3_2 = line_item[2] # 不知道做什么的三位数+
temp_info = line_item[3].split(" ")
#print(temp_info)
Physical_memory_TOTAL = temp_info[6] #.replace("GB", "") # 物理内存总量
Physical_memory_USED = temp_info[8] #.replace("GB", "") # 物理内存使用量
Physical_memory_FREE = temp_info[11] #.replace("GB", "") # 物理内存剩余量
if not ip in JSON_dict["hosts"]: # 判断JSON_dict中索引是否存在，如不在则创建
JSON_dict["hosts"][ip] = {} # 用IP做索引（用IP做一级目录）
JSON_dict["hosts"][ip]["ciNum"] = "(被监控服务器的ID，预留字段)" # 添加被监控服务器ID到JSON_dict
JSON_dict["hosts"][ip]["num3"] = num3_2 # 添加不知道什么的3位数，到JSON_dict
JSON_dict["hosts"][ip]["Physical_memory_TOTAL"] = Physical_memory_TOTAL # 添加内存总量
JSON_dict["hosts"][ip]["Physical_memory_USED"] = Physical_memory_USED # 添加使用量
JSON_dict["hosts"][ip]["Physical_memory_FREE"] = Physical_memory_FREE # 添加剩余空间量
else:
print("文件内部格式错误，请检查第二列，*****_cup 和 ******_memval,是否合规。")
print("错误信息如下：%s" % line_item[1])
return JSON_dict
def json2XML(self):
'''
生成XML文档。
'''
doc = Document() #创建DOM文档对象
root = doc.createElement('root') # 创建根元素
doc.appendChild(root)
Platform = doc.createElement('Platform') # 创建root下第一节点Platform
Platform.setAttribute("date", self.DATA_JSON["datetime"]) # **赋值时间
root.appendChild(Platform)
PlatformNum = doc.createElement('PlatformNum') # 创建Platform第一节点PlatformNum
PlatformNum.setAttribute("description", "数据中心监控平台编号，以便识别，*****************************")
PlatformNum_title = doc.createTextNode("1872_ZABBIX")
PlatformNum.appendChild(PlatformNum_title)
Platform.appendChild(PlatformNum)
Module = doc.createElement('Module') # 创建Platform第一节点Module
Module.setAttribute("description", "模块编号")
Module_title = doc.createTextNode("M1")
Module.appendChild(Module_title)
Platform.appendChild(Module)
datas = doc.createElement('datas') # 创建root下第一节点datas
root.appendChild(datas)
for ip in self.DATA_JSON["hosts"]:
data = doc.createElement('data')
data.setAttribute("ciNum", "CI201702230001(被监控服务器的ID，预留字段)")
data.setAttribute("datetime", self.DATA_JSON["datetime"])
data.setAttribute("host", self.DATA_JSON["hosts"][ip]["name"])
data.setAttribute("ip", self.DATA_JSON["hosts"][ip]["ip"])
data.setAttribute("itemName", "CPU idle time") # CPU空闲时间
data.setAttribute("itemValue", self.DATA_JSON["hosts"][ip]["CPU_utilization_percentage"])
data_title = doc.createTextNode("") # 为了解决自闭合标签。
data.appendChild(data_title) # 为了解决自闭合标签。
datas.appendChild(data)
data = doc.createElement('data')
data.setAttribute("ciNum", "CI201702230001(被监控服务器的ID，预留字段)")
data.setAttribute("datetime", self.DATA_JSON["datetime"])
data.setAttribute("host", self.DATA_JSON["hosts"][ip]["name"])
data.setAttribute("ip", self.DATA_JSON["hosts"][ip]["ip"])
data.setAttribute("itemName", "Total memory") # 总内存
data.setAttribute("itemValue", self.DATA_JSON["hosts"][ip]["Physical_memory_TOTAL"]) # 总内存
data_title = doc.createTextNode("") # 为了解决自闭合标签。
data.appendChild(data_title) # 为了解决自闭合标签。
datas.appendChild(data)
data = doc.createElement('data')
data.setAttribute("ciNum", "CI201702230001(被监控服务器的ID，预留字段)")
data.setAttribute("datetime", self.DATA_JSON["datetime"])
data.setAttribute("host", self.DATA_JSON["hosts"][ip]["name"])
data.setAttribute("ip", self.DATA_JSON["hosts"][ip]["ip"])
data.setAttribute("itemName", "Free real memory") # 空闲内存
data.setAttribute("itemValue", self.DATA_JSON["hosts"][ip]["Physical_memory_FREE"]) # 空闲
data_title = doc.createTextNode("") # 为了解决自闭合标签。
data.appendChild(data_title) # 为了解决自闭合标签。
datas.appendChild(data)
return doc.toprettyxml(indent='')
def makeXML(self):
f = open(self._filename+'.xml', 'w', encoding="UTF-8")
f.write(self.DATA_XML)
f.close()
调试代码：（调试代码和代码在同级目录下）
# -*- coding: utf-8 -*-
import readFileToXML as RFTX
# 实例化
TEST = RFTX.readFileToXML("zmonitor.2017-04-06-14_28")
#TEST = RFTX.readFileToXML("C:\\Users\\Asktao\\PycharmProjects\\CSV_to_XML\\zmonitor.2017-04-06-14_28")
# 在当前目录下生成XML文件
TEST.makeXML()
# 打印JSON格式数据
print("JSON格式：%s" % TEST.DATA_JSON)
# 打印XML格式数据
print("XML格式：\n %s " % TEST.DATA_XML)
print(TEST._path) # 路径
print(TEST._filename) # 文件名
后记：
领导4月7号周五上午布置任务，要求月底之前交。结果开开心心干了半天就看小说了。周六日开开心心睡大觉。结果今天上午10点就说这两天就要。哎，亏着勤劳，一上午就弄完了。要不然就被领导坑了。大家共勉吧，勤劳共勉。
领导改需求了，要在linux当脚本跑，于是改了一下调用方式。