python收入波动告警分析_使用Python/Pandas分析告警日志数据

作者:吕磊

文章来自微信公众号:平台人生

Python

Python是一种面向对象的解释型程序设计语言。作为一种脚本语言,Python在运行性能上相对C/C++等编译型语言有一定不足,但Python语言的学习曲线比较平缓,写出的程序代码简洁,架构清晰,平台兼容性较好;同时PYTHON生态圈拥有大量的扩展模块;这些强大易用的第三方库使得PYTHON在系统运维/网络开发/科学计算/图像处理等领域都有广泛应用。

Pandas

这里的Pandas不是熊猫,而是一个开源的PYTHON数据分析模块,他提供了大量库和标准模块,能够对大型数据集进行快捷的处理和分析。在我们的日常工作中,经常会用到excel的数据透视表功能来对数据进行统计分析,但excel能够实现的功能较为简单,难以扩展,同时excel在数据量过大的场景中也难以发挥用武之地。

利用Pandas,我们可以实现很多excel中难以完成的任务。在本文中我们尝试使用Pandas对10w数量级的告警信息进行统计分析。哪个时段产生的告警数量最多,哪些主机的告警数量最多,哪些次要告警触发了主要告警,以及一些更为复杂的问题都可以通过Pandas来进行数据分析。

PANDAS中的数据结构介绍

在接触实际代码之前,我们先熟悉一下Pandas中常用的数据结构类型。在Pandas中有两类最重要的数据结构

一. Series

Series代表一个一维数组,和常用的List数据结构类似,我们可以把excel文件中的一列值赋给一个Series对象。

二. Dataframe

Dataframe是一个二维表状结构,和二维数组类似,我们可以把excel文件中n列m行的值赋给一个nm大小的Dataframe对象。

本文中主要将用到Dataframe对象,通过操作Dataframe对告警信息进行分析

批量读取xls数据文件

上图就是所有的次要告警数据文件,每个excel文件中有2000条数据。为方便处理,我们首先将所有次要告警的数据汇总,代码如下:

ImportPandas aspd #导入Pandas包

Import os #导入操作系统包

file_list = os.listdir(secondary_data_path)

total_arr = []

for f in file_list:

if f.endswith('.xls'):

df = pd.read_excel(data_path+f) #如果是xls文件则将其内容读取到df变量中

total_arr.append(df)

secondary_df = pd.concat(total_arr) #将所有xls文件内容整合到独个Dataframe中

tdf.to_csv(secondary_data_path +'secondary_total.csv')

汇总后的内容保存到本地文件方便后续操作

这部分代码功能很简单:每次用Pandas模块中的read_excel函数读取一个excel文件,将文件的内容保存到Dataframe类型的变量df中,然后将所有df合并到一个总的secondary_df,为了以后读取方便,我们同时将汇总后的数据保存到secondary_total.csv本地文件中。(同样的数据量,保存为csv格式比xls格式节省空间)。

用同样的方法,将主要告警的数据汇总到primary_df,保存到primary_total.csv文件中。

所有的告警信息都保存到了primary_df和secondary_df这两个Dataframe中,我们后续的所有操作都是基于这两个df。

首先看看告警信息都有哪些属性

我们单独挑出“配置项应用系统”这个属性来计数并排序,看看次要告警数量最多的应用系统都有哪些

数字总是略显枯燥,我们可以使用Python的matplotlib这个库来将数据可视化。根据各系统的告警数量作出柱状图,只需要两行代码

同样的方法,再看看主要告警的情况

接下来我们希望计算各系统主/次要告警的数量比,我们将主/次要告警的数量比看做一个告警传导率,比值越高的,说明次要告警转化为主要告警的传导率越高。

知道哪些系统的告警转化率较高之后,我们可以进一步分析,这些主要告警的告警指标类型都是什么?是CPU类,还是内存类,或是磁盘类?是否和次要告警的告警指标类型相同?下面的代码分别汇总转化率最高系统的主/次要告警类别。

可以看到,该系统中的主要告警主要是CPU使用率类,次要告警中较多的有CPU,磁盘和内存交换页三类。可见由CPU类次要告警触发的主要告警数量较多。如果想要降低主要告警的数量,可以从优化程序代码或增加CPU运算能力的方向着手。

后续我们还可以进行很多更加细化的分析,例如根据系统内主机,告警时间等维度来进行各类统计,可以通过散点图,饼状图,累积柱状图等多种形式对数据进行更加生动的展现。由于篇幅的限制,本文中不对此展开详细描述。

结语

Python/Pandas是一个轻量级的数据分析框架,使用Python/Pandas可以完成很多excel难以实现的功能,同时具备优异的扩展性和灵活性。配合Python的Matplotlib等模块,Pandas在数据可视化/绘图等领域也有很好的表现。本文仅实现了一些非常简单的功能,Pandas更多强大的功能等待待大家去发掘。

你可能感兴趣的:(python收入波动告警分析)