从数据库读取特定日期数据然后进行分析并画图展示之二---按日期统计每日告警总量-2

[{"2019-08-26": 973, "2019-08-27": 1017, "2019-08-28": 946, "2019-08-29": 939, "2019-08-30": 955, "2019-09-02": 955, "2019-09-03": 983, "2019-09-04": 944, "2019-09-05": 974, "2019-09-07": 978}, {"2019-09-07": 342}, {"2019-08-26": 159, "2019-08-27": 163, "2019-08-28": 147, "2019-08-29": 131, "2019-08-30": 125, "2019-09-02": 153, "2019-09-03": 156, "2019-09-04": 152, "2019-09-05": 150, "2019-09-07": 146}, {"2019-09-07": 43}]

按日期统计的结果如上图，用一个json文件保存，里面存的一个列表，该列表由四个字典组成，第一个字典是统计全网告警的日期和每日的告警数，第二个字典是最新日期的有告警的站点总数，第三个字典是VIP区域的告警日期和每日告警数，第四个字典是最新日期的VIP区域有告警的站点总数。

了解了代码的输出结果，再看代码就比较简单：

1. 上面提到的四个字典由get_date_fmsum_dict，get_num_fm，get_latest_fm_station，get_11qu_num_fm四个函数分别完成；
2. 最终结果保存到wjj_fm.json这个json文件中，这个文件作为一个数据中转，后面的画图展示函数会用到这个文件中的数据。

# -*- encoding=UTF-8 -*-
__author__ = 'wjj1982'
__date__ = '2019/8/31 23:20'
__product__ = 'PyCharm'
__filename__ = '按日期统计每日告警总量'

import pandas as pd
import os
import json


def get_date_fmsum_dict(date_fm_list):
    """输入一个list，统计出list中每个元素的出现次数，最后返回一个元素:次数的字典，用在本模块中，
    就是返回告警日期:每日告警总数的字典"""
    date_list = sorted(list(set(date_fm_list)))
    date_fmsum_dic = {}
    for i in date_list:
        date_fmsum_dic[i] = date_fm_list.count(i)
    return date_fmsum_dic


def get_latest_fm_station(date_fm_list, fm_station_list):
    """输入两个list，一个是告警日期list，一个是告警站点list，函数功能就是处理两个list，
    得到最新告警日期的所有站点list，然后通过set去重，len得到告警站点数"""
    latest_date = sorted(list(set(date_fm_list)), reverse=True)[0]
    fm_station_list_latest = []
    for i in range(len(date_fm_list)):
        if date_fm_list[i] == latest_date:
            fm_station_list_latest.append(fm_station_list[i])

    return {latest_date: len(list(set(fm_station_list_latest)))}


def get_num_fm(filename):
    """该函数的功能：按日期统计告警总表中每日告警总数，这里分两种情况，一种是没有删除AAU断引起的小区退服（.xlsx），
    一种是全表（.csv），所以通过文件后缀直接区分处理。最终返回一个日期:告警总数的字典,还有一个最新日期：告警站点数的字典"""
    if '.xlsx' in filename:
        df_csv = pd.read_excel(filename, sheet_name='删除AAU断和外部掉电后的小区告警')
    else:
        filename_csv = open(filename, 'r')
        df_csv = pd.read_csv(filename_csv)
        filename_csv.close()
    date_fm = df_csv['告警日期']
    fm_station = df_csv['网元北向标识']
    date_fm_list = list(date_fm)
    fm_station_list = list(fm_station)
    latest_fmstanum_dict = get_latest_fm_station(date_fm_list, fm_station_list)
    date_fmsum_dict = get_date_fmsum_dict(date_fm_list)
    return date_fmsum_dict, latest_fmstanum_dict


def get_11qu_num_fm(filename_suoyou):
    """输入两个表，一个是统计日期内的所有告警表，一个是精品区域的站点表，通过两个表共有的'网元北向标识'字段，
    以精品区域站点表为筛选条件从告警总表中筛选出精品区域站点的(告警日期:网元北向标识)的字典，还有一个最新日期：告警站点数的字典"""
    filename_11qu = '精品区域站点清单_20190824.xlsx'
    pd_csv_11qu = pd.read_excel(filename_11qu, sheet_name='精品区域内计划开通站点数-0824')
    fm_code = '新GNBID'
    filename_suoyou = open(filename_suoyou, 'r')
    pd_csv_suoyou = pd.read_csv(filename_suoyou)
    filename_suoyou.close()
    date_fm_list = []
    fm_station_list = []

    for i in range(0, pd_csv_suoyou.shape[0]):
        if pd_csv_suoyou.iloc[i]['网元北向标识'] in list(pd_csv_11qu[fm_code].values):
            date_fm_list.append(pd_csv_suoyou.iloc[i]['告警日期'])
            fm_station_list.append(pd_csv_suoyou.iloc[i]['网元北向标识'])

    # print(get_latest_fm_station(date_fm_list, fm_station_list))
    latest_jingpin_fmstanum_dict = get_latest_fm_station(date_fm_list, fm_station_list)
    date_fm11qu_dict = get_date_fmsum_dict(date_fm_list)
    return date_fm11qu_dict, latest_jingpin_fmstanum_dict


if __name__ == '__main__':
    # 每次重新运行时先删除wjj_fm.json
    if os.path.exists('wjj_fm.json'):
        os.remove('wjj_fm.json')
        
    filename = input('输入告警总表:')
    date_fmsum_dict, latest_fmstanum_dict = get_num_fm(filename)
    date_fm11qu_dict, latest_jingpin_fmstanum_dict = get_11qu_num_fm(filename)
    fmsum_list = [date_fmsum_dict, latest_fmstanum_dict, date_fm11qu_dict, latest_jingpin_fmstanum_dict]
    # 用json文件传递两个字典：全网的{日期：当日告警总数}和精品区域的{日期：当日告警总数}
    with open('wjj_fm.json', 'w') as wf:
        json.dump(fmsum_list, wf)