基于OpenAPI工具包以及LSTM的CDN网络流量预测

基于LSTM的CDN网络流量预测

本案例是基于英特尔CDN以及英特尔 OpenAPI Intel® Extension for TensorFlow* Intel@ oneAPIDPC++ Library 的网络流量预测,CDN是构建在现有网络基础之上的智能虚拟网络,目的是将源站内容分发至最接近用户的节点,使用户可就近取得所需内容,提高用户访问的响应速度和成功率。CDN智能调度中的流量分配算法、95调度算法与错峰调度等算法的有效性高度依赖域名流量的趋势,若能较为准确的预测域名流量的趋势,则可以提升调度算法的效果。与此类似的还有零售预测、供需预测等相关场景。

时间序列预测按数据及场景类别主要可分为单元时序预测(单变量)、多元时序预测、单步预测(预测)、多步预测几类。时间序列预测算法有基于统计的、基于机器学习的和基于深度学习的等等。
本文根据实际场景(单元多步时序预测),针对多线路预测问题,从数据分析到模型预测,采用LSTM,端到端实现CDN网络流量预测模型。

实验步骤

1.代码和数据集
本案例使用的数据集是来自于脱敏过的CDN网络流量预测项目数据集,因此数据及模型精度较真实效果有点偏差,打开压缩包后使用代码和数据集

2 查看数据
构建任何模型之前,都需要先对数据集进行分析,了解数据集的规模、属性名、属性值等情况。因为我们要先了解数据,才能用好数据

2.1 读取csv文件
pandas是常用的python数据分析模块,我们先用它来加载数据集中的csv文件。以time_series_1.csv为例,我们先加载该文件来分析数据的情况

import pandas as pd
df_data = pd.read_csv("./network_traffic_forecast/data/time_series_1.csv")

2.2 查看单个csv文件数据的规模

print('单个csv文件数据的规模,行数:%d, 列数:%d' % (df_data.shape[0], df_data.shape[1]))
单个csv文件数据的规模,行数:68601, 列数:4

2.3 查看前20行数据
使用pandas加载csv后,得到的是一个DataFrame对象,可以理解为一个表格,调用该对象的head()函数,我们查看一下该表格的头20行数据

df_data.head(20)
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

基于OpenAPI工具包以及LSTM的CDN网络流量预测_第1张图片

如上所示是表格的头20行数据,表头是属性名,属性名下面是属性值,各属性含义如下:

属性名 属性含义
基于OpenAPI工具包以及LSTM的CDN网络流量预测_第2张图片

2.3.1 查看单条线路数据情况

df_data[(df_data['att1'] == 0) & (df_data['att2'] ==0)]
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead th {
    text-align: right;
}

基于OpenAPI工具包以及LSTM的CDN网络流量预测_第3张图片

… … … … …

5717 rows × 4 columns

如上所示,以att1=0,att2=0 查看单条线路{区域,运营商}数据情况,可以看到数据是1min采样一次,共4天。

2.3.2 查看数据时序性情况
画出每条线路数据曲线图,根据曲线图判断数据时序性

import time
import matplotlib.pyplot as plt
from intel_tensorflow import IETensor

# 使用 Intel 的工具包 tensorflow

# 假设 df_data 包含 'att1', 'att2', 'TimePoint', 'Value' 列
# 如果列名不同,请修改下面的代码以匹配实际的列名

# 将时间戳转换为可读的时间格式
df_data["TimePoint"] = df_data["TimePoint"].apply(lambda x: time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(x)))
# 将数据按 'att1' 和 'att2' 分组,并绘制曲线图
fig, ax = plt.subplots(figsize=(20, 10))

for name, group in df_data.groupby(["att1", "att2"]):
    # 使用 Intel 工具包进行加速或优化操作,例如 IETensor 类
    x = IETensor(group['TimePoint'].values)
    y = IETensor(group['Value'].values)

    ax.plot(x, y, label=name)

plt.title('每条线路数据曲线图 (使用 Intel 工具包)')
plt.xlabel('时间')
plt.ylabel('数值')
plt.legend()
plt.show()


df_data.groupby(["att1","att2"]).describe()

print(df_data['Value'].min())
print(df_data['Value'].max()) 
INFO:matplotlib.font_manager:font search path ['/home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf', '/home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/afm', '/home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/pdfcorefonts']

INFO:matplotlib.font_manager:generated new fontManager
att1  att2

0     0       AxesSubplot(0.125,0.125;0.775x0.755)

      1       AxesSubplot(0.125,0.125;0.775x0.755)

      2       AxesSubplot(0.125,0.125;0.775x0.755)

1     0       AxesSubplot(0.125,0.125;0.775x0.755)

      1       AxesSubplot(0.125,0.125;0.775x0.755)

      2       AxesSubplot(0.125,0.125;0.775x0.755)

2     0       AxesSubplot(0.125,0.125;0.775x0.755)

      1       AxesSubplot(0.125,0.125;0.775x0.755)

      2       AxesSubplot(0.125,0.125;0.775x0.755)

3     0       AxesSubplot(0.125,0.125;0.775x0.755)

      1       AxesSubplot(0.125,0.125;0.775x0.755)

      2       AxesSubplot(0.125,0.125;0.775x0.755)

Name: Value, dtype: object

基于OpenAPI工具包以及LSTM的CDN网络流量预测_第4张图片

时间序列数据构成要素:长期趋势,季节变动,循环变动,不规则变动。

  1. 长期趋势(T)现象在较长时期内受某种根本性因素作用而形成的总的变动趋势。
  2. 季节变动(S)现象在一年内随着季节的变化而发生的有规律的周期性变动。
  3. 循环变动(C)现象以若干年为周期所呈现出的波浪起伏形态的有规律的变动。
  4. 不规则变动(I)是一种无规律可循的变动,包括严格的随机变动和不规则的突发性影响很大的变动两种类型。
    分析:

如上图所示,是将数据按照(att1,att2)分组后,每条线路的曲线示意图,图上每条曲线则对应不同的线路,横轴为时间,纵轴为单条线路对应的Value值。根据图中曲线及以上时间序列数据特点,可得出以下结论:

  • 数据存在周期性 每天一个周期,同一线路各周期间数据范围大致相同,不存在趋势性,季节性由于数据较少,暂看不出来,
  • 共31个区域,每个{区域,运营商}]对应一条具体的线路,即共31*3条线路 每条线路大致趋势相同,但是量级不一样 需要进行归一化
    数据峰值处波动较大,其余部分较平缓
  • 整体数据质量较好,不需要进行数据平滑等使得数据变平稳的操作,后续建模预测未来10min,将主要依赖待预测点前一段时序数据进行预测。
  • 数据中无明显脱离整体趋势范围的异常值。
    2.4 数据分析
    查看数据的统计值及空值情况
df_data.groupby(["att1","att2"]).describe()
.dataframe tbody tr th {
    vertical-align: top;
}

.dataframe thead tr th {
    text-align: left;
}

.dataframe thead tr:last-of-type th {
    text-align: right;
}
att1 att2 count mean std min 25% 50% 75% max
0 0 5717 2.756998e+08 1.471390e+08 85.107962 1.608420e+08 2.940786e+08 3.754438e+08 6.095700e+08
1 0 5686 5.480488e+07 2.756697e+07 51.327340 3.322805e+07 5.950805e+07 7.381292e+07 1.162919e+08
2 0 5724 2.188223e+08 1.181942e+08 65.711383 1.333125e+08 2.329354e+08 2.915056e+08 5.042825e+08
1 1 5715 1.861563e+07 9.069485e+06 38.332234 1.034681e+07 2.209178e+07 2.592819e+07 3.338421e+07
1 2 5725 1.258266e+08 6.321933e+07 4.381480 6.769589e+07 1.459575e+08 1.770747e+08 2.377960e+08
2 2 5746 5.218107e+07 2.650715e+07 4.772777 2.804430e+07 6.088992e+07 7.308530e+07 9.835380e+07
2 0 5732 1.179337e+08 6.204479e+07 36.191396 6.684485e+07 1.292305e+08 1.580988e+08 2.522959e+08
1 1 5696 3.024132e+07 1.488895e+07 49.353860 1.792033e+07 3.356871e+07 4.138216e+07 5.848370e+07
2 2 5756 1.024740e+08 5.487324e+07 146.927647 5.985492e+07 1.095121e+08 1.376453e+08 2.203716e+08
3 0 5708 1.271339e+08 6.343431e+07 109.510294 7.234194e+07 1.381774e+08 1.783945e+08 2.426037e+08
1 1 5711 4.340486e+07 2.045753e+07 6.857371 2.588623e+07 4.660798e+07 6.067043e+07 7.981218e+07
2 2 5685 1.991225e+08 9.818788e+07 1.169489 1.234276e+08 2.079243e+08 2.744293e+08 3.993022e+08

数据在时间列采样上存在缺失值,需要进行缺失值填充

对于count列,不同的att1与att2组合(不同线路)对应的count长度不同,正常情况下,数据有4天,应该是1440*4 = 5760个点,说明数据在时间列采样上存在缺失值,需要进行缺失值填充

查看Value列的最大最小值

由于以上分析中,value的max和min显示并不直观,因此这里再做具体分析

print(df_data['Value'].min())
print(df_data['Value'].max()) 
1.1694885305466325

609569980.8860668

可以看到最小值是1.1694885305466325,最大值为609569980.8860668,无小于等于0的异常值;

你可能感兴趣的:(lstm,人工智能,rnn)