PM2.5数据集LSTM时序预测python3代码
PM2.5数据集LSTM实现预测
- 数据集说明
- 主要步骤
- 环境
- 全部代码
- 转化为监督数据
- 导入数据集
- 归一化
- 转化为监督数据
- 删除不需要预测的列
- 分割为训练集和数据集
- LSTM
- 反归一化
- 真实值与预测值的对比
数据集说明
本实验采用的PM2.5空气质量数据集来自UCI公共数据集网站，包含了一系列与空气质量有关的天气数据，此数据集为多变量时间序列，每个记录的间隔为一小时，实例数量为43824条，其中前24条未在数据集中使用。该数据集是从2010年初到2014年底收集的美国驻华使馆的空气质量数据，在此实验中选择了具有实值的43800条作为实验数据，预测的因变量值为PM2.5这个属性。
主要步骤
实验过程主要分为以下几步：
- 读取数据文件。
- 时间序列数据转化为监督学习问题，并进行数据归一化。
- 去除在本实验中无用的列。
- 数据集分为测试集和训练集，以及验证集。
- Keras与tensorflow训练单层LSTM网络。
- 用测试集进行预测。
- 数据反归一化。
- MAE (Mean Absolute Error，平均绝对误差)与RMSE(Root Mean Squared Error, 均方根误差)对训练集的预测结果进行评估。
- 通过图像与真实值的曲线作对比。
环境
Keras:2.3.1, Tensorflow:2.1.0,python3.7
全部代码
//都是机器学习常用最新的工具包
from math import sqrt
from numpy import concatenate
from matplotlib import pyplot
from pandas import read_csv
from pandas import DataFrame
from pandas import concat
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import mean_squared_error
from sklearn.metrics import mean_absolute_error
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
转化为监督数据
def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):
n_vars = 1 if type(data) is list else data.shape[1]
df = DataFrame(data)
cols, names = list(), list()
for i in range(n_in, 0, -1):
cols.append(df.shift(i))
names += [('var%d(t-%d)' % (j+1, i)) for j in range(n_vars)]
for i in range(0, n_out):
cols.append(df.shift(-i))
if i == 0:
names += [('var%d(t)' % (j+1)) for j in range(n_vars)]
else:
names += [('var%d(t+%d)' % (j+1, i)) for j in range(n_vars)]
agg = concat(cols, axis=1)
agg.columns = names
if dropnan:
agg.dropna(inplace=True)
return agg
导入数据集
dataset = read_csv('PM2.5.csv', header=0, index_col=0)
values = dataset.values
encoder = LabelEncoder()
values[:,4] = encoder.fit_transform(values[:,4])
values = values.astype('float32')
归一化
scaler = MinMaxScaler(feature_range=(0, 1))
scaled = scaler.fit_transform(values)
转化为监督数据
reframed = series_to_supervised(scaled, 1, 1)
删除不需要预测的列
reframed.drop(reframed.columns[[9,10,11,12,13,14,15]], axis=1, inplace=True)
print(reframed.head())
分割为训练集和数据集
values = reframed.values
n_train_hours = 10000
train = values[:n_train_hours, :]
test = values[n_train_hours:, :]
#划分自变量和因变量
train_X, train_y = train[:, :-1], train[:, -1]
test_X, test_y = test[:, :-1], test[:, -1]
train_X = train_X.reshape((train_X.shape[0], 1, train_X.shape[1]))
test_X = test_X.reshape((test_X.shape[0], 1, test_X.shape[1]))
print(train_X.shape, train_y.shape, test_X.shape, test_y.shape)
LSTM
print('LSTM')
model = Sequential()
model.add(LSTM(128, input_shape=(train_X.shape[1], train_X.shape[2])))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='mae', optimizer='adam',metrics=['mae'])
history = model.fit(train_X, train_y, epochs=20, batch_size=130, validation_data=(test_X, test_y), verbose=2, shuffle=False)
yhat = model.predict(test_X)
test_X = test_X.reshape((test_X.shape[0], test_X.shape[2]))
反归一化
inv_yhat = concatenate((yhat, test_X[:, 1:]), axis=1)
inv_yhat = scaler.inverse_transform(inv_yhat)
inv_yhat = inv_yhat[:,0]
inv_y = scaler.inverse_transform(test_X)
inv_y = inv_y[:,0]
真实值与预测值的对比
pyplot.figure(figsize=(10,5))
pyplot.title('100 hours')
pyplot.plot(inv_y[:100],label='Real')
pyplot.plot(inv_yhat[:100],label='LSTM')
pyplot.legend()
pyplot.show()