根据空气SO2,NO,NO3,PM2.5等的含量实现对空气质量的评价

背景及挖掘目标

我国的空气质量分为5级，对健康影响水平的评语有7个，它们是：优（一级，0-50）、良（二级，51-100）、轻微污染（三级1， 101-150）、轻度污染（三级2，151-200）、中度污染（四级1，201-250）、中度重污染（四级2，251-300）与重污染（五级，大于300）。括号中的数值是空气污染指数，数值越高，表明污染物浓度越大。但“优、良、污染”这样的评语并没有让公众明白它们对健康的影响程度。我国的空气质量日报已超过十年，公众仍不清楚：今天的空气到底是安全还是不安全。有人根据空气中SO2,NO,NO3,PM2.5等的含量，进行建模实现对空气质量的评价。

建模步骤

1 数据提取
根据某地实时监控的数据进行预处理，部分样本数据如下

建模样本数据

2 读取数据

#-*- coding: utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt
inputfile = '../data/air1.xls' #读取数据路径
outputfile1 = '../tmp/air_train.xls' #混淆矩阵输出路径
outputfile2 = '../tmp/air_test.xls' #混淆矩阵输出路径
data = pd.read_excel(inputfile, encoding = 'gbk') #读取数据
print (data.head())
data = data.as_matrix()
from numpy.random import shuffle #
shuffle(data) #打乱数据
data_train = data[:int(0.8*len(data)), :] #4：1划分
data_test = data[int(0.8*len(data)):, :] 
x_train = data_train[:, :6]*30#因为样本数据较小，所以进行扩大化，经过实验30最合适，如果太大则过拟合，太小就欠拟合
y_train = data_train[:, 6].astype(int)
x_test = data_test[:, :6]*30
y_test = data_test[:, 6].astype(int)

3 svm建模

from sklearn import svm
airsvm = svm.SVC()
airsvm.fit(x_train, y_train)
import pickle
pickle.dump(airsvm, open('../tmp/airsvm.model', 'wb'))

利用svm建模，并保存模型
4 结果评价

from sklearn import metrics
air_train = metrics.confusion_matrix(y_train, airsvm.predict(x_train)) 
air_test = metrics.confusion_matrix(y_test, airsvm.predict(x_test))
pd.DataFrame(air_train, index = range(1, 7), columns = range(1,7)).to_excel(outputfile1)
pd.DataFrame(air_test, index = range(1, 7), columns = range(1,7)).to_excel(outputfile2)
print(airsvm.score(x_train, y_train))
print(airsvm.score(x_test, y_test))

训练集的混淆矩阵

测试集的混淆矩阵

从图中看出测试集能取得不错的结果，达到90%以上的准确度