研究型论文_CICIDS2017 数据集中基于异常的入侵检测系统的机器学习基准测试（英文论文）

Benchmarking of Machine Learning for Anomaly Based Intrusion Detection Systems in the CICIDS2017 Dataset

论文摘要

入侵检测系统(IDS)是检测复杂网络攻击的重要防护工具。各种机器学习(ML)或深度学习(DL)算法已经被提出用于实现基于异常的入侵检测(AIDS)。我们对AIDS文献的回顾发现了相关工作中的一些问题，包括选择的算法、参数和测试标准的随机性，旧数据集的应用，或结果的浅层分析和验证。本文通过使用一组不同数据集和攻击类型的标准，综合回顾了以往对AIDS的研究，以设定基准结果，揭示合适的AIDS算法、参数和测试标准。

具体来说，本文应用了10种流行的有监督和无监督ML算法来识别网络和计算机的有效和高效的ML-AIDS。这些有监督的ML算法包括：
人工神经网络(ANN)、决策树(DT)、k-最近邻(k-NN)、朴素贝叶斯(NB)、随机森林(RF)、支持向量机(SVM)和卷积神经网络(CNN)算法，而无监督ML算法包括期望最大化(EM)、k-means、自组织映射(SOM)算法。

介绍了这些算法的几种模型，并对每种算法的转向参数和训练参数进行了研究，以实现最优分类器评价。与以往的研究不同，本研究通过测量31个ML-AIDS模型的真阳性和阴性率、准确性、精密度、召回率和F-Score来评估AIDS的表现。考虑到时间复杂度是影响AIDS的一个重要因素，本文还考虑了ML-AIDS模型的训练和测试时间。ML-AIDS模型通过使用最近的高度不平衡的多类CICIDS2017数据集进行测试，该数据集涉及到真实世界的网络攻击。

总体而言，k-NN-AIDS模型、DT-AIDS模型和NB-AIDS模型检测网络攻击的效果最好，与其他检测结果不规则或较差的模型相比，其检测网络攻击的能力更强。

论文解决的问题

对每种常规机器学习算法进行了实验，并对他们的参数进行了择优。

可以参考该文献使用集成学习的方法，结合每种机器算法的优点，提高集成学习的准确率。

1.ANN（人工神经网络）

激活函数：relu；学习率：0.0001；batch-size：auto；隐层数量：4

1. 参数：优化器，损失函数
   

2. 最优模型：模型2，优化器：Adam；损失函数：categorical crossentropy；Epoch=100

3. 善于区分的类型：C1、C2，不善区分的类型：模型1和模型3都不能判别出C4攻击、C3攻击Accuracy、Recall、F1值较低

4. 总体评估：accuracy：99.31%，precision：99.50%，recall：99.31%，F1：99.22%，train-time：53.78s，test-time：48.03s。

5. 总结：总体准确率较高，但是对C3、C4的判别能力较差，训练时间过长。可以尝试平衡一下数据集来提升准确率。

2.DT（决策树）

1. 参数：最大深度、特征类型（gini、熵）
   

2. 最优模型：模型6，最大深度：None（不做要求）；criterion：熵；平衡了类别权重

3. 善于区分的类型：C1、C2，对C4而言，能力略强于随即猜测；不善区分的类型：模型1、2、4都不能判别出C4攻击、模型4不能判别C3攻击。

4. 总体评估：accuracy：99.49%，precision：99.49%，recall：99.49%，F1：99.49%，train-time：1.23s，test-time：1.12s。

5. 总结：总体准确率较高，但是对C3、C4的判别能力较差，尤其是C4，训练时间很短。可以尝试平衡数据集或者特征提取来优化。

3.knn

1. 参数：k
   

2. 最优模型：模型1，k=1

3. 善于区分的类型：C1、C2，不善区分的类型：模型4和模型5都不能判别出C4攻击、C3攻击Accuracy、Recall、F1值较低

4. 总体评估：accuracy：99.49%，precision：99.50%，recall：99.49%，F1：99.49%，train-time：11.13s，test-time，7.92s。

5. 总结：总体准确率较高，但是对C3、C4的判别能力较差，训练时间较短。因为高维空间中knn的效果不会很好，所以可以使用特征降维来优化。

4.NB（朴素贝叶斯）

1. 参数：NB类型
   

2. 最优模型：只用了一个默认模型

3. 善于区分的类型：C1，不善区分的类型：C2、C3、C4，尤其不擅长区分C2，C3、C4的精准率较低

4. 总体评估：accuracy：98.86%，precision：99.01%，recall：98.86%，F1：98.85%，train-time：1.07s，test-time：0.15s。

5. 总结：总体准确率较高，但是对C2、C3、C4的判别能力较差，训练时间很短。可以再去试试别的类型的NB。

5.RF（随机森林）

1. 参数：树的个数、树的最大深度
   

2. 最优模型：模型5，树的个数：100；最大深度：None不限制；平衡了类别权重

3. 善于区分的类型：C1、C2，不善区分的类型：C3、C4，模型1判别不了C3、C4、模型2、3判别不了C4.

4. 总体评估：accuracy：99.54%，precision：99.56%，recall：99.54%，F1：99.55%，train-time：9.38s，test-time：6.76s。

5. 总结：总体准确率较高，但是对C3、C4的判别能力较差，训练时间较短。可以再增加树的个数，平衡数据集来优化。

6.SVM

1. 参数：核函数、最大迭代次数
   

2. 最优模型：模型4，核函数：RBF；最大迭代次数：-1；平衡了类别权重

3. 善于区分的类型：C1，不善区分的类型：C2、C3、C4，前三个模型都不能区分C4，C2的判别能力稍强于随即猜测。

4. 总体评估：accuracy：96.72%，precision：99.27%，recall：96.72%，F1：97.89%，train-time：343.56s，test-time：33.17s。

5. 总结：总体准确率较高，但是对C2、C3、C4的判别能力较差，训练时间过长。平衡数据集优化。

7.CNN

1. 参数：epoch
   

2. 无较优模型

3. 善于区分的类型：C1、C2，不善区分的类型：C3、C4，都无法区分C4.

4. 总体评估：accuracy：99.50%，precision：99.46%，recall：99.50%，F1：99.47%，train-time：261.8s，test-time：1.73s。

5. 总结：总体准确率较高，但是对C3、C4的判别能力较差，训练时间过长。

8.其他

无监督算法：K-means、EM、SOM准确率都太低了，没有太大参考价值

总结

这篇文章重点在于它的实验部分。