网络安全和机器学习

1. 机器学习在网络安全领域的挑战

近年来，机器学习在各个领域被广泛应用，然而在网络异常检测领域却很少在实际环境中应用。
1. 网络异常检测对精确度要求很高，对错误容忍率较低（对比推荐系统，语音识别等）;
2. 网络异常检测要求结果具备可解释性;
3. 测试数据集（比如DARPA）无法反应实际环境；
4. 网络正常环境复杂多变。
所以，当我们想要将机器学习用于网络异常检测以及其他网络安全相关方面时，首先需要思考这些问题。

2. 分类

2.1 恶意特征提取
提取恶意行为的特征，用于匹配恶意行为。这种方式，一般误报率比较低，然而无法检测未知恶意行为。

2.2 异常检测
为正常行为建模，不符合正常，则为异常。这种方式，如果正常数据和异常数据的模型有重叠，则会出现误报。

2.3 混合方式
综合2.1和2.2，旨在降低异常检测的误报率。

2.4 扫描检测
比如识别Nmap扫描等，这种比较成熟了。

2.5 隐私保护

3. 机器学习技术

3.1 Artificial Neural Networks (ANN)
可以用来做IDS的多分类
特征选取： protocol ID,source port, destination port, source address, destination
address, ICMP type, ICMP code, raw data length and raw data.
3.2 Bayesian Network
用于表示变量之间的联系
3.3 Clustering
3.4 Decision Tree
3.5 Hidden Markov Model
3.6 Support Vector Machine

参考：
[1] Outside the Closed World: On Using Machine Learning for Network Intrusion Detection
[2] 关于机器学习和网络安全的一些资料：https://zhuanlan.zhihu.com/p/26934186
[3] 《Data Mining and Machine Learning in Cybersecurity》
[4] A Survey of Data Mining and Machine Learning Methods for Cyber Security Intrusion Detection