基于机器学习的异常点检测算法

1、概要

        本来想着自己基于UEBA的概念搞一个账号安全检测和网络攻击的模型，但是近期有点忙，没太多时间去研究实现了，下面就主要利用目前常用的几个异常检测算法做了一个案例比对，包括：One-Class SVM、Isolation Forest（孤立森林）、Local Outlier Factor（局部异常因子LOF）主要利用python的sklearn实现。

关键词：异常点检测；网络安全；机器学习；

2、概念

        我们依旧不去讨论过多模型算法的理论和复杂的公式，主要针对三种算法进行简单的阐述和区别！

• One-Class SVM：单分类算法，通过超平面去进行异常点的区分，数据较多时不太适合使用
• Isolation Forest：从超空间的角度看，这样就是不断地用随机选取的超平面切分样本点，直到所有的样本点都被这些超平面“孤立”起来。算法的所占内存少。
• Local Outlier Factor：局部异常因子是基于密度的，是通过点之间的距离来计算的，点之间距离越远，密度越低，距离越近，密度越高的概念实现异常点检测。

3、案例

        如下为python使用sklearn的的代码案例，生成图示分别是按照models的顺序进行异常点检测的结果图示：

from sklearn.svm import OneClassSVM
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
# 解决中文
plt.rcParams['font.sans-serif']=['SimHei']
# 解决负数显示
plt.rcParams['axes.unicode_minus'] = False

x,y = make_blobs(n_samples=200,centers=2,random_state=100,cluster_std=1.2)
plt.figure(figsize=(8, 8))
plt.subplot(221)
plt.subplots_adjust(left=None, bottom=None, right=None, top=None,wspace=0.2, hspace=0.2)
plt.title("原始数据")
plt.scatter(x[:,0], x[:,1])
# plt.show()

models = [
    ("One-Class SVM", OneClassSVM(nu=0.15, kernel='rbf',gamma=0.1)),
    ("Isolation Forest", IsolationForest(contamination=0.15, random_state=42)),
    ("Local Outlier Factor", LocalOutlierFactor(n_neighbors=20))
]
loc = 222
for name,model in models:
    print(name,model)
    plt.subplot(loc)
    plt.title(name)
    if name == 'Local Outlier Factor':
        y_pred = model.fit_predict(x)
    else:
        model.fit(x)
        y_pred = model.predict(x)
    plt.scatter(x[:,0], x[:,1],c=y_pred)
    loc +=1
plt.show()

 4、UEBA概念

        随着企业业务及用户增多，产生大量的数据信息，数据信息是企业和用户重要的核心资产，关乎企业的发展和用户自身安全，所以为了防止第三方人员通过非法途径获取数据，需要有一种安全机制和手段避免数据被窃取，避免给企业和用户造成巨大损失。而一部分的原因是系统本身的用户登录方式存在安全漏洞，本文将结合当前流行的用户实体行为分析(User and Entity Behavior Analytics，UEBA)系统利用机器学习算法实现异常用户检测模型，从“被动防御”到“主动出击”。

         实现UEBA需要基于用户自身行为基线检测特征例如：用户名、登录地点、登录IP、登录时间、登录方式、登录时间段、 基于用户与用户之间行为基线检测特征 用户名、登录频次、常用IP数量、登录时长、是否是活跃用户、操作频次、常用登录地点、密码错误频次，其次根据TCP/UDP层一些数据包进行特征提取，最终通过多模型进行分析预测。

 以上就是今日分享，希望大家点赞关注加收藏~