孤立森林

iForest 由t个iTree（Isolation Tree）孤立树 组成，每个iTree是一个二叉树结构，其实现步骤如下：

1. 从训练数据中随机选择Ψ个点样本点作为subsample，放入树的根节点。

2. 随机指定一个维度（attribute），在当前节点数据中随机产生一个切割点p——切割点产生于当前节点数据中指定维度的最大值和最小值之间。

3. 以此切割点生成了一个超平面，然后将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p的数据放在当前节点的右孩子。

4. 在孩子节点中递归步骤2和3，不断构造新的孩子节点，直到 孩子节点中只有一个数据（无法再继续切割） 或 孩子节点已到达限定高度 。

获得t个iTree之后，iForest 训练就结束，然后我们可以用生成的iForest来评估测试数据了。对于一个训练数据x，我们令其遍历每一棵iTree，然后计算x最终落在每个树第几层（x在树的高度）。然后我们可以得出x在每棵树的高度平均值，即 the average path length over t iTrees。*值得注意的是，如果x落在一个节点中含多个训练数据，可以使用一个公式来修正x的高度计算，详细公式推导见原论文。

获得每个测试数据的average path length后，我们可以设置一个阈值（边界值），average path length 低于此阈值的测试数据即为异常。

(异常在这些树中只有很短的平均高度). *值得注意的是，论文中对树的高度做了归一化，并得出一个0到1的数值，即越短的高度越接近1（异常的可能性越高）。

iForest算法默认参数设置如下：

subsample size: 256

Tree height： 8

Number of trees: 100

通俗解释就是——建100棵iTree，每棵iTree最高8层，且每棵iTree都是独立随机选择256个数据样本建成。

与有监督学习相比，有监督学习有一条最佳拟合曲线，曲线的一边被认为是正常数据，曲线的另一边被认为是异常数据。
无监督学习是个分类集合的过程，根据特征对输入的数据进行划分，根据数据所属的簇进行预测。

实践场景说明：

用户阶段性行为数据的判断，如果不采用规则的形式，是否可用算法替代或补充。
考虑到使用有监督将带来巨大的制造样本压力，并且样本会极端化，故考虑无监督模型。

0x01选择算法

参考
https://zhuanlan.zhihu.com/p/33919957
调研算法优劣，得到几个比较符合需求的算法，但是都有不满足的问题。

• TSNE聚类算法:

    问题1：只能对数据进行操作，没办法生成模型再为其他数据所用。
    放弃。
  

• k-means算法

    问题1:对于孤立点是敏感的，但是需要确认k值进行聚类。同一时间段内我们无法提前感知需要设置的k值量。
    放弃。
  

• 孤立森林算法（倾向）:

    问题1.孤立森林样本多特征无法降维放进二维图表展示
    问题2.如果异常请求过多，容易将异常请求决策为为正常结果
  

  由于比较感兴趣孤立森林的决策树，在此对比官网示例了解其运行机制：

0x01示例demo

官方链接这里这里～
http://scikit-learn.org/stable/auto_examples/ensemble/plot_isolation_forest.html

IsolationForest demo：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import IsolationForest

rng = np.random.RandomState(100) #种子数量

# Generate train data
X = 0.3 * rng.randn(100, 2)
#创建100*2的训练样本数组，
X_train = np.r_[X + 2, X - 2]
#将样本中的所有数据分别+2 ，-2，np.r_()并将这两个结果合并到一维数组。
#关于np.r_()与np.c_()可见特别说明2
# Generate some regular novel observations
X = 0.3 * rng.randn(20, 2)
X_test = np.r_[X + 2, X - 2]
# Generate some abnormal novel observations
X_outliers = rng.uniform(low=-5, high=5, size=(20, 2))
#生成最大为4，最小-4的20*2的数组。

# fit the model
clf = IsolationForest(behaviour='new', max_samples=100,
                      random_state=rng, contamination='auto')
#创建对象并对模型做配置，最大样本数量100。
clf.fit(X_train)
#用训练数据拟合模型
y_pred_train = clf.predict(X_train)
#用拟合好的模型去分类训练数据
y_pred_test = clf.predict(X_test)
#用拟合好的模型去分类测试数据 ,该数据样本与训练数据差不多相同。
y_pred_outliers = clf.predict(X_outliers)
#用拟合好的模型去分类测试数据,该数据样本与训练数据有些偏差。取的是-5 到5 范围内。

for i,tree in enumerate(y_pred_test):
    print(X_test[i],tree)
#tree为-1为异常，1为正常。特别说明1中详述。

###后面都是图片展示的功能了，如果无需可视化，可直接注销掉后面所有代码。

# plot the line, the samples, and the nearest vectors to the plane
xx, yy = np.meshgrid(np.linspace(-10, 10, 50), np.linspace(-10, 10, 50))
#生成-5到5之间，包含50个数字的等差数列。如np.linspace(0,100,5) 则生成[0 25 50 75 100]
#meshgrid生成网格函数，xx,yy说明为二维网格函数
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
#.ravel()为降一维-行序优先
# np.c_矩阵相加
#decision_function为样本距离超平面的距离。
Z = Z.reshape(xx.shape)
#reshapce()将某个数组维度调整为和另一数组维度相同
plt.title("IsolationForest")
plt.contourf(xx, yy,Z, cmap=plt.cm.Blues_r)

b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c='white',
                 s=20, edgecolor='k')
b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c='green',
                 s=20, edgecolor='k')
c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c='red',
                s=20, edgecolor='k')
plt.axis('tight')
plt.xlim((-10, 10))
plt.ylim((-10, 10))
plt.legend([b1, b2, c],
           ["training observations",
            "new regular observations", "new abnormal observations"],
           loc="upper left")
plt.show()

特别说明1：

for i,tree in enumerate(y_pred_test):
    print(X_test[i],tree)

此段代码可直接对鼓励森林作出结果的展示。
若此时选择展示出y_pred_test的结果，如下。
可见根据训练X_train的数据来说，与他基本相同的数据集仅有一小部分为异常数据。

[2.18132706 1.72789087] 1
[2.17760698 1.86888068] 1
[2.03053273 2.39250405] -1
[2.41628054 1.47938266] -1
[2.08651323 1.89827437] 1
[2.15821074 1.88770913] 1
[2.14312769 1.5710712 ] 1
[2.12231196 1.75151588] 1
[2.12703718 1.95214479] 1
[2.37232463 2.49906089] -1
[1.80141869 3.03956814] -1
[2.11743159 2.09817361] 1
[1.90659588 1.57260332] 1
[1.81253834 1.96700138] 1
[2.28588783 1.70499121] 1
[1.67163284 1.92759538] 1
[1.82146585 1.70515643] 1
[2.02646898 1.81917219] 1
[2.33766664 2.27811599] -1
[1.3192529  1.89554881] -1
[-1.81867294 -2.27210913] 1
[-1.82239302 -2.13111932] 1
[-1.96946727 -1.60749595] -1
[-1.58371946 -2.52061734] -1
[-1.91348677 -2.10172563] 1
[-1.84178926 -2.11229087] 1
[-1.85687231 -2.4289288 ] 1
[-1.87768804 -2.24848412] 1
[-1.87296282 -2.04785521] 1
[-1.62767537 -1.50093911] -1
[-2.19858131 -0.96043186] -1
[-1.88256841 -1.90182639] 1
[-2.09340412 -2.42739668] 1
[-2.18746166 -2.03299862] 1
[-1.71411217 -2.29500879] 1
[-2.32836716 -2.07240462] 1
[-2.17853415 -2.29484357] 1
[-1.97353102 -2.18082781] 1
[-1.66233336 -1.72188401] 1
[-2.6807471  -2.10445119] -1

可视化如下：

 

(白色数据为训练数据集，绿色为测试数据集)

for i,tree in enumerate(y_pred_outliers):
    print(X_outliers[i],tree)

若这里采用差异较大的X_outliers作为数据集，结果如下。可见除了一个正常的点，其他均为异常点。

[ 3.39970099 -0.45836448] -1
[-1.78634161 -4.07280133] -1
[-4.39562068 -4.09048833] -1
[1.82706456 1.80735767] 1
(唯一正常数据)
[-2.56825834  1.40461442] -1
[-4.30860817  3.72919962] -1
[-3.9039305  -3.30944235] -1
[-0.32622009  2.75949219] -1
[ 3.54444516 -2.89613555] -1
[-4.23358131  2.88914797] -1
[0.47500001 2.86254863] -1
[ 4.20047043 -0.19027234] -1
[-0.4044633   0.98979155] -1
[0.99318781 0.04373451] -1
[-1.9312147  0.4135298] -1
[4.24926943 4.70550802] -1
[-1.0420539   2.98745273] -1
[ 1.35088148 -2.70030835] -1
[-4.48792907 -4.71536194] -1
[-3.77152248 -2.79787482] -1

可视化如下：

 

(白色数据为训练数据集，绿色为差异小的测试数据集，红色为差异较大的测试数据集)

特别说明2：
np.r_和np.c_的区别：
>>> import numpy as np
>>> a=np.array([1,2,3])
>>> b=np.array([4,5,6])
>>> print(np.r_[a,b])
[1 2 3 4 5 6]
>>> print(np.c_[a,b])
[[1 4]
[2 5]
[3 6]]
>>> c=np.array([a,b])
>>> c
array([[1, 2, 3],
[4, 5, 6]])
>>> c=np.c_[a,b]
>>> c
array([[1, 4],
[2, 5],
[3, 6]])
>>> print(np.c_[b,c])
[[4 1 4]
[5 2 5]
[6 3 6]]

0x02孤立森林的决策方法调整

由于这种方法存在两种前面提过的问题，考虑能否将此算法决策部分做调整。适应场景。

待更。

0x03数据集准备

由flink计算每个时间段内关注点的值，传入算法中得出正负结果集。

 

 

链接：https://www.jianshu.com/p/04c7c4a86ffd

链接：https://www.jianshu.com/p/5af3c66e0410