关于基于机器学习的异常检测算法（回归算法）的学习１

 异常是大型数据集中的任何异常序列或模式。

回归分析是一种预测性的建模技术，主要表示自变量和因变量之间的某种关系，目标就是将数据点拟合成一条曲线，

线性回归是回归分析的一种，是指一个或者多个自变量和因变量之间的线性关系。分为一元线性回归和多元线性回归。

１.回归方程通用公式
       h(w) = w1x1 + w2x2 + … + wnxn + b
               =w＊x + b 
       其中x为特征值，h(w)为目标值，w为回归系数(权重)，b为偏置
      回归算法的目的是为了找出ｗ（回归系数）和ｂ（偏置）的大小，为了减少数值上的误差通常会使用最小二乘法的线性代数解和梯度下降优化。

２.均方误差

由于目标值和实际值存在误差，所以需要用一个合适的工具来估计并极大减少所所偏离的误差，从而引出均方误差。

记J(a,b)为f(x)和y之间的差异，即

由上述公式可以知道，J(a,b)是二次函数（凹函数），存在最小值，使得f(x)和y最靠近，从而进一步确定ａ，ｂ的值。

３.确定ａ，ｂ的值的三种方法

１.最小二乘法

既然损失函数J(a,b)是凸函数，那么分别关于a和b对J(a,b)求偏导（二次函数确定最小值），并令其为零解出a和b。这里直接给出结果：

 

解得ａ和ｂ：

 

２.梯度下降法

公式如下：对于凹函数，一定存在最小值，

 因此不管a的预设值取多少，J(a)经过梯度下降法的多次重复后，最后总能到达最小值。

３.正规方程（没太看懂）

假设有n组数据，其中目标值（因变量）与特征值（自变量）之间的关系为：

正规方程的公式：

推导过程如下：
记矩阵
向量

则

损失函数为：

对损失函数求导并令其为0，有

解得

 （注意点：特征值不止一个，得筛选特征值）

＊部分图片来源于机器学习算法——线性回归（超级详细且通俗）

以上是今天学习的地方，也终于体会到大学学好高数的重要性，继续努力加油学习！！