《白话机器学习的数学》公式整理

看书的时候感觉某些公式前后相似度较高,所以放一起比较看看差别在哪。

  • 线性回归。

         最小二乘法的回归曲线 fθ(x) 和目标函数 E(θ)。 

        《白话机器学习的数学》公式整理_第1张图片

         标准化(z-score规范化)μ 是均值,σ 是方差。 

        《白话机器学习的数学》公式整理_第2张图片

  • 多项式回归。

         最速下降法(梯度下降法)。

        《白话机器学习的数学》公式整理_第3张图片

         多重回归,换成矩阵相乘而不必使用循环遍历。

        《白话机器学习的数学》公式整理_第4张图片 

        《白话机器学习的数学》公式整理_第5张图片

        

        

         均方误差。

        

        这个看起来跟回归的目标函数很像,书本有描述。

《白话机器学习的数学》公式整理_第6张图片

《白话机器学习的数学》公式整理_第7张图片

  •  随机梯度下降法。

        

        小批量梯度下降法。

         

  • 感知机,判别函数 fw(x) 和更新表达式(括号里面是判别标签和实际标签)。

        《白话机器学习的数学》公式整理_第8张图片

        《白话机器学习的数学》公式整理_第9张图片

         权重向量 ω 和 直线 χ 的内积,和权重向量 ω 是 χ 法线向量的直线方程

        《白话机器学习的数学》公式整理_第10张图片

  •  逻辑回归。

        sigmoid函数。 

        

        似然函数,参数更新表达式。

        

        决策边界

        《白话机器学习的数学》公式整理_第11张图片 

  • 线性不可分的决策边界。

        《白话机器学习的数学》公式整理_第12张图片

  • 模型评估

        精度 Accuracy。

        

        精确率,TP 是 + (Positive)标签被正确分类的 + 标签。FP 是 - (Negative)标签被错误分类为 + 标签。

        《白话机器学习的数学》公式整理_第13张图片

         召回率,FN 是 + 标签被错误分类为 - 标签。

        《白话机器学习的数学》公式整理_第14张图片

        F值,F1值,调和平均值。

        

        带权重的F值,上面的为下面公式权重为 1 时的特例。

        

        K折交叉验证。

        《白话机器学习的数学》公式整理_第15张图片

        令 K = 4,四折交叉验证。

         《白话机器学习的数学》公式整理_第16张图片

  • 正则化

        L2正则化。

        《白话机器学习的数学》公式整理_第17张图片  

        回归正则化。 

        《白话机器学习的数学》公式整理_第18张图片

        分类正则化。

《白话机器学习的数学》公式整理_第19张图片

         负号解释。

《白话机器学习的数学》公式整理_第20张图片

        加入正则化后的更新表达式。根据上面的描述,因为将分类的最大化问题换成了最小化问题,所以现在回归和分类都在求最小值,故下面的参数更新可以合并为一个式子表示。

        《白话机器学习的数学》公式整理_第21张图片

        L1正则化。

        《白话机器学习的数学》公式整理_第22张图片 

你可能感兴趣的:(机器学习,概率论,机器学习,线性代数)