机器学习公式推导

文章目录

    • 线性回归
    • 逻辑回归
    • 线性判别分析
    • PCA
    • k-means
    • 决策树
    • svm
    • 随机深林
    • GBDT
    • xgboost
    • 强化学习
    • MapReduce

线性回归

逻辑回归

对于分类问题:输出0/1,超过[0,1]没有意义,使用sigmoid函数

**代价函数:**使用L2平方差,由于模型函数变了,会导致J()变成非凸函数,有可能出现很多局部最小值,梯度下降很难收敛到全局最小值

线性判别分析

LDA思想:将高维样本投影到具有最佳判别效果的低维矢量空间,使得降维样本在新的子空间内类间距离最大,类内距离最小,在该低维空间内有最大的可分性。

PCA

k-means

决策树


svm

随机深林


GBDT

xgboost

强化学习

MapReduce


你可能感兴趣的:(ML&DL-总结性文章)