机器学习初级重要概念

机器学习初级重要概念

 

数据的归一化计算

z-score 归一化

min-max归一化

 

动态学习率与动量的优化算法

adadelta

动量

adam

rmsprop

 

神经网络的FP和BP的计算与推导

激活函数是什么？如何计算？导数是什么？

输入数值如何进行计算输出值

如何求得任意的参数的梯度

下一轮的参数会如何进行梯度更新

 

Loss函数/方差/交叉熵

分类和回归的Loss函数

如何求loss

 

信息论中对于熵的计算

信息熵

条件熵

信息增益

交叉熵

相对熵

 

基本概念均值/方差/中位数/概率/条件概率/朴素贝叶斯预测/分布

 

求导/求偏导/牛顿法/梯度下降

一元函数的求导

多元函数的求导

Loss函数对于参数的梯度下降更新

Loss函数对于参数的牛顿法下降更新

 

求解矩阵四则运算/通过矩阵解方程/零空间/最小二乘/LP范数