浅谈从机器学习到深度学习

       机器学习分为频率派和贝叶斯派。频率派发展成统计机器学习，贝叶斯派发展成概率图模型。频率派有“四化”，如图所示，正则化有很多种，在损失函数后面加一个惩罚项，比如线性回归里面的L1和L2正则化，每个模型的正则化项不一定相同；核化用处非常多，常见的有kernel SVM，另外在降维也有用到，比如kernel PCA。集成方法现在非常多，bagging代表是随机森林，boosting代表有AdaBoost,GBDT,Xgboost等等，还有stacking和blending。层次化经典的深度神经网络，这里的深就是层次深。概率图模型加上深度之后变成深度生成模型。从广义上讲，深度生成模型和深度神经网络都是深度学习。