深度学习笔记——算法总结

一、 分类问题

1. KNN (距离度量)
2. DT (ID3-信息增益, C4.5-信息增益比, CART-gini指数)
3. RF (bootstrap抽样，CART)
4. Adaboost (样本权值分布，分类器系数)
5. GBDT (CART, 残差)
6. ANN (BP, SGD, sigmod or softmax)
7. SVM (对偶, kernel)
8. NaiveBayes (Bayes公式)
9. LR (sigmod, SGD or BFGS)
10. EM (隐变量，极大似然估计，E步+M步)
11. HMM (markov, 初始状态概率向量，观测概率矩阵，状态转移概率矩阵)
12. CRF(概率无向模型，morkov)

二、 聚类/降维

1. Kmeans
2. PCA
3. Fisher LDA
4. Dirichlet LDA
5. SAE
   深度学习
6. DBN (RBM)
7. SAE
8. RNN
9. LSTM: http://blog.csdn.net/Dark_Scope/article/details/47056361
10. CNN (LeNet, AlexNet, ZFnet, VGGNet, GoogleNet)
11. R-CNN
12. fast R-CNN
13. faster R-CNN
14. R-FCN
15. DRN: http://www.tuicool.com/articles/F77Bzu (or http://blog.csdn.net/u011534057/article/details/51821690)
    注： plain network and highway network

三、相关的概念

1. 先验概率，后验概率
2. 过拟合，欠拟合
3. 正则化
4. 剪枝
5. kernel
6. 对偶
7. 常用距离度量（欧式，曼哈顿，切比雪夫，闵可夫斯基，马氏，夹角余弦，汉明距离， 信息熵）
   四、激活函数
8. logistic-sigmoid: f(x)=1/(1+exp(-x))
9. tanh-sigmoid: f(x)=(1-exp(-x))/(1+exp(-x))
10. soft-plus: f(x)=integral(logistic-sigmoid)=ln(1+exp(x)) (logistic-sigmoid的原函数)
11. Relu (rectifier liner units): f(x)=max(0, x)
    注：soft-plus可以看作是Relu的平滑桥正