【机器学习】个人基础知识梳理

开个帖子，把之前看的一些机器学习基础整理整理。

// TODO， 2016-5-10 22:52:43

#supervised:

#classification:
1) logistic regression
2) KNN
3) Naive Bayes
4) SVM
5) decision tree
6) ANN
7) 高斯判别模型
8) soft max，logistic回归推广到多分类
9) 感知器模型
#regression:
1) linary regression，线性回归
2）多项式回归
3) 局部加权回归
#unsupervised:
1) 聚类，降维，密度分析
2) k-means
3) PCA(利用SVD实现)
4) 混合高斯模型

#关联分析
1) aprior


#推荐
1) userBased
2) itemBased
3) contentBased


#优化目标
1)   最小二乘法，函数模型
2）极大似然估计，概率模型


#优化算法
1）梯度下降，批量，随机
2）牛顿法
3）坐标上升
4）EM
5)  SMO
6）拉格朗日，KKT, 对偶问题


#距离和相似度
1）欧式距离
2）L范数
3）余弦相似度， 文本相似度
4）jaccard相似度， 
5) pearson correlation， 皮尔逊相关系数， 用户相似度
6）汉明距离
7）编辑距离


#数据处理
1) 归一化
2) 拉普拉斯平滑
3) 局部加权，钟型函数法


#欠拟合和过拟合问题
1）欠拟合，增强模型
2）过拟合：增加数据，简化模型，增加惩罚项即正则化，


#分布
1）贝努力
2）多项式分布
3）高斯分布
4) 泊松分布
5）指数分布
6）均匀分布
7）指数分布族，包含上面所有
8）共轭分布


#生成函数
1）sigmoid函数
2）高斯函数
3）多项式函数
4) 伽马函数


#模型验证
1) 保留交叉验证
2）K轮交叉验证
3）留一交叉验证
4）两类错误：去真，取伪
5) 训练误差（经验误差），一般误差，测试误差


#特征选择
1）类似aprior，1个1个增加特征
2）一个一个减少


#桶方法提速
1) Local senstiable hashing, LSH, 局部敏感哈希
2）KDT


#特征提取
1）具体问题具体分析
2）文本：TFIDF
3）图像：sift