十个基础算法

监督学习对于有标签的特定数据集（训练集）是非常有效的，但是它需要对于其他的距离进行预测。

无监督学习对于在给定未标记的数据集（目标没有提前指定）上发现潜在关系是非常有用的。

强化学习介于这两者之间—它针对每次预测步骤（或行动）会有某种形式的反馈，但是没有明确的标记或者错误信息。本文主要介绍有关监督学习和无监督学习的10种算法。

1. 决策树（decision trees）

决定：分支数目，条件，停止，base hypothesis

• CART
  一个二元分类树&回传一个最佳常数&分类通过purifying
  optimal constant：regression 错误是平方错误，选择平均数。
  classification 选择大多数。
  计算impurity 使用Gini

停止条件：
y都相同or x都相同（待分类）

2. 朴素贝叶斯分类(Naive Bayesian classification)

基础思想：求解每个待分类项下各个类别的出现概率

3.最小二乘法

4.逻辑回归

从问题出发，想得到一个概率，使用logistic function作为hypotheses，error是通过最大似然估计得到的cross-entropy，想要最小化error，用西塔来平均，通过梯度下降来得到solution。

是否有心脏病？这是一个二元分类问题，classification err是我在意的
心脏病的几率是多少?
target function f(x)=P(+1|x)属于[0,1],对每个x，得到一个分数，通过logistic function得到一个概率。
光滑的，单调的，s型的。

三个linear models：

logistic regression error function：

cost function

从极大似然法中得到：

梯度i下降条件：平滑，可微，二次可微，convex。
w更新：

logistic regression algorithm

最后只需要约等于零，或者足够多次迭代。

多分类：one-versus-all，缺点是unbalanced，优点是可应用与任何logistic regression-like approaches。

读了博客的几点思考：

1，LR模型属于概率性判别模型。大部分分类算法都是生成模型，求解P(C|x)，这是一个后验概率，基于贝叶斯公式可以计算得到。 P(A|B)=P(AB)/P(B)。分类算法将输入空间划分为很多不相交的区域，分隔面即判别函数，从判别函数进行分类生成模型，最终也是为了得到判别函数。
LR并不知道数据的具体分布，直接将判别函数（分类超平面）求解出来。

5.支持向量机

support vector machine hypothesis：

SVM是一个大间距分类器。decision boundary：线性可分。当C非常大时，那木打比较小，说明正则话的影响比较小，容易过拟合。
推导过程

6.ensemble

7.聚类

• Kmeans

K-means algorithm
随机选择几个样本作为初始均值向量，计算样本与各均值向量的距离，根据最近的向量标记簇。
结束后更新新的均值向量。
知道当前的均值向量不再更新

8.PCA

9.SVD

提取矩阵向量。

10.独立成分分析ICA

提升树模型

• GBDT
  gradient boosting