机器学习——回归+分类

1.Supervised learning监督学习   

Learn from data labeled with the"right answers"

used most in many real-world applications

the most rapid advancement and innovation进步最快和创新最多的算法
               x-->y
               x--->?

（1）Regression回归

从无限多种可能性中预测出数字的监督学习算法

        预测房价

<1>线性回归模型

通过数据拟合出一直线
【Cost function损失函数（代价函数）】 Squared error cost function

训练使J最小

<2>gradient descent 梯度下降

Learning rate 学习率，通常是一个小的正数

<3>learning rate 学习率

<4>多维特征

向量点乘的向量化实现

使用dot函数优点：并行计算，代码简洁

多元回归梯度下降

<5>normal equation正规方程法

<6>特征缩放——让梯度下降运行更快

同时除以最大值

均值归一化 

Z-score标准化

<7>判断梯度下降是否收敛 

它有没有帮你找到接近代价函数全局最小值的参数。

通过观察这张学习曲线图，你就可以提前得知在哪些时候梯度下降算法会不好使。

<8>选择合适的学习率

调试代码With a small enough a,J(w, b) should decrease on every iteration

<9>特征工程 

（2）Classification分类

一个小的、有限的输出类别集合，拟合边界线

        区分出O和X

<1>逻辑回归（解决分类问题）

sigmoid函数

逻辑回归模型

决策边界 

损失函数

 使用梯度下降得到全局最小值

由于y只能取0或1，所以损失函数可以简化为：

找到合适的w和b（逻辑回归的梯度下降法）

<2>The Problem of Overfitting过拟合（高方差high variance）问题 

解决方法1：增加样本数量

解决方法2：不用那么多项，只挑选最有用的特征（特征选择）选择出你认为最好的特征集，即什么是与预测价格最相关的。
解决方法3：regularization正则化，尽可能地让算法缩小参数的值，而不是要求一定要把参数变成0
正则化的作用是，它让你保留所有的特征，但防止特征权重过大，这有时会导致过拟合。使算法使用更小的参数值w1, w2, w3, w4,最终得到的曲线会更好地拟合数据。通常不对b进行正则化。

<3>正则化

改进代价函数然后使用正则化，通常不对b进行惩罚

拟合数据+使参数wj尽可能的小，减小过拟合。

λ值体现了相对重要性或相对权衡，就是说这两个目标你是如何取舍的。如果λ非常大，比如10的10次方，这个模型缺乏对数据的拟合，所以理想中的入值是介于两者之间的，能恰当的平衡第一项和第二项:最小化均方误差和保持参数wj较小。

Regularized Linear Regression用正则化线性回归来实现梯度下降

即：

正则化原理：每次梯度下降迭代时，用一个略小于1的数字乘以w，来执行普通更新。这也给了我们另一种视角理解正则化为什么可以在每次迭代中缩小wj的值。

Regularized Logistic Rearession 正则化逻辑回归

2.Unsupervised learning无监督学习

Find something interesting in unlabeled data.让算法自己找出有趣的东西，或者这些数据中可能包含的模式或结构

在无监督学习中，我们得到的数据与任何输出标签y都没有关联

（1）Clustering聚类

将未标记的数据放在不同的簇中

（2）Anomaly detection异常检测

Find unusual data points检测异常事件

（3）Dimensionality reduction降维

Compress data using fewer numbers大的数据集压缩为小的数据集同时丢失尽可能少的信息

3.Reinforcement learning强化学习

用的很少