[机器学习]斯坦福公开课-第1，2课-监督与非监督矩阵以及梯度下降

    本人作为技术小白，首次通过观看斯坦福公开课学习机器学习，现在将所学到的内容记录如下

一，明确机器学习，神经网络以及深度学习之间的关系：

     机器学习：设计和分析一些学习算法，让计算机从训练样本中获得规律获取决策函数。当有输入时，通过决策我们就知道我们我们所输入的为哪一类了

     神经网络：众多的机器学习算法中较为接近生物的神经网络的数学模型。神经网络由模拟神经网络的结构和功能，由大量的相互联接构成，可对数据间的复杂关系建模

      深度学习：超过一层的神经网络

二，机器学习算法的分类

  机器学习分为（1）有监督的学习：给算法提出一种标准答案。算法学习标准输入与标准答案的关系，从而获得更标准的答案。对于有监督的学习，必须知道哪个是正确的答案

                              有监督的学习包括回归问题（需要预测的变量时连续的）和分类问题（需要预测的变量不是连续的)

                              (2) 无监督的学习：算法会自动找寻这样的结构，聚类问题：数据自动的聚成两类

三，回归问题，有监督的学习

 m:  training examples(训练样本的个数） m=6

 x::   输入变量      y；输出变量          （x,y)：训练样本

代码如下：

x=[1.15 1.9 3.06 4.66 6.84 7.95]
y=[1.37 2.4 3.02 3.06 4.22 5.42]

plot(x,y,'r.'）

系统函数是经过训练样本得到的系统函数，和很多的特征有关比如说房子的大小，卧室的多少等等，

x1可以表示为size,x2可以表示是卧室的个数，等

      其中前者表示的是预测的第i个房子的价格，后者表示的是实际的房子的价格，J表示的是误差函数

我们的目标是找出合适的,使得最后的J最小

---------------------------------------------------------------------------------------------------------------分割线------------------------------------------------------------------------------------------------------------

理论部分结束，现在我们学习一些使得   J最小的   的算法

(1)批梯度下降算法

J会向梯度下降的最快的方向（即梯度方向）走，一定会停止，因为是局部最优，不同的初始值，结果是不同的   

代码:

实验结果如下

（2）增量梯度下降（随机梯度下降）

增量梯度下降和批梯度下降的推导基本相似，但是随机梯度下降是看第一个训练样本，并进行一次梯度下降，更新新的训练样本，然后再进行一次梯度下降

这相比于批量梯度下降来说，当训练样本m很大的时候，不至于过分的冗余。

代码：

实验结果如下

(3）最小二乘法

   

x矩阵，y矩阵如下，其中下标i表示第i个特征，上标j表示第j个样本：也就是说一共有m个样本，每个样本有n个特征

代码：

实验结果如下：

  --------------------------------------------------------分割线-----------------------------------------------------------------------------------------------------------------------

根据以前的大神们的博客，个人认为看完斯坦福的每节课程，然后在csdn上总结下来，再思考每节课程所涉及的算法，这样会很牢固的掌握机器学习的理论和应用。继续加油哦哦哦