吴恩达机器学习

机器学习的定义：（使用octave编程环境）

1、在没有明确设置的情况下，使计算机具有学习能力——Samuel
2、 计算机程序从经验E中学习，解决某一任务T，进行某一性能度量P，通过P测定在T上的表现因经验E而提高——Tom Mitchell

机器学习算法分类：

1、监督学习（Supervised learning）
2、无监督学习（Unsupervised learning）
3、强化学习（Reinforcement learning）
4、推荐系统（Recommender systems）

监督学习

监督学习为根据数据进行预测结果，分别为回归问题和离散（分类）问题，支持向量机可以允许无穷多个变量。

无监督学习

很少或没有存在的例子，根据数据集的结构找出规律。无监督学习可以将数据集分成不同的簇，例子（谷歌新闻）,算法：聚类算法。

模型描述

模型描述

假设函数

根据已有的数据集得到的函数，并不唯一

代价函数（平方误差代价函数）

代价函数

假设函数与代价函数

一个参数

两个参数（等高图）

梯度下降算法（寻找代价函数最小值）

1、赋值参数的初始值；
2、改变参数值，算出代价函数值直到找到最小

梯度下降公式

梯度下降模型

线性模型梯度下降算法

梯度下降算法也叫做‘batch’梯度下降

矩阵和向量

矩阵是有方括号括起来的m行n列数，可以看做是一个多维数组；
向量是特殊的矩阵，它是只有一列的矩阵；

矩阵相乘

转化为矩阵相乘思想1

转化为矩阵相乘思想2

矩阵相乘不符合交换律，但可以结合律

单位矩阵：正对角线的数都是1，其余为0

逆矩阵：MXN=NXM=I(单位矩阵),那么N就是M的逆矩阵，只有方阵才有逆矩阵。没有逆矩阵的矩阵叫奇异矩阵或退化矩阵。

转置矩阵：把矩阵镜像，行变成列。

转置矩阵

多元梯度下降法

特征缩放减少计算时间

缩放到-1到1的附近

特征缩放1

特征缩放2

学习率选择

学习率选择

正规方程

正规方程

不可逆时该这样做

梯队回归算法和正规方程比较

比较

octave操作

• rand(m)
• randn(m)
• eye(m)
• sqrt(m)
• ==
• ~=
• format long, format short
• pi
• ;
• m:s:n
• dist(m)
• ones(m)
• zeros(m)
• disp(sprintf('2 decimals:%0.2f',a))
• && || xor(a,b)
• size(A)
• size(A,1)：A矩阵的行数
• size(A,2)：A矩阵的列数
• length(A)：A矩阵最大维度的大小
• C:\Users\ang\Desktop：改变当前位置
• ls
• load featureX.dat 或者 load('featureX.dat')：加载文件
• who:显示工作目录的所有变量
• whos:显示变量的详细信息
• clear X:清除某个变量
• clear:清除所有变量
• v= priceY(1:10):将变量的前十个元素存入v变量
• save hello.dat v:将变量v存到hello.dat文档中并写入硬盘
• A(2,:) ：返回第二 行的所有元素
• A(:,2) ： 命令返回第二列
• A([1 3],:)：取矩阵A第一行到第三行的元素
• A = [A, [100, 101, 102]]：加入新的矩阵
• A = [A;[100, 101, 102]]：加入新的矩阵