Coursera上的Andrew Ng《机器学习》学习笔记Week2
Coursera上的Andrew Ng《机器学习》学习笔记Week2
作者：雨水/家辉，日期：2017-01-18，CSDN博客：http://blog.csdn.net/gobitan
Lecture 1: Linear Regression with Multiple Variables多元线性回归
多个参数的线性回归与单参数并没有特别不同。但有一点有所不一样：当有多个参数的时候，如果两个参数的尺度差异太大，会导致收敛速度不一致。可采用feature scaling和mean normalization解决。
梯度下降算法实践：特征尺度(Feature Scaling)和mean normalization 均值归一化
Gradient Descent Practice： Learning Rate
Features and Polynomial Regression(多项式回归)
上图感觉未完全懂？
normal equation标准方程
多元回归的标准方程推导：Xθ=y --> XT Xθ= XT y -->XTX θ= XT y -->(XTX)-1 XTX θ =(XTX)-1 XTY --> θ= (XTX)-1 XTy
Octave的表达：pinv(x'*x)*x'*y
梯度下降算法与标准方程对比：
Normal Equation Noinvertibility 标准方程的不可逆
讲的是(x'*x)不可逆的情况，如：
[1] 冗余的特征(比如参数之间线性依赖)
[2] 参数太多(eg. m<=n) 注：m为样本数，n为特征数
Lecture 2: Octave/Matlab Tutorial
这部分知乎上有比较全的讲解，可参考： https://zhuanlan.zhihu.com/p/22484964 Octave/Matlab教程-Coursera-斯坦福-机器学习
Octave入门
%表示行注释
;表示该行的值不输出，如下所示：
>> a=3;
>> a=3
a = 3
>>
其他例子：
>> a=pi
a = 3.1416
>> disp(a)
3.1416
>> format long
>> a
a = 3.14159265358979
sprintf的使用类似C语言的格式化
矩阵的输入：
>> A=[1 2; 3 4; 5 6]
A =
1 2
3 4
5 6
>>
冒号表达式的规则是告诉octave创建一个以第一个数字开始并以1递增至第二个数的向量。在第一和第 二个数之间可以插入第三个参数来声明向量中元素之间的递增量。如下所示：
>> 1:3
ans =
1 2 3
>> 1:0.5:3
ans =
1.0000 1.5000 2.0000 2.5000 3.0000
>>
>> ones(2,3)
ans =
1 1 1
1 1 1
>> zeros(1,3)
ans =
0 0 0
>>
rand(M,N) 创建一个MXN的矩阵，元素为随机值
hist直方图
diagonal matrix对角矩阵
>> eye(4)
ans =
Diagonal Matrix
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
>>help eye
Moving Data Around
>>who %查看当前的变量
>>whos %查看当前变量的详情
>>save hello.dat A; %将A保存至hello.dat文件
>>clear A %清除变量A
>>load hello.dat %加载数据文件hello.dat
Computing on data
矩阵乘法A*B
A.*B表示对应的元素相乘，类似写法A.^2表示A的每个元素做平方，1./A表示1除以每个元素
>> A=[1 2; 3 4]
A =
1 2
3 4
>> 1./A
ans =
1.00000 0.50000
0.33333 0.25000
>> log(A)
ans =
0.00000 0.69315
1.09861 1.38629
>>
A(:)将矩阵转为一个向量，如：
>> A(:)
ans =
1
3
2
4
>>
类似的还有指数exp，绝对值abs，直接用负号-作为前缀，最大值max，求和sum
>> B=[1; 2; 3]
B =
1
2
3
>> sum(B)
ans = 6
>>
矩阵的转置A'
A(m:n)表示取向量的第m个元素到第n个元素进行赋值。对于矩阵来说，元素编号是从上到下，从左向右依次编号。
记住两点：
[1] :表示取向量的元素。前面的数字表示开始的序号，后面的数字表示结束的序号。如果数字省略了，前面的默认值就是1，后面默认值就是最后一个；
[2] ,表示索引矩阵中的某个值。前面的数字表示行序号，后面的数字表示列序号。
Plotting Data数据可视化
>> t=[0:0.01:0.98];
>> y1=sin(2*pi*4*t);
>> plot(t,y1) % 画图
>> xlabel('time') % x轴标签
>> ylabel('value') % y轴标签
>> legend('sin') % 图例
>> title('my plot') % 标题
>> print -dpng 'myplot.png' % 保存图
figure用于画多张图，subplot用于多个图画在一张上面。
imagesc用于给矩阵画图
Control Statements: for, while, if statement
for循环语句
>> for i=1:10,
> v(i)=2^i;
> end
while循环语句
>> i = 1;
>> while i<=5,
> v(i) = 100;
> i = i+1;
> end;
if语句
>> if i==1,
disp('The value is one.')
else
disp('The value is not one.')
end;
The value is not one.
>>
定义函数
>> function y = squareThisNumber(x)
y=x^2;
end;
>> squareThisNumber(4)
ans = 16
>>
也可以将函数定义在文件中，文件以m结尾，然后将其路径添加到Octave的路径中。
>> addpath('C:/Users/dhu/Desktop') % 添加搜索路径
成本函数的定义如下所示：
Vectorization向量化
参考资料：
[1] https://www.coursera.org/learn/machine-learning
[2] https://zhuanlan.zhihu.com/p/22484964 Octave/Matlab教程-Coursera-斯坦福-机器学习