吴恩达机器学习练习一

吴恩达机器学习练习一

1.     最前面是一些octave的基本操作

照着pdf文档练习就好。

2.     Linear regression with onevariable

从文件获取数据以及呈现在ex1中已经自动做好。个人所要做的最重要的是编写代价函数以及梯度下降算法。

1）线性回归的目的就是最小化代价函数，因此首先要会根据公司计算出代价函数。

 其中

 由于x的每一行代表一个样本，而theta是初始化成列向量，因此实际编写程序计算时实际上是h的计算要变成X*theta。代价函数的计算可以写成向量计算的方式：

predictions = X*theta;

sigma=predictions-y;

J= sigma'*sigma/(2*m);

 

最后一行利用了线性代数中矩阵的计算特点（自己把右边展开下就知道）：（X-Y）²=（X-Y）^T*（X-Y）

 

 

2）梯度下降公式如下：

编程时可以采用向量计算：

 

for iter = 1:num_iters %迭代次数

    h_theta=X*theta;   

      delta=(h_theta-y)'*X;  %注意转置，画出矩阵就知道为什么这么写。

        delta=delta./m;

        theta=theta-alpha.*delta'; % alpha.是学习速率，可以认为是模型的一个超参数。

 

J_history(iter) = computeCost(X, y, theta);

 

3.     Linear regression with multiplevariables

1）当样本的特征x1，x2…取值范围相差很大时，需要做特征缩放，目的是减少迭代次数。

计算时一样采用向量的方式进行计算。尽量不要用循环

mu=mean(X);  %求均值

sigma=std(X);  %求标准差

X_norm=(X_norm-mu)./sigma;  %样本进行特征缩放

2）代价函数的计算及梯度下降

         由于单变量的编程中已经写成向量形式，因此基本上代码不用变可以直接使用。

       注意：由于之前的样本是经过特征缩放并用于学习，因此模型以后如果用于预测，必须把用于预测的特征X进行特征缩放，然后再进行预测。

 

3）可以调整超参数alpha，并打印出代价函数与alpha的关系（同样的迭代次数）

   可以直观的看到学习速率alpha与代价函数收敛快慢的关系。

 

综上所述：alpha与特征缩放都会影响到模型的学习收敛速率。

练习的原始材料可以上coursea注册一个账号，加入课程就可以下载。