22吴恩达机器学习小记

1. 多分类问题的引入：识别手写数字。首先将数字图片转换为灰度图像，将20＊20分辨率的图像生成400维的向量，标签则为0～9，考虑兼容性可将0映射为10。然后可以采用逻辑回归，神经网络等监督学习算法。

2. 计算参数向量可以采用梯度下降算法或fminunc函数，都需要计算代价函数和梯度的表达式。防止过拟合需要加上正则化表达式。theta0为截距不需要正则化，所以写带正则化的代价函数和梯度时要注意。向量化替代循环，可用线性代数维度检查。

3. 多分类逻辑回归的处理方式：采用一对多的方式，训练出多个回归模型，最终选取输出最大值的模型作为其分类模型。采用针对大样本更加高效的fmincg函数求出最小值参数向量。

4. 设计求随机序列中第k小数字的算法：针对每个数字遍历序列进行比较；采用归并排序的方法排列序列然后取索引值。

5. 感知器，神经网络算法的表达式，采用sigmoid激励函数则为多层逻辑单元，向量化操作，权重矩阵，前向传播算法预测分类问题，注意多分类时标签y的向量表述。

6. 栈线性结构，后进先出，特性为反转序列，反转字符串可采用栈实现：首先遍历字符串的每一个字符，压栈，而后当栈不为空时不断出栈，赋值给变量连接。

7. 神经网络算法流程，反向传播算法求偏导数，代价函数，尝试向量化计算代价函数。

8. 神经网络算法代价函数的向量化表示，配合正则化的向量化表示。

9. 数据结构队列，特性先进先出。

10. 进一步思考了神经网络算法的代价函数，加深了理解。

11. 理解后向传播算法，误差的反向传递，为链式法则的运用。通过每个样本的误差计算其梯度矩阵，累积梯度矩阵取均值作为神经网络的梯度矩阵。