吴恩达深度学习Course1-Week(1)(2)

吴恩达深度学习Course1-Week(1)(2)

---

一、影响神经网络的性能的因素

神经网络的性能与神经网络的规模有关，其次，还与训练集的大小有关。在训练集次数较少时，主要与训练集的大小有关；当训练集足够大时，主要与神经网络的结构规模有关。

二、逻辑回归(logistic regression)中的一些符号(Notation)规定

1、x表示样本，是nx x 1维度的向量
2、w是 m x 1维的向量
2、X表示训练集，nx是当个样本的维度，m表示样本的个数，X矩阵是nx x m大小的。
3、Y表示标签集，x(i)与y(i)一 一对应，Y矩阵是1 x m 维的

三、逻辑回归中的激活函数

1、常用激活函数有sigmod
2、ReLU
3、我的理解是：逻辑回归是一个二元分类问题，问题的结果只有0和1，需要用激活函数将预测的结果归一化到0和1之间，所以逻辑回归选用sigmod作为激活函数。

四、损失函数(loss function)与成本函数(cost function)

1、loss function 损失函数是用于描述单个样本的预测值与实际值之间的接近程度。
2、cost function 成本函数是用于描述整个训练集的预测值与实际值之间的接近程度。所以一般选用成本函数的不同导数来对连接权值进行更新（梯度下降法）

五、梯度下降法(Gradient Descent)

J(w,b)表示成本函数，梯度下降法的核心思想是从任意起始点开始，一直搜寻到成本函数值最小的点所对应的w，b
梯度下降法的w，b更新公式：w=w-adJ(w)/dw；b=b-adJ(w)/dw
【注】梯度下降法只适用于凹函数

六、前向传播(forward)与反向传播(backward)

以逻辑回归为例，简单来说：神经网络其实就是一个输入X到输出Y的映射函数；前向传播实际上是通过X确定Y的过程，正向运算，通过神经网络的结构一步一步计算最终得到Y的过程；反向传播实际上是求损失函数关于神经网络各层的导数的问题（计算相关导数），对损失函数求和取平均，从而确定成本函数的相关导数，用于跟新w，b的参数值。

七、梯度下降法的伪编程

1、定义模型结构（例如输入特征的数量）
2、初始化模型的参数
3、循环：
3.1 计算当前损失（正向传播）
3.2 计算当前梯度（反向传播）
3.3 更新参数（梯度下降）

1、首先对所有参变量进行0初始化
2、通过前向传播确定成本函数
3、通过反向传播确定成本函数的各阶导数
4、更新w，b
5、一次迭代完成

八、向量化(Vectorization)加快运算速度

该向量化，仅去除1个for loop

w是（m，1）维 X是（nx,m）维
该向量化去除了所有的for loop
写成向量形式来进行运算，大大提高运算速度。需要掌握