专项一：深度学习与神经网络-第二周

1.神经网络训练过程

 神经网络训练过程可分为前向传播和反向传播两个独立的部分。

• 前向传播主要指根据已知推出结果的过程，求代价函数。
• 反向传播主要指根据已知的代价求梯度的过程。

2.逻辑回归

基本与机器学习的逻辑回归类似，只是表达参数的方式不同：吴恩达机器学习-第三周

• 神经网络中通常X特征的布置方式为$n\times m$的矩阵，每一列为一个样本的n个特征，m列代表m个样本；
• Y的矩阵为$1\times m$；
• 单个训练样本的称损失函数，多个样本为总代价称为代价函数；
• 逻辑回归的假设函数为$\hat{y}$;
• 未引入$x_0=1,{\theta }_0=1，而是对{\theta }_0单独处理，b代表{\theta }_0$

3.计算图

 对于复杂问题，可以画一画计算图，即从最基本的参数组合直至最终的输出参数的过程。

4.Python广播机制

 numpy广播机制，如果两个数组做运算，维度不同，其中一个有一个方向维度为1 ，则会自动补全。

5.第二周编程作业

实现功能：判断图片是否为猫咪。
实现流程：

1. import一些模块，numpy，matplotlib等
2. 加载数据，图片分为RGB，图片组成为由三个矩阵组成，每个矩阵是由像素值组成，三个分别是RGB。因此每张图片的shape为(num_px, num_px, 3)。
3. 标准化数据，对数据集进行重新组织，每张图片的shape为 (num_px ∗num_px ∗ 3, 1)。
4. 构造对应的函数，sigmoid函数，初始化参数，前向传播，反向传播求出对应代价和梯度。
5. 通过梯度下降算法，进行一定次数的迭代，优化参数
6. 根据模型的效果，调整学习率参数和迭代次数。
7. 使用优化得到的$\theta$参数对新的数据进行测试。

难点：

1.梯度的向量化；

2.别忘记估计函数是sigmoid函数。