吴恩达AI机器学习-01神经网络与深度学习week2上-神经网络基础

函数求导链式规则推导部分和梯度下降代码思路部分重点理解

---

目录

2.1二分分类 

2.2逻辑线性回归

2.3参数w&b以及损失函数

2.4梯度下降法

2.5导数+2.6更多导数的例子

2.7计算图

2.8计算图的导数计算

2.9Logistic回归中的梯度下降算法

2.10m个样本的梯度下降 

---

2.1二分分类 

 Logistic回归是一个用于二分分类的算法;

64*64*3=12288,;

.

2.2逻辑线性回归

 give an input X and the parameters W and b generate Y（概率在0～1之间）

激活函数：sigmoid Z

如果非常大，激活函数值接近1；如果非常小，激活函数值接近0;

2.3参数w&b以及损失函数

;

  and 

定义一个损失函数L：

定义一个成本函数J：

 

训练Logistic回归模型，我们要找到合适的参数，让成本函数尽可能小。

2.4梯度下降法

2.5导数+2.6更多导数的例子

slope(derivative)

小三角形在直线上不同位置的直角边相比是相同的，即一条直线在任何点，斜率是相同的，曲线则不同。

函数的导数就是函数的斜率，而函数(曲线)的斜率在不同的点是不同的，函数斜计算公式可通过网上搜索得到。

 

2.7计算图

compute the value J:blue

compute the derivative J:red

2.8计算图的导数计算

链式法则chain role

dvar 最终输出变量的导数

 

这部分听起来很痛苦...不知道是因为英语听起来晕头晕脑的还是因为老师把简单的问题复杂化了（应该是前者吧

final output variable最终输出变量 

2.9Logistic回归中的梯度下降算法

w&b➡️a&y

2.10m个样本的梯度下降 

 

 两个缺点：

两个以上for循环，for循环使代码运行效率降低 。