吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)

____tz_zs学习笔记

第二周 神经网络基础

2.7 计算图

使用流程图从左到右来计算成本函数J

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第1张图片

 

2.8 计算图的导数计算

反向从右到左计算导数

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第2张图片

·

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第3张图片

 

2.9 logistic 回归中的梯度下降法

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第4张图片

计算偏导数

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第5张图片

 

2.10 m 个样本的梯度下降

m个样本一起求损失,使用m个样本的全局梯度来更新参数

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第6张图片

·

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第7张图片

显式的for循环,会使算法很低效。

向量化技术(vectorization)能使你的代码摆脱这些显式的for循环

 

2.11 向量化

经验法则是:只要有其他可能,就不要使用显式for循环

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第8张图片

 

·

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第9张图片

1、CPU和GPU都有并行化的指令——SIMD指令:意思是单指令流多数据流

2、如果你使用了这样的内置函数(如np.xx或者其他能去掉for循环的),numpy能够充分利用并行化去更快的计算

3、GPU比CPU更加擅长SIMD计算,CPU也不差

 

2.12 向量化的更多例子

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第10张图片

·

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第11张图片

·logistic回归的向量化,第一步,先去掉dw那的for循环

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第12张图片

 

2.13 向量化 logistic 回归

logistic回归的正向传播过程的向量化实现,第二步

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第13张图片

 

2.14 向量化 logistic 回归的梯度输出

第三步

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第14张图片

完整一次迭代过程的向量化实现

吴恩达 deeplearning.ai 课程《神经网络和深度学习》____学习笔记(第二周 7~14)_第15张图片

·

你可能感兴趣的:(#,深度学习_学习笔记)