动手学深度学习——矩阵计算

标量导数

导数的作用主要是进行梯度下降

动手学深度学习——矩阵计算_第1张图片 

导数是切线的斜率

动手学深度学习——矩阵计算_第2张图片

亚导数

 将导数拓展到不可微的函数

动手学深度学习——矩阵计算_第3张图片

 另一个例子

动手学深度学习——矩阵计算_第4张图片

  梯度

就是将导数拓展到向量

动手学深度学习——矩阵计算_第5张图片

 第一种情况,y是标量,x是向量

 x为列向量,求导完变成行向量。

动手学深度学习——矩阵计算_第6张图片

举例说明:

梯度指向的是你的值变化最大的那个方向,梯度和正交线是正交的。

 样例:a是常数,与x无关的数

动手学深度学习——矩阵计算_第7张图片

 动手学深度学习——矩阵计算_第8张图片

  第二种情况,x是标量,y是向量

列向量关于标量的导数还是列向量。

动手学深度学习——矩阵计算_第9张图片

 

 这个被称为分子布局符号,反过来的版本叫分母布局符号。

拓展:向量关于向量,结果是一个矩阵

动手学深度学习——矩阵计算_第10张图片

样例:

 动手学深度学习——矩阵计算_第11张图片

 动手学深度学习——矩阵计算_第12张图片

 

 

你可能感兴趣的:(动手学深度学习,深度学习,机器学习,人工智能)