深度学习笔记003 数据操作&线性代数&自动求导及实现

数据操作

深度学习笔记003 数据操作&线性代数&自动求导及实现_第1张图片
深度学习笔记003 数据操作&线性代数&自动求导及实现_第2张图片
[::3,::2]代表的是行每3行一跳,列是每两列一跳

深度学习笔记003 数据操作&线性代数&自动求导及实现_第3张图片

bold的代表向量,一个向量对一个向量的导数是一个矩阵:

深度学习笔记003 数据操作&线性代数&自动求导及实现_第4张图片

深度学习笔记003 数据操作&线性代数&自动求导及实现_第5张图片
深度学习笔记003 数据操作&线性代数&自动求导及实现_第6张图片

深度学习笔记003 数据操作&线性代数&自动求导及实现_第7张图片
深度学习笔记003 数据操作&线性代数&自动求导及实现_第8张图片

在这里插入图片描述
答:如果是凸函数有最优解,机器学习考虑的是NP问题,往往无法达到最优解。

自动求导及实现

深度学习笔记003 数据操作&线性代数&自动求导及实现_第9张图片
深度学习笔记003 数据操作&线性代数&自动求导及实现_第10张图片

深度学习笔记003 数据操作&线性代数&自动求导及实现_第11张图片

自动求导

深度学习笔记003 数据操作&线性代数&自动求导及实现_第12张图片

区别符号计算与数值拟合

pythorch实用计算图(有点像链式法则)

深度学习笔记003 数据操作&线性代数&自动求导及实现_第13张图片
显示构造就像小学的先化简再赋值:
深度学习笔记003 数据操作&线性代数&自动求导及实现_第14张图片
隐式构造就是让系统先记住值:
深度学习笔记003 数据操作&线性代数&自动求导及实现_第15张图片

两个计算方式:
深度学习笔记003 数据操作&线性代数&自动求导及实现_第16张图片
深度学习笔记003 数据操作&线性代数&自动求导及实现_第17张图片

深度学习笔记003 数据操作&线性代数&自动求导及实现_第18张图片

深度学习笔记003 数据操作&线性代数&自动求导及实现_第19张图片

你可能感兴趣的:(深度学习)