深度学习心得

从2019年3月份开始学习深度学习，目前也有9个月的时间了，中间由于工作原因也停过一段时间。

逻辑回归和线性回归区别

简单来说，逻辑回归就是解决分类问题，线性回归就是解决线性问题，线性回归是连续的值的输出，而逻辑回归主要是实现的是1和0的分类问题。

 

矩阵的知识

1、矩阵点乘：各元素逐一相乘，两个矩阵调换顺序

2、矩阵相乘：A*B：A:m*n ,B:n*c 结果是m*c

3、矩阵反向求导推理

更新参数注意的细节

1、需要同步更新，不要一个参数的更新，用一个张量把所有梯度值都保存下来之后再进行更新

2、寻找最优解方法

目前我使用的是梯度下降法，听说这个就是最简单的，还有其他的寻找最优解的算法。但梯度下降缺点就是自己要尝试选择下降速率a(为了打字方面我用a表示速率)，其他的高级不需要（会自动寻找下降速率a），但高级的也更复杂，我是看不懂。

3、损失函数选择

由于大部分函数都有局部最小时，所以选择损失函数的时候我们一定要用凸函数，也就是整个函数只有全局最小值，没有局部最小值，看了其他的视频后，发现log是一个挺不错的选择。

4、防止过拟合的一般方法

1）、正则化参数，对比较大的参数进行惩罚

2）、多使用训练样本

5、如何确认反向传播是否正确传播