深度学习第二周学习

本周主先是对上周学习的内容简单的复习了一遍增加印象。

上周看李牧老师的可对环境搭建没有看明白。这周在慕课网上看网课，但是发现老师也只是简单的提一下。然后自己在网上找的资源在机房电脑安装了cuda、anaconda、pytorch等花费了不少时间。

然后从第三章开始看，老师讲的很多是一些tensor的操作，以及代码的实践，电脑环境搭建完后自己也用PyCharm跟着敲了一边加深自己的印象。主要学习了tensor中的运算，矩阵分解以及PCA和特征值。在老师讲的矩阵分解我没太明白。矩阵分解包含了LU分解、QR分解、EVD分解、SVD分解。在EVD（PCA）分解和SVD（LDA）分解老师的讲解我反复看了两遍还是不能够完全明白。自己想的如果后面用到了就回来再看一遍。后面又学习了tensor的裁剪运算，对tensor中的元素进行范围过滤，常用于梯度裁剪。后面包括了tensor的一些其它操作。

然后学到了Variable和Autograd。梯度与机器学习中的最优解。包括如何计算梯度，链式法则。以及关于Autograd的几个概念。其中比较难理解的就backward函数。后面backward函数用法虽然清楚了，但是在实际应用中对函数中的变量掌握的还是不够好。后面又看了关于funtion的一些东西。使用funtion函数需要重写forward和backward。然后调用，自己也在PyCharm实践了一遍。

这周把预备知识学完，然后看了李牧老师讲的线性回归。也学到了损失函数和解析解。损失函数在后面用的地方非常多。当时我对解析解的定义不太明白，损失是凸函数，最优解为何就满足权重等于零。还有就是我不明白最后求得的最优解的最后是如何转化为X的转置，还有很多东西需要我去学习。

本周学习最多的是tensor的一些操作，主要是自己做笔记和在PyCharm中实现一些代码，加深自己的印象和理解。