P7选修 深度学习介绍
7. 第 1 讲（选修）：深度学习介绍_哔哩哔哩_bilibili
Pytorch 中训练 DNN 的概述，首先是 Define Neural Network、Loss Function、Optimizer，这三步用到了 torch.nn 和 torch.optim 模块。加载数据主要用到 torch.utils.data.Dataset 和 torch.utils.data.DataLoader 模块。反复进行训练和验证，最后得到模型进行测试
手动设计
Layer1 的所有输出都与 Layer2 的所有输入连接，所以叫全连接。
Layer1 的输出给 Layer2，Layer2 的输出给 Layer3，所以叫前馈网络。
神经网络中的矩阵运算
神经网络的计算可以用矩阵操作来表示，如下图是一个计算例子。
一个深度神经网络可以表示成一个函数，它的函数表达式如图所示。写成矩阵运算的好处是可以用 GPU 加速，普通的 GPU 只是做矩阵运算比较快（相比 CPU）。
可以使用GPU加速 ，矩阵运算
手写体识别例子
清晰度16*16，输入是236维，涂黑的地方是1，没有涂黑的地方就是0，output中每一个y是代表每一个输出数字的概率。
自己设计layer
每个neual如何设计
文字处理 正面情绪负面情绪
深度学习长久来看，具有一定的优势，只是一下子看起来没有那么显著。
它跟传统方法比起来的差异就没有那么惊人，但是还是有进步的。
能不能自动学level structure?其实是可以的，在经验算法中是可以这样的训，可以自动地找出Networks Stucture。不过还没有普及，比如阿法狗没有用这种方法。
能不能自己去设计network Structure?可不可以不要fully connected？可不可以layer1中地第一个连接到layer2中地第三个（可不可以乱写）？
可以，一个特殊的解法就是Convolutional Neural Network(CNN),
二、goodness of function
我们已经完成了第一步Neural Network，下面我们进行第二步goodness of function，即定义一个function地好坏。
在neural network里面怎么决定一组参数它地好坏了？就假设给另一组参数
做手写数字图像辨识，有一张image,跟它地label，这张label告诉我们这是一个mortal class classsification地问题
所以label1告诉我们说 现在地target是一个10维vector，只有它在第一维对应到地数字1的地方，她的值是1，其他地方是0.
那就input这张image的piexl:
然后通过neuralwork后
得到一个output: 称之为y；
target称之为
:
接下来计算y和之间的cos值：
接下来调整netural work参数，让Cross Entropy越小越好。
当然整个training data里面不会只有一笔data，有大堆的data。
第一笔data计算出
，
第二笔计算出
.;
第三笔计算出
;
一直到第n笔：
最后将所有的cross entropy值计算求和：
然后就是接下来在function set里面找一个function：它可以minimizes total loss L
或者是找一组network parameter:将它写成
：它可以minimize total loss L
怎么解这个问题呢？怎么找一个minimize total loss L
引用的方法就是Gradient Descent
在deep learing中用gradient design和linear regression那边什么都没有差别。
中一大堆参数w1,w2,……b1,……，首先给定初始值0.2，-0.1，……，0.3，……；然后计算偏微分；
将偏微分集合起来叫grady：
有了这些偏微分，就可以更新参数：
所有的参数减去learing rate：在图中写的是
。然后偏微分乘以它得到一个新的参数，然后计算它的gradient：
然后再根据gradient再更新参数
然后按照这个计算下去就会得到一组好的参数，就做完network training了。
为什么要deep learning?
越deep越低
任何一个N维的Netural都可以用一个hidden layer的neural network来表示，只要这个hidden layer的内容足够多，它就可以表示成任何fuction；
