pytorch（三）——笔记

梯度

1.什么是梯度

1.1 Clarification

导数：反应变换的程度。偏微分：函数有多少个自变量，它就有多少个偏微分。梯度：梯度是一个向量

1.2 What does grad mean？

梯度是有方向，有大小的

1.3 How to search for minima

给函数找到一个极小值解

1.4 Convex function

凹函数，可以找到一个最优解

1.5 Local Minima

上面的凹函数属于理想状况，真实遇到的情况可能是这样

2.激活函数与Loss的梯度

2.1 Activation Functions

科学家在青蛙的神经元上得到了灵感

2.2 Typical Loss

均方差

2.3 auto.grad

利用pytorch自动求导

2.4 loss.backward

可以直接调用backward求导，它会从后自动往前传播

2.5 Softmax

下图为对于三个节点的输出

2.6 Derivative

3.感知机

3.1 Perceptron

第一层只有一个节点

3.2 Perceptron

3.3 Multi-output Perceptron

神经网路

4.神经网络与全连接

4.1 Lottery

4.2 Cross Entropy

4.3 Binary Classification

对于二分类的问题怎么算

4.4 Numerical Stability

5.全连接层

5.1 nn.Linear

直接写一个多层的连接层

5.2 relu

要求非线性

5.3 concisely

第一步

第二步

第三步

5.4 如何训练