学习笔记 Day54（梯度，激活函数）
目录
1，梯度：
2，激活函数
1，sigmoid
1，torch.sigmoid
2, tanh
1,torch.tanh
3,Relu
3,loss的梯度
1，均方误差，mse
2，softmax
4，感知机
1，单层感知机
2，多层感知机
5，链式法则
6，神经网络反向传播算法
7，cross_entropy
8，全连接层
9，激活函数与GPU加速
1，梯度：
2，激活函数
1，sigmoid
1，torch.sigmoid
import torch
a = torch.linspace(-100,100,10)
print(a)
print(torch.sigmoid(a))
2, tanh
1,torch.tanh
b = torch.linspace(-1,1,10)
print(b)
print(torch.tanh(b))
3,Relu
3,loss的梯度
1，均方误差，mse
用pytorch求导：
import torch
from torch.nn import functional as F
x = torch.ones(1)
print(x)
w = torch.full([1],2.0)
print(w)
mse = F.mse_loss(torch.ones(1),w*x)
print(mse)
w.requires_grad_() # 对w进行更新，让它拥有求导信息
mse = F.mse_loss(torch.ones(1),w*x)
print(torch.autograd.grad(mse, [w]))
2，softmax
4，感知机
1，单层感知机
x中，上面的0表示是在第一层，下面的数字表示该层节点的编号，w中，上面的1表示层数，下面上一层的节点数，后面的表示该层层数
导数推导过程：
2，多层感知机
导数推导
这里去掉求和是因为wjk只会影响到ok和tk而其它项不影响，所以求和符号可以去掉
5，链式法则
6，神经网络反向传播算法
推导Wij：
7，cross_entropy
流程
代码实现
import torch
from torch.nn import functional as F
x = torch.randn(1,784)
w = torch.randn(10,784)
# 建立公式
logits = [email protected]()
print(logits)
pre = F.softmax(logits,dim=1)
print(pre)
print(F.cross_entropy(logits,torch.tensor([2])))pre那两句可以不写
8，全连接层
nn.Linear
class MLP(nn.Module):
def __init__(self):
super(MLP,self).__init__()
self.model = nn.Sequential( # nn.Sequential 一个容器，可以添加任何继承自nn.Module里面的类
nn.Linear(784,200),
nn.ReLU(inplace=True),
nn.Linear(200,200),
nn.ReLU(inplace=True),
nn.Linear(200,10),
nn.ReLU(inplace=True)
)
def forwaard(self,x):
x = self.model(x)
return x
net = MLP()
optimizer = optim.SGD(net.parameters(),lr=0.01) # net.parameters() 装所有的参数（w,b) ,定义优化器
criteon = nn.CrossEntropyLoss() # 定义交叉熵后续可用于训练
9，激活函数与GPU加速
tanh是sigmoid函数经过缩放得到 （rnn）
relu
能解决梯度离散的现象
Leaky ReLU
seLU
GPU加速
