【笔记】3.5多层感知机

之前：原始数据->手工特征提取->线性/ softmax回归
现在：原始数据->神经网络->线性/ softmax回归
神经网络通常需要更多的数据和计算
神经网络体系结构用于对数据结构建模

• 多层感知机
• 卷积神经网络
• 循环神经网络
• Transformers

单层感知机

• 线性回归:：1输出的密集层
• Softmax回归：密集层m个输出+ Softmax函数
  
  多层感知机
  激活函数
  MLP with 1 hidden layer:
  
  代码实现

def relu(X):
    return torch.max(X,0)
    
W1=nn.Parameter(torch.rand(num_inputs,num_hiddens)*0.01)
b1=nn.Parameter(torch.zeros(num_hiddens))
W2=nn.Parameter(torch.rand(num_hiddens,num_outputs)*0.01)
b2=nn.Parameter(torch.zeros(num_outputs))

H=relu(X @ W1+b1)
Y=H @ W2 +b2