手动学A1——RNN

import math
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

# 加载数据
batch_size,num_steps = 32,35   # 批量大小，步长
train_iter,vocab = d2l.load_data_time_machine(batch_size,num_steps)  # 返回小批量，字典：将单词转化为index

# 将每个标记的数字进行独热编码
# 索引为0和2的独热编码如下:将0和2转化为步长为len(vocab)的独热编码
F.one_hot(torch.tensor([0,2]),len(vocab))

'''
我们每次采样的小批量形状是(批量大小，时间步数)。
one_hot编码将这样的小批量转换成三维张量，最后一个维度等于词表大小（len(vocab)）。
我们经常置换输入的维度，以便于获得形状（时间步数，批量大小，词汇表大小）的输出。
这将使得我们更方便地通过最外层的维度，一步一步地更新小批量的隐藏状态。
（想象后面我们训练的时候时输入的每个时间步子上的数据，转置之后的数据方便我们python的读取，有一定的计算加速效果）
'''

#小批量独热编码转化的练习：
X = torch.arange(10).reshape((2, 5))
F.one_hot(X.T, 28).shape

#初始化模型参数
def get_params(vocab_size, num_hiddens, device):
    num_inputs = num_outputs = vocab_size  #输入输出维度等于vocab的数量

    def normal(shape):
        return torch.randn(size=shape, device=device) * 0.01
        #device为0，生成均值为0，方差为1的随机数，这里将方差变成了0.01

    # 隐藏层的参数
    W_xh = normal((num_inputs, num_hiddens))  # 将输入映射到隐藏层 输入大小，隐藏层大小
    W_hh = normal((num_hiddens, num_hiddens))  # 上一时刻的隐藏变量到下一时刻的隐藏变量，删掉后变成单隐藏层 
    b_h = torch.zeros(num_hiddens, device=device)  # 每一个隐藏变量的bias，初始化为0

    # 输出层
    W_hq = normal((num_hiddens, num_outputs))  # 隐藏变量到输出
    b_q = torch.zeros(num_outputs, device=device)

    # 附加梯度
    params = [W_xh, W_hh, b_h, W_hq, b_q]  #将隐藏层和输出层的所有东西放到一个list里面
    for param in params:
        param.requires_grad_(True)  # 计算梯度，进行更新
    return params

"""
为了定义循环神经网络模型，我们首先需要一个函数在初始化时返回隐藏状态。
其返回一个张量，全用0填充，其形状为（批量大小，隐藏单元数）。
使用元组可以更容易地处理隐藏状态包含多个变量的情况。
"""
# 初始化时返回隐藏状态
def init_rnn_state(batch_size,num_hiddens,device):
    return (torch.zeros((batch_size,num_hiddens),device=device),)

"""
使用rnn函数定义如何在一个时间步计算隐藏状态和输出。
请注意，循环神经网络模型通过最外层维度inputs循环，以便于逐时间步更新小批量的隐藏状态H。
激活函数使用tanh函数。
如多层感知机章节中所述，当元素在实数上均匀分布的时候，tanh的平均值为0
"""
#进行计算的函数
def rnn(inputs, state, params):  #输入，初始化隐藏状态，可学习的参数
    # `inputs`的形状：(`时间步数量`, `批量大小`, `词表大小`)
    W_xh, W_hh, b_h, W_hq, b_q = params
    H, = state # H是前一个时刻的隐藏状态
    outputs = []
    # `X`的形状：(`批量大小`, `词表大小`)
    for X in inputs:
        """按照时间顺序来遍历数据：首先拿到的是时刻0的批量和词表进行计算"""
        # 隐藏层
        H = torch.tanh(torch.mm(X, W_xh) + torch.mm(H, W_hh) + b_h)
        # 将输入映射到隐藏层+上一时刻的隐藏变量到下一时刻的隐藏变量+偏置

        #输出层
        Y = torch.mm(H, W_hq) + b_q
        outputs.append(Y)
    return torch.cat(outputs, dim=0), (H,)  # 返回按行拼接 拼接（当前预测输出+当前隐藏状态）

# 用一个类整合上面的全部函数，并存储RNN的模型参数
class RNNModelScratch:  #@save
    """从零开始实现的循环神经网络模型"""
    def __init__(self, vocab_size, num_hiddens, device, get_params,init_state, forward_fn):
        self.vocab_size, self.num_hiddens = vocab_size, num_hiddens
        self.params = get_params(vocab_size, num_hiddens, device)  # 调用初始化模型参数函数
        self.init_state, self.forward_fn = init_state, forward_fn  #初始隐藏状态函数，RNN函数

    #如果类中定义了__call__()方法，那么该类的实例对象也将成为可调用对象。
    #该对象被调用时，将执行__call__()方法中的代码。
    def __call__(self, X, state):  # 批量大小*事件步数，隐藏状态
        X = F.one_hot(X.T, self.vocab_size).type(torch.float32)  # 对单词进行独热编码
        return self.forward_fn(X, state, self.params)  #进行一次训练

    def begin_state(self, batch_size, device):#初始隐藏状态
        return self.init_state(batch_size, self.num_hiddens, device) # 调用初始隐藏状态函数

# 检测输出
#检查输出的形状是否正确，保证隐藏状态的维度不变
num_hiddens = 512
net = RNNModelScratch(len(vocab),num_hiddens,d2l.try_gpu(),get_params,init_rnn_state,rnn)
state = net.begin_state(X.shape[0],d2l.try_gpu())
Y,new_state = net(X.to(d2l.try_gpu()),state)
print(Y.shape),print(len(new_state)) , print(new_state[0].shape)

"""
定义预测函数用来生成用户提供的prefix之后的新字符，prefix是一个包含多个字符的字符串。
在prefix中循环遍历这些开始的字符时，不断地将隐藏状态传递到下一个时间步，而不生成任何输出。
这被称为"预热期"（warm-up），在这个期间模型会自我更新（例如，更新隐藏状态），但不进行预测。
预测期之后，隐藏状态比开始的初始值好。

"""

# 预测
def predict(prefix, num_preds, net, vocab, device): # 输入的句子，生成多少个词，训练好的模型，将预测值map成真实词，GPU
    """在prefix 后面生成新的字符"""
    state = net.begin_state(batch_size=1, device=device) #生成初始隐藏状态：batch_size=1预测1个词
    outputs = [vocab[prefix[0]]] # 把字符在vocab的下标记录
    get_input = lambda: torch.tensor([outputs[-1]], device=device).reshape((1, 1)) #将上一次的预测值作为下一次的输入

    for y in prefix[1:]:  # 预热期
        _, state = net(get_input(), state)  #自我更新
        outputs.append(vocab[y])  #放入真实值

    for _ in range(num_preds):  # 进行`num_preds`步预测，对多少个词进行预测
        y, state = net(get_input(), state) #每次将前一个时刻的预测输入，更新state，拿到输出y
        outputs.append(int(y.argmax(dim=1).reshape(1))) #将当前的预测值放入
    return "".join([vocab.idx_to_token[i] for i in outputs]) #将整形转化为字符串

#还没训练，这里效果不大好
Ans = predict('time traveller ', 10, net, vocab, d2l.try_gpu())
print(Ans)

"""
解决梯度爆炸
"""
#梯度剪裁
def grad_clipping(net, theta):  #@save
    """裁剪梯度。"""
    if isinstance(net, nn.Module):
        params = [p for p in net.parameters() if p.requires_grad]
    else:
        params = net.params
    norm = torch.sqrt(sum(torch.sum((p.grad**2)) for p in params))
    if norm > theta:
        for param in params:
            param.grad[:] *= theta / norm

# 定义一个函数在一个迭代周期内训练模型
def train_epoch(net, train_iter, loss, updater, device, use_random_iter): # use_random_iter是不是用的随机iter
    """训练模型一个迭代周期。"""
    state, timer = None, d2l.Timer() # 初始隐藏状态，计时器
    metric = d2l.Accumulator(2)  # 训练损失之和, 标记数量
    for X, Y in train_iter:
        if state is None or use_random_iter:  #如果是随机，每次都要初始化
            # 在第一次迭代或使用随机抽样时初始化`state`
            state = net.begin_state(batch_size=X.shape[0], device=device)
        else:  # 如果不是随机
            if isinstance(net, nn.Module) and not isinstance(state, tuple):
                # `state`对于`nn.GRU`是个张量
                state.detach_()
            else:
                # `state`对于`nn.LSTM`或对于我们从零开始实现的模型是个张量
                for s in state:
                    s.detach_()
        y = Y.T.reshape(-1)
        X, y = X.to(device), y.to(device)
        y_hat, state = net(X, state)
        l = loss(y_hat, y.long()).mean()
        if isinstance(updater, torch.optim.Optimizer):
            updater.zero_grad()
            l.backward()
            grad_clipping(net, 1)
            updater.step()
        else:
            l.backward()
            grad_clipping(net, 1)
            # 因为已经调用了`mean`函数
            updater(batch_size=1)
        metric.add(l * y.numel(), y.numel())
    return math.exp(metric[0] / metric[1]), metric[1] / timer.stop()

#开始训练
def train(net, train_iter, vocab, lr, num_epochs, device,use_random_iter=False):
    """训练模型"""
    loss = nn.CrossEntropyLoss()
    animator = d2l.Animator(xlabel='epoch', ylabel='perplexity',
                            legend=['train'], xlim=[10, num_epochs])
    # 初始化
    if isinstance(net, nn.Module):
        updater = torch.optim.SGD(net.parameters(), lr)
    else:
        updater = lambda batch_size: d2l.sgd(net.params, lr, batch_size)
    predict_train = lambda prefix: predict(prefix, 50, net, vocab, device)
    # 训练和预测
    for epoch in range(num_epochs):
        ppl, speed = train_epoch(net, train_iter, loss, updater, device,
                                     use_random_iter)
        if (epoch + 1) % 10 == 0:
            print(predict_train('time traveller'))
            animator.add(epoch + 1, [ppl])
    print(f'困惑度 {ppl:.1f}, {speed:.1f} 标记/秒 {str(device)}')
    print(predict_train('the planet mars i scarcely'))
    print(predict_train('scarcely'))

num_epochs, lr = 500, 1
# train(net, train_iter, vocab, lr, num_epochs, d2l.try_gpu())

train(net, train_iter, vocab, lr, num_epochs, d2l.try_gpu(),use_random_iter=True)