深度学习 pytorch 困惑度计算方法

以下是我 编写的 计算 困惑度 PPL的 代码
根据困惑度的定义：（其定义是其他形式的定义非书本上的定义，实验常用的就是这种形式）
来源解释：https://stackoverflow.com/questions/61988776/how-to-calculate-perplexity-for-a-language-model-using-pytorch

$PPL=e^{cross\_entropy}$
其中$cross\_entropy$ 就是交叉熵损失 因此只需要对 交叉熵损失求exp()
注意：F.cross_entropy的参数 reduction必须要为 mean 即默认 就为 Mean

from torch import Tensor
import numpy as np
import torch.nn.functional as F


def perplexity(outputs: Tensor, targets: Tensor, config=None):
    """
    计算语言模型困惑度
    :param outputs: [batch_size,seq_len,vocab_size]
    :param targets: [batch_size,seq_len]
    :param config:  配置文件 default:None
    :return: 困惑度数值
    """
    ce = F.cross_entropy(outputs.view(-1, outputs.size(-1)), targets.view(-1),
                         ignore_index=config.data.pad_id if config is not None else None)

    return torch.exp(ce)