torch.triu

自注意力机制中的gen_nopeek_mask()函数

defgen_nopeek_mask(length):mask=(torch.triu(torch.ones(length,length))==1).transpose(0,1)mask=mask.float
温柔的行子·2023-12-01 23:28

torch.triu()

torch.triu()是一个PyTorch函数，用于返回输入张量的右上角三角部分。其中，“triu”代表“triangular,upper”，表示它会返回一个上三角形矩阵。
物物不物于物·2023-09-29 16:17

Transformer decoder中masked attention的理解

maskedattention是要使用一个上三角矩阵torch.triu来实现对未来信息的掩盖。为什么就掩盖未来信息了？
寺里LZS·2022-12-03 09:58

torch.triu() - v1.5.0

torch.triu()-v1.5.0torchhttps://pytorch.org/docs/stable/torch.htmltorch.triu(input,diagonal=0,out=None
Yongqiang Cheng·2020-06-20 20:13

torch.triu(input, diagonal=0, out=None)

torch.triu(input,diagonal=0,out=None)→Tensor返回矩阵上三角部分，其余部分定义为0。
danerer·2018-10-03 17:21
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他