numpy常用公式收集

numpy常用公式收集—by yedaffon

1.angle rate
在transformer中,做position embedding时会用到.

# angle_rate[d] = (min_rate) ** (d/max(d))
angle_rates=min_rate**(np.linspace(0,1,depth//2))

2.Scaled Dot-Product Attention
按比例缩放的点积注意力.

Attention(Q, K, V) = softmax(Q*K/np.sqrt(k.shape[-1])) * V

你可能感兴趣的:(科学计算,深度学习,numpy,公式)