2021李宏毅机器学习之Self-attention进阶版本multi-head Self-attention
Multi-headSelf-attention Self-attention有一个进阶的版本,叫做Multi-headSelf-attention,Multi-headSelf-attention,其实今天的使用是非常地广泛的。在作业4裡面,助教原来的code4有,Multi-headSelf-attention,它的head的数目是设成2,那刚才助教有给你提示说,把head的数目改少一点改成1