人工智能论文术语集27

注：术语来源请参照《人工智能论文术语集》

术语内容

• mixed attention block

• 混合注意力模块 ～ convBERT的优化方法之一，将原生的attention和基于跨度的动态卷积做cat操作

• Bottleneck design for self-attention

• 自注意力的瓶颈设计 ～ convBERT的优化方法之一，配合mixed attention block使用，来减小原生bert的头数。

• Grouped feed-forward module

• 分组化前馈网络模块 ～ convBERT的优化方法之一，针对bert中的前馈全连接进行优化，使用“分组操作”减少参数量，提升计算速度。

• redundant

• 冗余的 ～

• conversation

• 会话 ～

• cloze

• 完形填空 ～

• essay

• 散文 ～

• premise and hypothesis

• 前提和假设 ～

• Chinese sub-word vocabulary

• 中文子词词典 ～ CPM模型的优化方法之一，将字和常见词汇一同组成vocabulary

• disentangled attention mechanism

• 拆解式注意力机制 ～ DeBerta模型的优化方法之一，将文本通过连两个张量进行表达，一个代表内容，一个代表位置，再通过精心设计的attention。

被虐的还不过瘾？快关注我，查看更多粉丝可见内容！！！