【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制

Alphafold2具有旋转不变性吗——从图像识别到蛋白结构预测的旋转对称性实现

通过Alphafold2如何预测蛋白质结构,看有哪些机制或tricks可以利用?

一、等变Transformer

等变Transformer是Transformer众多变体的其中一种,其强调等变性。不变性或者等变性的定义如下:
【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制_第1张图片

二、归纳偏置

对特定任务的模型需求,即为“归纳偏置”。
【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制_第2张图片

三、注意力机制

自注意力机制被运用到Transformer中,以及在AlphaFold2中也运用了各种的注意力机制

【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制_第3张图片

【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制_第4张图片

【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码

【机器学习】模型平移不变性/等变性&归纳偏置&Attention机制_第5张图片

在AlphaFold2中就运用了轴向注意力机制

一文看懂 Attention(本质原理+3大优点+5大类型)

你可能感兴趣的:(机器学习,人工智能)