自注意力机制和BiLSTM相比有什么优点

尽管自注意力机制在这里和BiLSTM在处理词向量时候的目的都是一致的，那就是为原来割裂的词向量带来上下文的信息，自注意力机制优点为：

1. BiLSTM虽然确实比RNN改进了很多，但对于过长的序列依然没法很好地传输序列起点的信息，但是自注意力机制并没有依赖词与词之间的顺序，而是通过计算词与词之间的相似度去挖掘信息，所以就不存在这种信息丢失的情况；
2. BiLSTM这种处理序列的模型，如果不计算出前一个时刻的结果，就没法计算下一个时刻的结果，所以就造成了无法并行计算，但是自注意力机制因为计算相似度也是不存在这种依赖现象，所以可以很好地进行并行计算，大大提高了计算效率。