基于transformer的剩余寿命分析

title：

Remaining useful life estimation via transformer encoder enhanced by   a gated convolutional unit

1.只利用了transformer结构中的encoder部分来进行寿命预测，没有decoder结构，有别于NPL领域的transformer模型，NPL属于sequence to sequence 结构，encoder将输入序列映射成高维向量，decoder将高维向量输出为序列。

2.对模型加入了门卷积单元更好的将局部上下文信息加入到注意力机制中，提升了模型对局部信息的敏感性

3.模型由三部分组成（gate unit，encoder layer ，regression layer）encoder模块主要由多头注意力，和前馈模块组成，其中加入了BN和Residual Connect。gate unit包含重置门和更新门

 

整体模型结构

 The architecture of the gate unit