Transformer warning: [encoder.embed_tokens.weight] is newly initialized

在使用transformer 加载预训练的T5 encoder参数的时候， 经常会出现：

Some weights of T5EncoderModel were not initialized from the model checkpoint 
at t5-large and are newly initialized: ['encoder.embed_tokens.weight']

这个['encoder.embed_tokens.weight']参数，顾名思义，就是encoder的embedding weight。

很多人在看到这个warning的时候会担心，embedding随机初始化，会不会影响到模型性能。

经过笔者多方查证，这个['encoder.embed_tokens.weight']的初始化对于模型性能是没有任何影响的，可以忽视。

如果想要没有这个报错，就升级transformer到最新版本。

具体详见：Warning when loading T5 encoders