如何用PyTorch Lightning跑HuggingFace Transformer(TPU)

  1. TPU本身非常擅长处理transformer类的结构,而且可以白嫖(Colab)。
  2. HuggingFace Transformer本身是Transformer结构中最重要的库。但是他们使用的是自己的trainer,API经常改变。导致如果你要加一些自己的训练trick就比较困难。

所以目标是用PyTorch Lightning跑Hugging Face的Transformer。并且要求是在TPU上。代码在这里。别忘了把runtime改成TPU。

注意目前来说,TPU训练还是完全没有达到很好的效果的。相比之下,最大问题在于整个PyTorch生态圈不支持tf step_per_execution的这个。换句话说,是一点点喂给tpu而不是一次。另外,Lightning当中也没有控制prefetch的问题。后者好办,前者不太好解决。

有时间我会在做一个TF2版本和Jax/Flax版本。

你可能感兴趣的:(人工智能,pytorch)