NLP 学习之:2022.10.27 阶段性文章总结和筛选

文章目录

  • Transformer
    • 文章
    • 视频
  • BERT
  • pytorch 课程
  • 其他

Transformer

文章

  • Transformer是如何实现机器翻译的?
  • log_softmax与softmax的区别
  • Transformer理论源码细节详解
  • Transformer 代码复现+详解
  • Transformer 中的 attention 原理

视频

  • 源码实现细节视频教程(非常详细)
  • 源码实现细节教程(不那么详细)

BERT

  • huggingface 加载预训练模型
  • pytorch-bert github完整实现
  • 在自己的数据集上重新训练BERT(附代码)
  • Bert 从头预训练
  • Tricks:用自己的数据对Bert模型进行增量预训练

pytorch 课程

  • 深度学习进阶——pytorch

其他

  • 获取神经网络中不同中间层的输出(三种方法)
  • Pytorch 进行知识蒸馏
  • Hugging Face 中文预训练模型使用介绍及情感分析项目实战
  • Jieba分词词性标注以及词性说明
  • pytorch Embedding 层中的 pad_index 的作用

你可能感兴趣的:(机器学习与深度学习,NLP,BERT,Transformer)