自然语言处理阅读第二弹

HuggingFace

  • 镜像网站
  • 模型库

NLP中的自回归模型和自编码模型

  • 自回归:根据上文内容预测下一个可能的单词,或者根据下文预测上一个可能的单词。只能利用上文或者下文的信息,不能同时利用上文和下文的信息。
  • 自编码:对输入的句子随机Mask其中的单词,然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词。同时根据上下文预测单词。
  • Sequence-to-Sequence:是encoder和decoder的结合。
    自然语言处理阅读第二弹_第1张图片

安装环境

自然语言处理阅读第二弹_第2张图片

视频

BERT架构

  • 输入的修改 自然语言处理阅读第二弹_第3张图片
  • 预训练任务1
    自然语言处理阅读第二弹_第4张图片
  • 预测任务2
    自然语言处理阅读第二弹_第5张图片
  • 总结
    自然语言处理阅读第二弹_第6张图片

李沐课程

你可能感兴趣的:(自然语言处理,自然语言处理,人工智能)