Pytorch+Google BERT模型（RoBERTa+LSTM+GRU）实战

Pytorch+Google BERT模型（RoBERTa+LSTM+GRU）实战

BERT(Bidirectional Encoder Representations from Transformers)模型的前置基础知识，读者可以参阅以下的文章：

• Pytorch使用Google BERT模型进行中文文本分类（https://blog.csdn.net/duan_zhihua/article/details/85770837）
• BERT可视化工具bertviz体验（https://duanzhihua.blog.csdn.net/article/details/87388646）
• 论文 Attention Is All You Need （https://arxiv.org/pdf/1706.03762.pdf）

本案例实现RoBERTa+LSTM+GRU模型，根据互联网新闻文本标题及内容，判断新闻的情感极性（正面、中性、负面），对新闻文本进行分类。

 

1.输入数据源

数据源是互联网