【模型复现】文本分类、文本匹配模型——jointbert快速复现

JointBERT

  模型

快速复现教程

01

模型详情

模型简介：

《BERT for Joint Intent Classification and Slot Filling》是2019年2月的文章，Computation and Language会议。意图分类和插槽填充是自然语言理解的两个基本任务。他们经常受到小规模的人工标签训练数据的影响，导致泛化能力差，尤其是对于低频单词。最近，一种新的语言表示模型BERT (Bidirectional Encoder Representations from Transformers)，有助于在大型未标记的语料库上进行预训练深层的双向表示，并在经过简单的微调之后为各种自然语言处理任务创建了最新的模型。但是，并没有太多的工作探索Bert 在自然语言理解中的使用。在这项工作中，提出了一种基于BERT的联合意图分类和插槽填充模型。实验结果表明，与基于注意力的递归神经网络模型和插槽门控模型相比，我们提出的模型在多个公共基准数据集上的意图分类准确性，狭缝填充F1和句子级语义框架准确性均取得了显着提高。 

关键词：大型未标记语言库

应用场景：文本匹配、文本分类、文本生成

论文地址：

https://arxiv.org/abs/1902.10909

模型来源：

https://github.com/monologg/JointBERT

02

平台环境准备

 1. 打开极链AI云平台

2. 点击模型

 3. 选择模型

在模型列表中选择 JointBERT 模型

 4. 创建实例

显卡以RTX 2080 Ti为例，选择模型对应镜像

点击下一步，即可创建实例

5. 连接实例

创建完成后，点击jupyterlab连接

03

模型使用

1.指定atis任务进行训练

进入终端，在root/JointBERT（默认）路径下，运行以下命令：

python main.py --task atis  --model_type bert --model_dir atis_model --do_train --do_eval

更多内容请左右滑动

2.指定snips任务进行训练

进入终端，在root/JointBERT（默认）路径下，运行以下命令：

python main.py --task snips  --model_type bert --model_dir snips_model --do_train --do_eval

更多内容请左右滑动

3.模型预测

进入终端，在root/JointBERT（默认）路径下，运行以下命令：

python  predict.py --input_file sample_pred_in.txt --output_file sample_pred_out.txt --model_dir atis_model

更多内容请左右滑动

以上就是 JointBERT 复现的全部流程，该模型在极链AI云官网已上架，同时极链AI云还拥有其他热门模型，例如YOLO系列等，简单步骤即可实现复现。