Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder

这篇paper是在回家的飞机上读的,
龇牙
然后回来一周了,已经忘光光了

摘要和总结

本文提出一种简洁但是有效的方法for:Multi-criteria Chinese word segmentation (MCCWS) ,完全分享所有准则

通过利用Transformer编码器的强大功能,所提出的统一模型可以根据表示输出标准的唯一标准标记来分割中文文本。此外,所提出的统一模型可以分割简体中文和繁体中文,并具有良好的传输能力。
Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第1张图片

模型

Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第2张图片
Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第3张图片

embedding layer

第一个

代表 m − t h m-th mth c r i t e r i o n criterion criterion

e代表 Bigram Embedding

PE代表位置编码,
在这里插入图片描述
在这里插入图片描述
Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第4张图片

encoder layer

跟transformer一样

decoder layer

CRF或者MLP

实验

Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第5张图片
Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第6张图片
Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第7张图片
Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第8张图片
Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第9张图片
Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第10张图片
Raki的读paper小记:A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder_第11张图片

评价

把transformer用到了这个任务上

写烦了,开始摸鱼(草草了事)

你可能感兴趣的:(NLP,读paper,transformer,深度学习,人工智能,自然语言处理,机器学习)