BERT

Bert与Transform

掩码语言模型
(1.)对bert的基本原理做介绍
(2.)Transformer 源码中 Mask 机制的实现
GPT解读(论文 + TensorFlow实现)
(3.)BERT源码分析

2.美团BERT的探索和实践

(1.)bert基本原理
(2.)基于字做mask,基于词语做mask
(3.)Bert模型性能调优
(4.)模型结构

BERT轻量化探索—模型裁剪(BERT Pruning)—层数裁剪
继BERT维度剪枝之后,尝试了BERT层数暴力裁剪,直接剪掉若干层

最简单的模型轻量化方法:20行代码为BERT剪枝

你可能感兴趣的:(机器学习)