tinybert

NLP预训练模型2 -- BERT详解和源码分析

4–训练方法优化（RoBERTa、T5）NLP预训练模型5–模型结构优化（XLNet、ALBERT、ELECTRA）NLP预训练模型6–模型轻量化（ALBERT、Q8BERT、DistillBERT、TinyBERT
谢杨易·2020-06-22 20:38

华为开源预训练语言模型「哪吒、TinyBERT」可直接下载使用

近日，华为诺亚方舟实验室的NLP团队开源了两个重要的预训练语言模型-哪吒和TinyBERT，可以直接下载，预先训练和微调这两个模型。该项目是诺亚方舟实验室用于开放各种预训练模型的源代码的项目。
图像算法·2020-02-13 13:20

《2019-TINYBERT DISTILLING BERT FOR NATURAL LANGUAGE UNDERSTANDING》-阅读心得

利用整个新颖的KD方法，大量的知识编码在一个大的“老师”BERT可以很好地被迁移到一个小的“学生”TinyBERT模型那里。我们引入一个新
今夜无风·2020-02-05 16:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他