DistilBERT

小版BERT也能出奇迹：最火的预训练语言库探索小巧之路

在大家纷纷感叹「大力出奇迹」的时候，作为调用预训练语言模型最流行的库，HuggingFace尝试用更少的参数量、更少的训练资源实现同等的性能，于是知识蒸馏版BERT——DistilBERT应运而生！
芮芮杰·2020-09-14 00:35

各bert 模型下载

bert-base-uncased-vocab.txt”,https://huggingface.co/transformers/v1.2.0/_modules/pytorch_transformers/modeling_distilbert.htmlh
kyle1314608·2020-08-25 00:26

用 BERT 精简版 DistilBERT+TF.js，提升问答系统 2 倍性能

特邀博文/软件工程师PierricCistac；研究员VictorSanh；技术主管AnthonyMoi，来自HuggingFaceHuggingFace(https://huggingface.co/)是一家AI创业公司，旨在通过开发工具来提高社区内的协作效率，并积极参与研究工作，从而为自然语言处理(NLP)做出贡献。NLP领域充满着困难和挑战，我们认为只有所有参与者彼此分享研究内容和成果，才能
HyperAI超神经·2020-08-25 00:23

hugging face transformer文本分类运行

huggingface团队的transformer又更新了，现在里面有distilroberta和distilbert和albert模型，这三个模型值得我们对比其他模型的差异。那么如何运行呢？
qq_34184324·2020-08-24 01:13

(含源码)「自然语言处理(NLP)」社区问答评估&&Bert模型优化

本文分享的内容主要包括社区问答质量评估（基于Bert模型微调）、Bert语言表示模型的优化、多Talkiing注意力头、ALBERT模型（减少参数提升训练速度）、序列到序列的去噪自编码器BART模型、迁移技术前景探索、通用语言表示模型DistilBERT
yinizhilianlove·2020-08-01 08:27

(含源码)「自然语言处理(NLP)」社区问答评估&&Bert模型优化

本文分享的内容主要包括社区问答质量评估（基于Bert模型微调）、Bert语言表示模型的优化、多Talkiing注意力头、ALBERT模型（减少参数提升训练速度）、序列到序列的去噪自编码器BART模型、迁移技术前景探索、通用语言表示模型DistilBERT
Shu灬下雨天·2020-07-28 23:32

BERT家族：DistillBERT

DistillBERT论文：《DistilBERT,adistilledversionofBERT:smaller,faster,cheaperandlighter》论文地址：https://arxiv.org
姆爷·2020-07-16 05:04

Transformers库简单使用

Transformers库也叫（pytorch-transformersandpytorch-pretrained-bert）,提供了很多SOTA的预训练模型，比如BERT,GPT-2,RoBERTa,XLM,DistilBert
风吹草地现牛羊的马·2020-06-24 14:57

《DistilBERT,adistilledversionofBERT:smaller, faster,cheaperandlighter》阅读心得

该文主要采用“知识蒸馏”方法对BERT（预训练语言模型）精简、优化，将较大模型压缩成较小的模型，最终目的是：提高模型推理的效率，让运行在智能手机等硬件设备上的深度学习模型具有轻量级、响应快及能源利用率高等特性。在2019年的NLP领域预训练+微调的模型训练思路百家争鸣，ElMo、GPT、BERT、Mass、ULMFit等模型陆续登台成为当前领域最闪耀的星星，纵览全局能够真正快速用于产品化落地的mo
今夜无风·2020-02-03 20:00

Simple Transformer：用BERT、RoBERTa、XLNet、XLM和DistilBERT进行多类文本分类

作者|ThilinaRajapakse译者|Raku编辑|夕颜出品|AI科技大本营（ID:rgznai100）【导读】本文将介绍一个简单易操作的Transformers库——SimpleTransformers库。它是AI创业公司HuggingFace在Transformers库的基础上构建的。HuggingFaceTransformers是供研究与其他需要全面控制操作方式的人员使用的库，简单易操
AI科技大本营·2019-10-28 19:48
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他