GLUE

Datawhale八月组队学习--使用Transformers解决NLP任务(文本分类)--Day08-09

八月组队学习之笔记系列文章：往期指路：Datawhale打卡小程序使用     Transformer图解     Bert&GPT图解     Bert知识笔记     Bert实践文章目录前言一、GLUE
二进制研究员·2023-01-19 08:00

NLP-预训练模型：迁移学习（拿已经训练好的模型来使用）【预训练模型：BERT、GPT、Transformer-XL、XLNet、RoBerta、XLM、T5】、微调、微调脚本、【GLUE数据集】

深度学习-自然语言处理：迁移学习（拿已经训练好的模型来使用）【GLUE数据集、预训练模型（BERT、GPT、transformer-XL、XLNet、T5）、微调、微调脚本】一、迁移学习概述二、NLP中的标准数据集
u013250861·2023-01-17 18:33

T5 模型：NLP Text-to-Text 预训练模型超大规模探索

又是一轮屠榜，压过前不久才上榜自家的ALBERT，登上GLUE榜首。当然，最大的冲击还是财大气粗，biggerandbigger，但翻完它长达34页的论文，发现其中的分析无疑是诚意满满（都是钱）。
Congqing He·2023-01-17 13:05

R包caret安装

：error:packageornamespaceloadfailedfor‘caret’inloadNamespace(j=1.6.2解决：将需要更新的包删除重装，remove.packages(“glue
一只小白茸·2023-01-13 12:07

NLP中常用评测数据集介绍

GLUE通常来说，NLP可以分为自然语言理解（NLU）和自然语言生成（NLG）。
sunghosts·2023-01-13 08:20

ALBERT、XLNet，NLP技术发展太快，如何才能跟得上节奏？

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
普通网友·2023-01-12 10:14

对Transformer、XLNet、 ALBERT、 CRF等技术仍然一知半解？再不学习就OUT了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
Evan-yzh·2023-01-12 10:43

ALBERT、XLNet，NLP 技术发展太快，如何才能跟得上节奏？

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
weixin_38753422·2023-01-12 10:43

对 GCN, Transformer, XLNet, ALBERT, CRF 等技术仍然一知半解？再不学习就 OUT 了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
weixin_38753422·2023-01-12 10:43

为NLP从业者/研究生/研究员专门定制的全网唯一高端NLP训练营

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
风度78·2023-01-12 10:08

NLP GLUE baseline环境搭建

1.0背景记录一下自己运行GLUEbaseline的一些坑。2.0正文2.1环境（Linux）安装ubuntu：版本：ubuntu-18.04.1-desktop-amd64.iso安装conda：https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh输入命令：source~
嘤嘤子·2023-01-06 22:52

NLP预训练模型2 -- BERT详解和源码分析

毫不夸张的说，BERT基本上是近几年来NLP业界意义最大的一个创新，其意义主要包括大幅提高了GLUE任务SOTA
anshiquanshu·2023-01-06 08:40

如何使用huggingface微调模型

pipinstalltransformers[sentencepiece]pipinstalldatasets2导入数据fromdatasetsimportload_datasetraw_datasets=load_dataset("glue
明日何其多_·2023-01-05 05:31

pytorch使用transformers库进行fine-tuning微调

教程里使用的是glue下的mrpc数
eecspan·2023-01-05 05:30

NLP基准数据 —— GLUE

GLUE（GeneralLanguageUnderstandingEvaluation）reference：[1]GLUE基准数据集介绍及下载-知乎(zhihu.com)[2]GLUE：BERT类模型的通用评估基准
marasimc·2022-12-30 23:04

Bert：Pre-training of Deep Bidirectional Transformers forLanguage Understanding

包括将GLUE分数提升到了80.5%，7.7个百分点的绝对提升。介绍目前
pepsi_w·2022-12-28 18:10

Bert时代的创新：Bert在NLP各领域的应用进展

最近几个月，在主业做推荐算法之外的时间，我其实一直比较好奇下面两个问题：问题一：Bert原始的论文证明了：在GLUE这种综合的NLP数据集合下，Bert预训练对几乎所有类型的NLP任务（生成模型除外）都有明显促进作用
DemonHunter211·2022-12-26 08:09

装饰者模式：玩了把坦克大战居然彻底搞懂了装饰者模式！

后来GOF在结尾讲书的简史的时候有提到，装饰者模式的名称由glue改成了facade，wrapper改为decorator，walker变成了visitor
米卡隆·2022-12-24 10:10

R语言置信区间计算（confidence interval）、计算比例值对应的置信区间、为比例值构建95%执行区间、使用glue包把最终结果以标准格式输出

R语言置信区间计算（confidenceinterval）、计算比例值对应的置信区间、为比例值构建95%执行区间、使用glue包把最终结果以标准格式输出目录
statistics.insight·2022-12-22 16:52

BERT入门实践: sentence-pair classification（colab +tensorflow2.5）

文章目录概要描述详细说明下载GLUE数据下载bert源码下载并解压chinese_L-12_H-768_A-12.zipFine-Tuning参考文章：一文读懂BERT(实践篇)概要描述根据参考文章1中使用
Sciengineerv·2022-12-21 18:03

NeurIPS 2021 | 微软研究院提出CLUES，用于NLU的少样本学习评估

自然语言理解(NLU)的最新进展部分是由GLUE、SuperGLUE、SQuAD等基准驱动的。事实上，许多NLU模型现在在这些benchmark中的许多任务上已经达到或超过了“人类水平”的性能。
Python数据挖掘·2022-12-20 19:35

nlp 句间关系学习

常用的判别有语义相似度、语义关系推理（蕴含/中立/矛盾）、问答对等，拿GLUE榜单来说，其中有6个（QQP/MNLI/QNLI/STS/RTE/MRPC）都是句间关系任务。
Cater Chen·2022-12-18 16:57

T5 模型：NLP Text-to-Text 预训练模型超大规模探索

又是一轮屠榜，压过前不久才上榜自家的ALBERT，登上GLUE榜首。当然，最大的冲击还是财大气粗，biggerandbigger，但翻完它长达34页的论文，发现其中的分析无疑是诚意满满（都是钱）。
愚昧之山绝望之谷开悟之坡·2022-12-15 05:27

Amazon Glue Data Quality 将以预览的形式推出

点击上方【凌云驭势重塑未来】一起共赴年度科技盛宴！1980年我的第二份专业编程工作中，正在做一个分析来自美国多个州的驾驶执照数据的项目。当时，该类型的数据通常存储在固定长度的记录中，在每个字段中仔细（或不谨慎）地对值进行编码。尽管我们得到了数据架构，但总是会发现开发人员必须使用一些方式来表示事先没有预料到的值。例如，为患有异色症（不同颜色眼睛）的人编码。异色症：https://en.wikiped
亚马逊云开发者·2022-12-14 08:42

Huggingface 实战 - 预测下一个词

文章目录项目说明代码实现加载数据集数据加载器模型测试函数训练项目说明本文在distilgpt2模型的基础上微调，使用glue/sst2数据集，训练预测下一个词的模型。
伊织code·2022-12-11 15:20

nlp开源库与开源数据集

nlp评估数据集GLUE:GeneralLanguageUnderstandingEvaluationCLUE:ChineseLanguageUnderstandingEvaluationBLURB(BiomedicalLanguageUnderstanding
Catherine_In_Data·2022-12-08 02:07

xxl-job任务详解

文章目录任务管理新增任务页面字段释义1.1、路由策略1.2、运行模式BEAN模式GLUE模式1.3、阻塞处理策略1.4、子任务ID1.5、JobHandler1.6、Cron1.7、任务超时时间任务操作任务管理新增任务页面字段释义
码农的进阶之路·2022-12-07 20:14

中文T5

就是那个打着“万事皆可Seq2Seq”的旗号、最大搞了110亿参数、一举刷新了GLUE、SuperGLUE等多个NLP榜单的模型，而且过去一年了，T5仍然是SuperGLUE[1]榜单上的第一，目前还稳妥地拉开着第二名
just do it now·2022-12-04 09:42

/libcublas.so.11: symbol cublasLtHSHMatmulAlgoInit version libcublasLt.so.11 not defined in file lib

(GLUE)root@cd163c5c74c9:~#cd/root/miniconda3/(GLUE)root@cd163c5c74c9:~/miniconda3#lsLICENSE.txtbincompiler_compatconda-metacondabinenvsetcincludelibpkgsshareshellsslx86
qq_39306047·2022-12-03 17:50

NLP17：预训练模型之Albert

在GLUE
大雄没有叮当猫·2022-12-02 13:07

pytorch 对抗样本_【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现

最近，微软的FreeLB-Roberta[1]靠着对抗训练(AdversarialTraining)在GLUE榜上超越了Facebook原生的Roberta，追一科技也用到了这个方法仅凭单模型[2]就在
weixin_39756273·2022-12-02 12:27

文本中的对抗学习 + pytorch实现

最近，微软的FreeLB-Roberta[1]靠着对抗训练(AdversarialTraining)在GLUE榜上超越了Facebook原生的Roberta，追一科技也用到了这个方法仅凭单模型[2]就在
吴彦蛆·2022-12-02 12:57

这所“双一流”，全球夺冠！

来源：软科近日，由武汉大学-京东可信人工智能联合研究中心共同提出的织女模型在全球自然语言处理领域权威榜单GLUE中以总平均分91.3分荣登榜首刷新了自然语言理解技术世界纪录。
深度学习技术前沿·2022-11-29 13:02

【追一科技】NLG技术：文本生成技术多样化应用的探索之路

随着GPT、BERT、T5等大型预训练语言模型的推广，NLU能力已经有了长足的进步，诸如GLUE、SuperGLUE等榜单不断被刷新
zenRRan·2022-11-29 10:10

bert常用基准数据集：GLUE数据集介绍以及数据集资源

GLUE基准数据集介绍及下载介绍：所有任务都是单句或者句子对分类，除了STS-B是一个回归任务。MNLI有3个类别，所有其他分类任务都是2个类别。
CharyLiey·2022-11-28 23:48

RoBERTa 详解

4.1StaticvsDynamicMasking4.2ModelInputFormatandNSP4.3Trainingwithlargebatches4.4TextEncoding5.RoBERTa5.1GLUE
Decennie·2022-11-25 13:07

ERNIE: Enhanced Language Representation with Informative Entities中文

文章目录ERNIE摘要1引言2相关工作3方法论3.1符号3.2模型架构3.3K-Encoder3.4知识注入预训练3.5针对特定任务的微调4实验4.1预训练数据集4.2参数设置和训练细节4.5GLUE4.6
葫芦娃啊啊啊啊·2022-11-23 10:12

BERT 学习推荐资源（文章讲解+视频讲解+BERT模型运行指导）

谷歌公司AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4
17不想当码农·2022-11-23 02:44

【实践】基于ERNIE实现9项GLUE任务

基于ERNIE实现GLUE各项任务1.实验内容本实验将使用ERNIE对NLP领域中的经典任务GLUE数据集进行fine-tuning,GLUE数据集中包含多项子数据集，现整理如下：图1GLUE数据集描述图
飞桨PaddlePaddle·2022-11-22 23:26

详细介绍BERT模型

文章目录BERT简介BERT,OpenAIGPT,和ELMo之间的区别相关工作BERT的改进BERT的详细实现输入/输出表示预训练BERT微调BERTBERT用在下游任务GLUE(一个自然语言任务集合)
若年封尘·2022-11-22 12:33

Task07 Transformer 解决文本分类任务、超参搜索

文章目录1微调预训练模型进行文本分类1.1加载数据小小总结1.2数据预处理1.3微调预训练模型1.4超参数搜索总结1微调预训练模型进行文本分类GLUE榜单包含了9个句子级别的分类任务,分别是:1鉴别一个句子是否语法正确
数据闲逛人·2022-11-21 17:32

ALBert论文阅读笔记-缩减版的bert，模型参数更少，性能更好

从GLUE榜上我们可以看到，似乎现在的语言模型有越来越大的趋势，虽然我们的训练资源也是从GPU单卡到GPU多卡，到现在TPU，但不是每个公司都这么有钱，特别对个人，有可能就是一块卡，怎么样在资源有限的情况下
bigbao_num·2022-11-19 13:45

docker的conda环境中安装mindspore（CPU版本？）

exportPATH=/root/miniconda3/envs/GLUE/bin:$PATHcondaconfig--addchannelshttps://mirrors.tuna.tsinghua.edu.cn
qq_39306047·2022-11-12 15:11

李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder

Self-SupervisedLearningBERTBERT训练maskinginput（随机遮盖一些输入单位）nextsentenceprediction（预测前后两个句子是否相接）BERT的fine-tune应用BERT框架GLUE
iwill323·2022-10-28 20:28

NLP冻手之路(3)——评价及指标函数的使用(Metric，以 BLEU和GLUE 为例)

✅NLP研0选手的学习笔记文章目录一、需要的环境二、评价指标的加载三、评价指标的使用(BLEU和GLUE为例)四、小结五、补充说明●上一篇文章链接:NLP冻手之路(2)——文本数据集的下载与各种操作(Datasets
一支王同学·2022-10-28 09:49

NLP冻手之路(4)——pipeline管道函数的使用

情感分类3.2完形填空3.3文本生成3.4命名实体识别3.5摘要生成3.6文本翻译3.7阅读理解四、小结五、补充说明●上一篇文章链接:NLP冻手之路(3)——评价及指标函数的使用(Metric，以BLEU和GLUE
一支王同学·2022-10-28 09:49

自监督学习（self-supervised learning）

self-supervisedlearningself-supervisedlearningBERTBERT基本架构GeneralLanguageUnderstandingEvaluation（GLUE
静妮子i·2022-10-03 07:43

【PEST++】03 水文模型不确定性和灵敏度分析

1.2水文模型不确定性1.2.1水文模型的结构误差1.2.2模型参数的优选误差1.3异参同效1.3.1现象1.3.2原因1.4灵敏度分析1.4.1概念1.4.2作用1.4.3分类二、不确定性分析方法2.1GLUE2.1.1
赖亦无·2022-09-29 16:45

xxl-job入门

依赖集成Xxl-job配置配置执行器组件3.1BEAN模式BEAN模式（类形式）-实现IJobHandler[推荐]BEAN模式（方法形式）-为Job方法添加注解@XxlJob新建BEAN模式任务3.2GLUE
罗小爬EX·2022-09-25 01:00

NLP下的bert模型的一些学习

BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现，包括将GLUE基准推高至80.4%(绝对改进7.6%)
CR1820·2022-07-07 07:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他