Pretraining 第3页

[阅读论文] RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining

[阅读论文]RoCBert:RobustChineseBertwithMultimodalContrastivePretraining摘要大规模的预训练语言模型在NLP任务上取得了很好的成果。但是，它们已被证明容易受到对抗性攻击，尤其是对于中文等字形语言而言。针对于以上问题，本文提出了ROCBERT:一种经过训练的中文Bert，对各种形式的对抗性攻击(例如单词扰动，同义词，错别字等)具有鲁棒性。它

小千不爱内卷·2022-10-30 07:39

论文笔记 | code pretraining（代码预训练系列）

文章目录Pre-trainedcontextualembeddingofsourcecodeCodeBERT:APre-trainedmodelforprogrammingandnaturallanguagesGraphCodeBert:Pre-trainingcoderepresentationswithdataflowContrastivecoderepresentationlearningI

ttliu_kiwi·2022-10-19 07:22

paper小计：Empirical Evaluation of Pretraining Strategies forSupervised Entity Linking

Abstract在这项工作中，我们提出了一个实体链接模型，它结合了一个transformer架构与来自维基百科链接的大规模预训练。Introduction略RelatedWork我们没有明确地建模文档级的消除歧义。然而，我们的长上下文窗口包含了几个提到，这应该允许这种消除歧义。我们通过直接从维基百科文本中学习实体的分布式表示来对我们的模型进行预训练，我们的嵌入是直接学习的，而不是通过实体描述生成的

辉辉小学生·2022-10-08 07:34

TGRS2022/遥感：An Empirical Study of Remote Sensing Pretraining遥感预训练的实证研究

TGRS2022/遥感：AnEmpiricalStudyofRemoteSensingPretraining遥感预训练的实证研究0.摘要1.概述2.相关工作2.1.空中场景识别2.2.视觉Transformer2.3.遥感预训练3.遥感预训练3.1.MillionAID3.2.ViTAE3.3.实施细节3.3.1.确定预训练网络3.3.2.获取适合的权重4.对下游任务进行微调4.1.空中场景识别4

HheeFish·2022-07-18 07:06

【MAML】：Model-Agnostic Meta-Learning

birds-of-passage·2022-06-07 07:12

《XLNet:Generalized Autoregressive Pretraining for Language Understanding》论文笔记

一、摘要因为拥有双向建模的能力，降噪的自编码预训练模型（如BERT）通常会比基于自回归的语言模型拥有更好的效果。但是BERT模型也存在缺陷，如忽略了masked位置之间的依赖关系、预训练和微调之间存在差异（预训练有mask标签，应用在下游任务的时候没有mask标签）。本文提出的XLNet，整合了两大类模型的优点，改进了各自的缺点，主要改进：通过最大化所有可能的分解顺序的排列的期望可能性去学习双向的

XHHP·2021-11-10 14:27

【深度学习】【Windows系统基于TensorFlow进行迁移学习】TensorFlow加载VGG16Net模型相关事项

PRETRAINING_VGG16=tf.keras.applications.VGG16\(include_top=False,#自主训练Dense层weights='imagenet',input_tensor

openRiemann·2021-02-09 14:30

bert 中文代码谷歌_后 BERT 时代的那些 NLP 预训练模型

本文介绍对于BERT的Pretraining过程进行改进的几篇文章，包括Pre-TrainingwithWholeWordMaskingforChineseBERT、ERNIE:EnhancedRepresentationthroughKnowledgeIntegration

weixin_39795845·2020-12-03 21:05

bert代码

目录pretrainedmodelSentence(andsentence-pair)classificationtasksgluedata数据集运行pretrainingstep1.create-pretraining-datastep2

芮芮杰·2020-09-14 19:04

关于深度学习(deep learning)的常见疑问 --- 谷歌大脑科学家 Caffe缔造者贾扬清

问答环节问：在finetuning的时候，新问题的图像大小不同于pretraining的图像大小，只能缩放到同样的大小吗？”答：对的：）问：目前dl在时序序列分析中的进展如何？

weixin_34122810·2020-09-10 19:21

谷歌BERT预训练源码解析（三）：训练过程

2.遮蔽词识别下面介绍BERT的预训练模型run_pretraining.py是怎么训练的。源码解析主函数训练过程主要用了estimator调度器。这个调度器支持自定义训练过程

kyle1314608·2020-08-24 14:49

bert实现端到端继续预训练

ACL2020好多paper都证明如果能有领域内的数据进行继续预训练，能够对模型最终的效果有较大的提升（通常为几个百分点），现有的继续预训练的的步骤为create_pretraining_data（创建预训练的数据

亦万·2020-08-24 07:05

谷歌BERT预训练源码解析（三）：训练过程

2.遮蔽词识别下面介绍BERT的预训练模型run_pretraining.py是怎么训练的。源码解析主函数训练过程主要用了estimator调度器。这个调度器支持自定义训练过程

保持一份率性·2020-08-24 03:31

bert-create_pretraining_data代码学习

borayolo·2020-08-24 02:42

【论文解读】XLNet: Generalized Autoregressive Pretraining for Language Understanding

文章目录引言提出的方法背景目标：排列语言模型结构：基于目标感知的双流注意力融合Transformer-XL多句建模讨论Reference:1.XLNet:GeneralizedAutoregressivePretrainingforLanguageUnderstanding2.XLNet原理解读引言AR模型以前向或后向的单向方式建模语言模型p(x)=∏t=1Tp(xt∣xt)p(\bmx)=\pr

十里清风·2020-08-24 02:38

一本读懂BERT

MrpcProcessor六、分词源码阅读（一）FullTokenizer（二）WordpieceTokenizer七、run_classifier.py的main函数八、BertModel类九、自己进行Pretraining

Nuspen·2020-08-23 23:23

Bert源码解析--训练集生成

这一部分的源码主要实现在create_pretraining_data.py和tokenization.py两个脚本里。

修改资料-昵称·2020-08-23 23:13

在bert的基础模型上训练自己的数据（只是过程源码解析后面更新）

1.第一步从github上下载bert的源码链接，并且下载BERT模型链接2.第二步准备数据中文数据样式如图所示：（每一句话一行）3.第三步使用bert/create_pretraining_data.py

一路向北的人·2020-08-23 22:49

BERT详解(3)---源码解读[预训练模型]

fine-tuningBERT(5)—实战[BERT+CNN文本分类]2.预训练模型bert模型的预训练过程包含两个任务:下一句预测(NextSentencePrediction)遮蔽词预测主程序在run_pretraining.py

orangerfun·2020-08-17 01:17

NLP ----- Bert with Sentiment Analysis

官方也给出了pretraining和fine-tuning的代码，但仅仅是调试官方的代码还是不能将模型很好利用起来，自然

飞猫侠·2020-08-11 03:17

2019年CS224N课程笔记-Lecture 13: Contextual Word Representations and Pretraining

资源链接：https://www.bilibili.com/video/BV1r4411之前大部分都是课件内容翻译+自己的一些总结，以后更倾向于自己的总结咯～正课内容词的表示方法一开始时学过的单词向量Word2vec,GloVe,fastText都可以表示词，甚至是ont-hot编码也可以表示（只不过不是很恰当）两个人大概花了七周时间训练无人监督的单词表示/词向量，生成的向量只有100维（也就是图

任菜菜学编程·2020-08-10 14:58

CS231-

CS231-SVMPretrainingLossFunction多分类SVMLoss正则化Pretraining1.mean-substraction：将所有特征值减去特征均值，使所有像素值处于[-127,127

erliao0638·2020-08-08 15:10

深度学习在语音识别中的应用

自从2006年GeoffreyHinton提出逐层的Pretraining之后，神经网络再次进入大家的视野。

环信·2020-07-29 10:26

论文笔记：Rethinking ImageNet Pretraining——是否需要Pretrain

论文：https://arxiv.org/pdf/1811.08883.pdf本文主要：说明能在检测或者实例分割上通过FromScratch的方式得到比较好的效果甚至能大部分复用finetuneImageNet预训练网络时候的超参，仅仅是迭代次数提升，都可以得到接近ft的效果pretrain仅能够加速训练的收敛，不会对目标任务的指标提升起作用这样的结论让人重新审视目前流行的Pretrain-fin

Richard_Che·2020-07-28 10:23

自然语言处理 cs224n 2019 Lecture 13: Contextual Word Representations and Pretraining

上下文词表示和预训练主要内容词表示上的映射Pre-ELMo和ELMOULMfit和onwardTransformer架构bert一、词表示上的映射现在为止，我们基本上可以说我们有一个词向量的表示了：word2vec，glove，fastText预训练词向量：模型使用了预训练词向量之后，得分得到了提升：预训练词向量可以开始的时候给单词一个随机词向量，然后再训练它们。在大多数情况下，使用预训练的词向量

努力努力再努力_越努力越幸运·2020-07-11 17:34

【NLP CS224N笔记】Lecture 13 - Contextual Word Representations and Pretraining

本次梳理基于Datawhale第12期组队学习-CS224n-预训练模块详细课程内容参考(2019)斯坦福CS224n深度学习自然语言处理课程1.写在前面自然语言处理(NLP)是信息时代最重要的技术之一，也是人工智能的重要组成部分。NLP的应用无处不在，因为人们几乎用语言交流一切：网络搜索、广告、电子邮件、客户服务、语言翻译、医疗报告等。近年来，深度学习方法在许多不同的NLP任务中获得了非常高的性

Miracle8070·2020-07-09 01:50

文献记录－RoBERTa: A Robustly Optimized BERT Pretraining Approach

文献地址：https://arxiv.org/pdf/1907.11692.pdf摘要：本文对BERT模型中的超参数进行研究，对超参数和预训练的数据量上进行了优化．简介：研究内容：（１）更大的模型，更多的训练批次，更多的训练数据（２）删除了预训练过程中＂下一句预测＂的任务（３）训练更长的序列（data）（４）改变掩码模型背景：bert的优化算法中Adam中，β１＝０．９，β２＝０．９９９，epsi

wenqiang su·2020-07-06 04:09

BERT学习笔记：create_pretraining_data.py 运行及代码解读

1简介本文主要是自己理解的记录，方便以后回顾时不是从头开始看，如果你有幸看到这篇文章并且对你有些许帮助，我很荣幸，如果没有帮助也感谢你的浏览。2运行首先介绍怎么运行，边运行边查看输出可以方便理解代码，创建tmp文件夹，加入以下三个文件：text.txt，output.txt，vocab.txt，是运行时必须指定的参数。text.txt中为训练文本，随便找的文本写诗做文章都是千古之事，而其中甘苦得失

cy_dream·2020-07-05 04:53

MDNet（SANet）

把握好主要思想和脉络MDnet--master源代码目录--dataset（存放数据集的文件夹）--matconvnet（这个不用说了，是matlab下的CNN框架）--models（存放已训练模型的文件夹）--pretraining

sunshine芝火·2020-07-05 04:12

每天一篇论文 Geometric Pretraining for Monocular Depth Estimation

GeometricPretrainingforMonocularDepthEstimation摘要ImageNet预训练网络已广泛用于单目深度估计的传递学习中。这些预训练网络经过分类损失训练，在分类损失中仅利用语义信息而忽略空间信息。但是，语义和空间信息对于每个像素的深度估计都很重要。在本文中，我们设计了一种新颖的自我监督的几何预训练任务，该任务可以使用未经校准的视频对单眼深度进行估算。设计的任务

流浪机器人·2020-07-02 17:21

bert 源码解读

一、目录结构1.预训练三个模块||—create_pretraining_data.py构建预训练数据||—run_pretraining.py跑预训练文件||—tokenization.py各语言分词

listwebit·2020-06-29 20:07

【2019斯坦福CS224N笔记】（13）Contextual Word Representations and Pretraining

csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners词向量的表示目前为止，我们已经学过了one-hot编码、word2vec、glove等词向量的表示。但是这三个方法都普遍存在在一些问题，就是无法解决一词多义的问题。即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。当我们手中的语

kaijie234·2020-06-22 12:15

易图秒懂の深度学习诞生发展篇

并且自己做了一个能够通过Pretraining来避免梯度下降问题的复杂模型，效果很好，于是命名了深度学习。

史春奇·2020-04-02 11:15

计算与软件工程作业三

www.cnblogs.com/xinz/archive/2011/11/20/2255830.html)(https://www.cnblogs.com/SivilTaram/p/software_pretraining_cpp.html

Meinhof·2020-03-11 13:00

计算与软件工程作业三

31/homework/10454课程目标深刻理解软件工程，提高编程能力，以及熟悉各个软件的操作能力参考文献https://www.cnblogs.com/SivilTaram/p/software_pretraining_cpp.htmlhttps

张晓雨儿·2020-03-11 13:00

BERT详解(2)---源码讲解[生成预训练数据]

2)—源码讲解[生成预训练数据]BERT详解(3)—源码解读[预训练模型]BERT详解(4)—fine-tuningBERT(5)—实战[BERT+CNN文本分类]1.生成预训练数据对应create_pretraining_data.py

orangerfun·2020-02-29 23:15

[NLG] Pretraining for Conditional Generation with Pseudo Self Attention

摘要：这篇文章的主要idea就是如何用现在已经有的语言模型，稍微引导一下生成基于某些条件的话语。如给个情感，生成一个带情感的句子。作者在GPT2的结构上稍微修改了self-attention机制，命名为Pseudo-Self，在decoder的时候引入外部控制，并且这样做能够尽量小的影响GPT2之前的训练参数，达到的很好的效果。模型：作者主要对比了前面两种工作，关于这两种工作不做阐述。如图，右一是

lwgkzl·2019-10-17 00:16

Bert-实战

参考BERTfine-tune终极实践教程Bert实战bert在主要分为两个任务：一、训练语言模型和预训练部分（run_pretraining.py），二、训练具体任务的fine-turning部分(run_classifier.py

笑给我看·2019-09-18 18:23

文献阅读笔记:RoBERTa：A Robustly Optimized BERT Pretraining Approach

0.背景机构：Facebook&华盛顿大学作者：YinhanLiu、MyleOtt发布地方：arxiv论文地址：https://arxiv.org/abs/1907.11692论文代码：https://github.com/pytorch/fairseq1.介绍RoBERTa模型是BERT的改进版(从其名字来看，ARobustlyOptimizedBERT，即简单粗暴称为强力优化的BERT方法)。

JasonLiu1919·2019-09-09 16:11

使用自己的数据再训练BERT

原文链接：https://github.com/pren1/A_Pipeline_Of_Pretraining_Bert_On_Google_TPUThoughthepre-trainedmodelisgoodenough

bayou3·2019-08-15 20:28

后 BERT 时代的那些 NLP 预训练模型

本文介绍对于BERT的Pretraining过程进行改进的几篇文章，包括Pre-TrainingwithWholeWordMaskingforChineseBERT、ERNIE:EnhancedRepresentationthroughKnowledgeIntegration

Paper_weekly·2019-08-09 12:05

XLNet: Generalized Autoregressive PreTraining for Language Understanding

XLNet:GeneralizedAutoregressivePreTrainingforLanguageUnderstanding个人翻译，并不专业。论文地址https://arxiv.org/pdf/1906.08237.pdfXLNet:语言理解的广义自回归预训练摘要具有双向上下文建模，自动编码去燥的能力与基于自动回归语言模型的预训练方法相比，基于BERT的预训练方法具有更好的性能。然而，依

DarrenXf·2019-07-18 20:42

XLNet: Generalized Autoregressive PreTraining for Language Understanding

XLNet:GeneralizedAutoregressivePreTrainingforLanguageUnderstanding个人翻译，并不专业。论文地址https://arxiv.org/pdf/1906.08237.pdfXLNet:语言理解的广义自回归预训练摘要具有双向上下文建模，自动编码去燥的能力与基于自动回归语言模型的预训练方法相比，基于BERT的预训练方法具有更好的性能。然而，依

DarrenXf·2019-07-18 20:42

XLNet代码分析

转载自http://fancyerii.github.io/2019/06/30/xlnet-codes/如需删除请联系谢谢目录训练的代价(钱)安装Pretraining训练数据格式运行预处理数据data_utils.py

sliderSun·2019-07-06 17:52

XLNet模型: Generalized Autoregressive Pretraining for Language Understanding

链接论文链接：https://arxiv.org/pdf/1906.08237v1项目链接：https://github.com/zihangdai/xlnetTransformer-XL模型：https://blog.csdn.net/ACM_hadesTransformer模型：https://blog.csdn.net/ACM_hades一、背景知识1.AR语言模型：假设我们现在给定一个输入

大白菜—NLP·2019-07-03 14:47

XLNet: Generalized Autoregressive Pretraining for Language Understanding 阅读笔记

看这篇阅读笔记之前，可以看一下以下这篇前言，不仅从performance方面分析了XLNet的效果，也从算力和时间消耗方面分析该工作：一份有趣的XLNet阅读笔记前言摘要(Abstract)与基于自回归语言建模(ARLM)的预训练语言建模方法相比，基于降噪自编码的预训练方法具有良好的双向上下文建模能力。然而，由于依赖于使用Maskedtokens破坏输入，BERT忽略了掩码位置之间的依赖关系，并出

Roy-Better·2019-07-01 21:07

XLNet: Generalized Autoregressive Pretraining for Language Understanding 阅读笔记前言

今年6月底CMU和谷歌新提出了一个预训练模型，在效果和算力上都远远超过18年年底发表的BERT预训练和模型，也优于今年年初提出的GPT-2预训练模型。但该文章主要从Autoregressive(AR)lanuagemodeling和Autoencoding(AE)pre-training这两个角度入手进行比较，并结合他们各自的优点，规避他们的缺点，进而了一种泛化自回归语言建模方法。在正式谈谈自己关

Roy-Better·2019-07-01 16:51

XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet:GeneralizedAutoregressivePretrainingforLanguageUnderstandingoriginmotivationproposedmethoddiscussandanalysisexperimentforLanguageUnderstanding)originZhilinYang∗1,ZihangDai∗12,YimingYang1,JaimeCa

damuge2·2019-06-30 18:04

文献阅读笔记：XLNet: Generalized Autoregressive Pretraining for Language Understanding

0.背景机构：谷歌大脑、CMU作者：ZhilinYang、ZihangDai发布地方：arxiv面向任务：LanguageUnderstanding论文地址：https://arxiv.org/abs/1904.09482论文代码：https://github.com/zihangdai/xlnet0-1.摘要由于上下文双向建模的表达能力更强，降噪自编码类型中的典型代表BERT能够比自回归语言模型

JasonLiu1919·2019-06-29 20:17

XLNet: Generalized Autoregressive Pretraining for Language Understanding翻译

github:https://github.com/zihangdai/xlnet摘要凭借对双向上下文进行建模的能力，与基于自回归语言模型的预训练方法（GPT）相比，基于像BERT这种去噪自编码的预训练方法能够达到更好的性能。然而，由于依赖于使用掩码(masks)去改变输入，BERT忽略了屏蔽位置之间的依赖性并且受到预训练与微调间差异的影响。结合这些优缺点，我们提出了XLNet，它一种通用的自回归

nopSled·2019-06-27 11:14

推荐频道

Pretraining

[阅读论文] RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining

论文笔记 | code pretraining（代码预训练系列）

paper小计：Empirical Evaluation of Pretraining Strategies forSupervised Entity Linking

TGRS2022/遥感：An Empirical Study of Remote Sensing Pretraining遥感预训练的实证研究

【MAML】：Model-Agnostic Meta-Learning

《XLNet:Generalized Autoregressive Pretraining for Language Understanding》论文笔记

【深度学习】【Windows系统基于TensorFlow进行迁移学习】TensorFlow加载VGG16Net模型相关事项

bert 中文 代码 谷歌_后 BERT 时代的那些 NLP 预训练模型

bert代码

关于深度学习(deep learning)的常见疑问 --- 谷歌大脑科学家 Caffe缔造者 贾扬清

谷歌BERT预训练源码解析（三）：训练过程

bert实现端到端继续预训练

谷歌BERT预训练源码解析（三）：训练过程

bert-create_pretraining_data代码学习

【论文解读】XLNet: Generalized Autoregressive Pretraining for Language Understanding

一本读懂BERT

Bert源码解析--训练集生成

在bert的基础模型上训练自己的数据（只是过程源码解析后面更新）

BERT详解(3)---源码解读[预训练模型]

NLP ----- Bert with Sentiment Analysis

2019年CS224N课程笔记-Lecture 13: Contextual Word Representations and Pretraining

CS231-

深度学习在语音识别中的应用

论文笔记：Rethinking ImageNet Pretraining——是否需要Pretrain

自然语言处理 cs224n 2019 Lecture 13: Contextual Word Representations and Pretraining

【NLP CS224N笔记】Lecture 13 - Contextual Word Representations and Pretraining

文献记录－RoBERTa: A Robustly Optimized BERT Pretraining Approach

BERT学习笔记：create_pretraining_data.py 运行及代码解读

MDNet（SANet）

每天一篇论文 Geometric Pretraining for Monocular Depth Estimation

bert 源码解读

【2019斯坦福CS224N笔记】（13）Contextual Word Representations and Pretraining

易图秒懂の深度学习诞生 发展篇

计算与软件工程作业三

计算与软件工程作业三

BERT详解(2)---源码讲解[生成预训练数据]

[NLG] Pretraining for Conditional Generation with Pseudo Self Attention

Bert-实战

文献阅读笔记:RoBERTa：A Robustly Optimized BERT Pretraining Approach

使用自己的数据再训练BERT

后 BERT 时代的那些 NLP 预训练模型

XLNet: Generalized Autoregressive PreTraining for Language Understanding

XLNet: Generalized Autoregressive PreTraining for Language Understanding

XLNet代码分析

XLNet模型: Generalized Autoregressive Pretraining for Language Understanding

XLNet: Generalized Autoregressive Pretraining for Language Understanding 阅读笔记

XLNet: Generalized Autoregressive Pretraining for Language Understanding 阅读笔记前言

XLNet: Generalized Autoregressive Pretraining for Language Understanding

文献阅读笔记：XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet: Generalized Autoregressive Pretraining for Language Understanding翻译

bert 中文代码谷歌_后 BERT 时代的那些 NLP 预训练模型

关于深度学习(deep learning)的常见疑问 --- 谷歌大脑科学家 Caffe缔造者贾扬清

易图秒懂の深度学习诞生发展篇