Transformers》第38页

万字长文带你一览ICLR2020最新Transformers进展

文章目录1.Self-atention的变体Long-ShortRangeAttentionTree-StructuredAttentionwithSubtreeMaskingHashedAttentioneXtraHopAttention2.训练目标DiscriminativeReplacementTaskWordandSentenceStructuralTasksType-Constraine

郝伟老师的技术博客·2020-07-02 03:34

万字长文带你一览ICLR2020最新Transformers进展（下）

原文链接：http://gsarti.com/post/iclr2020-transformers/作者：GabrieleSarti编译：朴素人工智能3.Embeddings原始的Transformer

风度78·2020-07-01 23:09

万字长文带你一览ICLR2020最新Transformers进展（上）

原文链接：http://gsarti.com/post/iclr2020-transformers/作者：GabrieleSarti编译：朴素人工智能Transformer体系结构最初是在AttentionisAllYouNeed

风度78·2020-07-01 23:09

哈佛邓云天：Cascaded Text Generation with Markov Transformers

不到现场，照样看最干货的学术报告！嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告，能让您在业余时间的知识阅读更有价值。人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。“AI未来说·青年学术论

读芯术·2020-07-01 23:10

技术动态 | ACL 2019 知识图谱的全方位总结

开放知识图谱·2020-07-01 13:53

ECCV 2020 DETR:《End-to-End Object Detection with Transformers》论文笔记

目录简介动机贡献方法实验简介本文出自FaceBookAI，方法很新颖，不同于已有的R-CNN一系列，也不同于Yolo一系列，也不同于FCOS、CenterNet等最新的AnchorFree模型。作者将目标检测视为directsetpredictionproblem（直接集预测）。下载链接本篇博客的部分内容参考自这里动机simplifypipelines.贡献本文将Transformer融入目标检测

NeverMoreH·2020-06-30 16:27

[预训练语言模型专题] Huggingface简介及BERT代码浅析

本期的内容是结合Huggingface的Transformers代码，来进一步了解下BERT的pytorch实现，欢迎大家留言讨论交流。Hugg

yang191919·2020-06-30 05:02

用NVIDIA-NGC对BERT进行训练和微调

GoogleBERT（来自Transformers的双向编码器表示）为自然语言处理（NLP）领域提供了一个改变游戏规则的转折点。BERT运行在NVIDIAGPUs

wujianming_110117·2020-06-29 21:45

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 阅读笔记

BERT:论文阅读笔记1.abstractBERT是由GoogleAILanguage发布，BERT即BidirectionalEncoderRepresentationsfromTransformers.预先训练好的BERT模型只需要一个额外的输出曾就可以微调，无需对特定任务的体系结构进行大量修改。将GLUEscore、MultiNLIaccuracy、SQuADV1.1F1、SQuADV2.0

whyoceansea·2020-06-29 18:29

Monad Transformers

Path:ComposeFunctors->MonadTransformers->FreeMonadLet'sfirstseehowmuchitsuckswhendealingwithnestedMonads(withoutnaturaltransformation).const{TaskT,Task,Either}=require("../types");const_=require("loda

Zhentiw·2020-06-29 17:00

论文阅读笔记：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

洛洛洛洛洛洛洛·2020-06-29 14:59

文献记录－BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

文献地址：https://arxiv.org/pdf/1810.04805.pdf摘要：bert是用transformer的encoder来构建的双向预训练模型，训练过程是无监督的，并且可以通过fine-tune的方式去获得较好的多个下游任务的效果．简介：预训练模型对于NLP的数据特征的提取有着很大作用，为了找到，句子和句子，词语和词语之间的联系．现有的预训练模型有两种：基于特征的(elmo)；微

wenqiang su·2020-06-29 06:24

Kaggle_tweet_emotion_bert_transformers

importpandasaspdimportnumpyasnpimportmatplotlibimportmatplotlib.pyplotaspltimportseabornassnsimportosfromtqdmimporttqdmimportreimportinspectimporttensorflowastffromtensorflowimportkeras#importtensorfl

wenqiang su·2020-06-29 06:24

pytorch-transformers （BERT）微调

pytorch-transformers（BERT）微调importtorch#frompytorch_transformersimport*frompytorch_transformersimportBertModel

wenqiang su·2020-06-29 06:21

关于AttributeError: module 'transformers' has no attribute 'WarmupLinearSchedule' 错误问题

关于AttributeError:module'transformers'hasnoattribute'WarmupLinearSchedule'错误问题1.刚开始查资料，以为是版本不够新，比较老的缘故

Purple_Devil·2020-06-29 04:08

java反序列化 - Transformer类可以执行恶意代码的原理

java反序列化-Transformer类可以执行恶意代码的原理0x00代码Transformer[]transformers=newTransformer[]{newConstantTransformer

weixin_33726318·2020-06-28 04:40

MyDLNote-Detection: DETR : End-to-End Object Detection with Transformers

End-to-EndObjectDetectionwithTransformers[paper]https://arxiv.org/pdf/2005.12872.pdf[github]https://github.com/facebookresearch/detrAbstractWepresentanewmethodthatviewsobjectdetectionasadirectsetpredi

Phoenixtree_Zhao·2020-06-27 09:30

深入浅出腾讯BERT推理模型--TurboTransformers

本人用BERT（huggingface/transformers）在V100上做了测试，测试结果和官宣的基本一致：TurboTransformers的推理速度要比Pytorch快上1~4倍。

A君来了·2020-06-27 09:00

BertForQuestionAnswering的使用中遇到的一些函数

0.Bert实在惭愧，我竟然不知道transforms改过两次名字（pytorch-transformers，pytorch-pretrained-bert），我现在在用的还是老版本，现在的transformers

乐清sss·2020-06-26 16:10

BERT模型返回值

Return::obj:`tuple(torch.FloatTensor)`comprisingvariouselementsdependingontheconfiguration(:class:`~transformers.BertConfig

乐清sss·2020-06-26 16:39

【论文阅读】End-to-End Object Detection with Transformers

【论文阅读】End-to-EndObjectDetectionwithTransformers损失函数网络架构Transformer代码运行创新：引入transformer，提出DETR（DEtectionTRansformer）模型去除以往模型引入的先验知识（achor、nms）大物体精度高—得益于transformer的non-localcomputations，但是对小物体精度低损失函数网络

Hanawh·2020-06-25 11:14

调用预训练好的XLnet词向量

调用XLnet模型训练好的词向量做W2V的方法如下：1.pipinstallpytorch_transformers2.下载预训练模型3.如下Getw2v()代码块获取词向量4.使用词向量进行其他后续操作

夏离·2020-06-25 09:02

jupyter里import问题汇总（含tensorflow）

jupyter无法import已安装的pandas模块问题问题三：在tensorflow中找不到to_categorical问题四：ModuleNotFoundError:Nomodulenamed'transformers'C

yummydeli·2020-06-25 08:36

如何播放flv

files参数varswf_width=240varswf_height=240vartexts=’变形金刚-预告片’varfiles=’http://www.transformersmovie.com/transformers

newera·2020-06-24 17:19

XLNet与Bert

XLNet值得读的文章：XLNet原理解读XLNet:运行机制及和Bert的异同比较XLNet的Transformers的pytorch实现中，几个关于各种mask的参数讲解：forward(input_ids

风吹草地现牛羊的马·2020-06-24 14:57

Transformers库简单使用

Transformers库也叫（pytorch-transformersandpytorch-pretrained-bert）,提供了很多SOTA的预训练模型，比如BERT,GPT-2,RoBERTa,

风吹草地现牛羊的马·2020-06-24 14:57

基于图卷积神经网络GCN的时间序列预测:图与递归结构相结合预测库存需求

该领域中有趣的方法是通过采用最初在NLP中本地的Transformers和Attention架构。图结构的使用

deephub·2020-06-24 12:19

Transformers in NLP （一）：图说transformer结构

从transformer开始，nlp的模型渐渐开始成为了transformer一族的天下，所以想写一个系列聊一聊在nlp中那些运用transformer的模型。作为这个系列的第一篇，就从大名鼎鼎的transformer结构开始。一、编码器（encoder）与解码器（decoder）最早提出transformer的文章是attentionisallyouneed，研究的nlp的任务是翻译，自然而然就

sansheng su·2020-06-24 01:01

COMET：Commonsense Transformers for Automatic Knowledge Graph Construction

2019.06-ACL2019自动常识知识库构建论文笔记论文数据、demo论文代码概览利用ATOMIC训练GPT模型，该GPT模型又反过来生成了许多全新的且合理的知识，达到了图谱补全的效果。（Allen实验室：自动常识知识库构建）作者提出CommonsenseTransformers(COMET)生成模型，主体框架是Transformer语言模型。（在问答等领域，可以实现对同一个问题，有不同的回答

谁怕平生太急·2020-06-23 22:42

mule优点和缺点

mulesoft/mule2.丰富的connector，可以通过不同的形式来连接各个系统JMS、WebService、JDBC、HTTP等3.components(组件)很多，可选的处理数据方式多4.transformers

贾小仙·2020-06-23 22:02

七大Github机器学习热门项目

Pytorch-Transformers(NLP)https://github.com/huggingface/pytor

磐创 AI·2020-06-23 07:14

GPT2模型训练，50w个多轮中文对话语料

机器学习AI算法工程公众号：datayxGPT2forChinesechitchat项目描述本项目使用GPT2模型对中文闲聊语料进行训练，使用HuggingFace的transformers实现GPT2

demm868·2020-06-23 03:38

huggingface的transformers里面的tokenizer的改写

huggingface里的tokenizer封装的很麻烦，但是也可以理解，毕竟涉及到的预训练模型太多了。随便截个图，在src文件夹里，有一堆tokenization开头的文件：注意所有的tokenization_xx.py都继承了tokenization_utils.py，里面的PreTrainedTokenizer类是所有的tokenizer的基类，有关tokenizer的大部分方法都定义在了P

摸鱼的辉辉酱·2020-06-22 18:43

《变形金刚5：最后的骑士》科技成就神话

Transformers系列电影在电影史上是个非常神奇的存在，尽管每一集的评价都很的糟糕，但在票房上却是非常的惊人，带给Paramount影业十分可观的获利，想当然在有赚钱的情况下一定会持续地推出新的续集

老金博客·2020-06-22 17:02

用深度学习做命名实体识别(六)-BERT介绍

可以理解为一种以Transformers为主要框架的双向编码表征模型。所以要想理解BERT的原理，还需要先理解什么是Transformers。

程序员一一涤生·2020-06-22 14:43

有趣的深度学习——使用 BERT 实现一个古体诗生成器

而现在说到NLP，就很难绕开Transformers系列模型，譬如BERT、GPT-2、RoBERTa、ALBERT、XLNet等等。

笔墨留年·2020-06-22 11:37

[机器学习]自然语言处理：GPT-2模型训练finetunning

基于开源的Transformers库，用GPT-2模型以无监督学习的方式训练文本：①下载开源库：transformers②根据要求安装tensorflow2.0、Pytorch1.0+等依赖的训练工具；

XiaoH0_0·2020-06-22 08:28

bert模型简介、transformers中bert模型源码阅读、分类任务实战和难点总结

目录一、bert模型简介bert与训练的流程：bert模型的输入二、huggingface的bert源码浅析bert提取文本词向量BertModel代码阅读BertEmbedding子模型BertEncoderBertAttentionBertIntermediateBertOutput(config)BertPooler()三、Bert文本分类任务实战四、Bert模型难点总结写在最前面，这篇博客

colourmind·2020-06-21 21:52

盘点当下大热的 7 大 Github 机器学习『创新』项目

最顶尖的Github机器学习项目1.PyTorch-Transformers（NLP）传送门：https://github.com/huggingface/pytorch-transformers自然语言处理

机器学习算法与Python学习-公众号·2020-06-21 04:48

（2020.6.18）BERT微调

参考资料：https://huggingface.co/transformers/v1.2.0/examples.htmlBERT家族的模型很多都太大了，以至于普通的单GPU训练搞不定，所以就需要一些技巧

SQLKRAD·2020-06-18 21:00

论文笔记+源码 DETR:End-to-End Object Detection with Transformers

〇、本论文需要有的基础知识目标检测：了解传统目标检测的基本技术路线（如anchor-based、非最极大值抑制、one-stage、two-stage），大致了解近两年的SOTA方法（如Faster-RCNN）Transformer：了解Transformer的机制，知道self-attention机制二分图匹配：了解图论中的二分图匹配，知道匈牙利算法一、摘要核心点1.相比传统路线：去掉了很多手工

郭汪汪·2020-06-18 11:53

（2020.6.17）优化器

如果不了解优化器的原理，就没法发现huggingface/transformers里面的AdamW没有biascorrecting的问题。因此这篇博客就总结一下优化器

SQLKRAD·2020-06-17 11:00

TTSR：用Transformer来实现端到端的超分辨率任务 | CVPR2020

本文最具有创新点的地方是使用Transformer来解决超分辨率的问题，这让我想到了前段时间的DETR：用Transformers来进行端到端的目标检测。

AI算法修炼营·2020-06-10 22:29

DETR论文笔记 End-to-End Object Detection with Transformers

文章目录摘要模型大致结构损失函数模型结构为什么有用摘要DETR是一个使用transformer进行目标检测的一篇论文。它的亮点在将transformer应用到了视觉任务，将NLP和CV任务之间打通了。DETR实现非常简单，不需要像faster-rcnn一样设计很复杂的结构，而且可以达到和faster-rcnn差不多的结果。模型大致结构模型的结构主要是两部分，首先是CNN的图片特征提取部分，然后是t

ACM_Nestling·2020-06-02 22:28

HuggingFace-transformers系列的介绍以及在下游任务中的使用

看过这篇博客，你将了解：Transformers实现的介绍，不同的Tokenizer和Model如何使用。

dxzmpk·2020-04-23 22:00

《迷你世界》植入“变形金刚”后曝光总量高达7亿，它们为IP联动做了一次很好的示范！

全球知名玩乐及娱乐公司——美国孩之宝，与全球游戏服务平台运营商——北京游道易网络文化有限公司，于2019年9月正式达成针对孩之宝旗下Transformers变形金刚、MyLittlePony小马宝莉、Monopoly

手游那点事·2020-04-08 00:00

Transformers 保存并加载模型 | 八

作者|huggingface编译|VK来源|Github本节说明如何保存和重新加载微调模型(BERT，GPT，GPT-2和Transformer-XL)。你需要保存三种文件类型才能重新加载经过微调的模型：模型本身应该是PyTorch序列化保存的模型(https://pytorch.org/docs/stab...模型的配置文件是保存为JSON文件词汇表(以及基于GPT和GPT-2合并的BPE的模型

人工智能遇见磐创·2020-04-06 19:52

《变形金刚1》：多少人心中的经典？

变形金刚(Transformers，简称TF)是源自于美国孩子宝公司与日本Takara玩具公司自1984年开始合作的玩具产品系列。2007

来自篝火集的黑小白·2020-03-31 22:24

Hugging Face的Transformers库简单用法

1.基本用法Huggingface提供的transformers库主要用于预训练模型的载入，需要载入三个基本对象fromtransformersimportBertConfigfromtransformersimportBertModelfromtransformersimportBertTokenizerBertConfig

Nevrast·2020-03-28 14:18

电影札记［一］Logan3

第一次知道Wolverine这个词是在Transformers里听到的，那时候对于他的想象局限于有着金钢不坏之躯的好mutant，仅仅知道他的特长，但感觉这硬汉偏偏是头脑简单四肢发达的“厉害”角色。

MilletCheong·2020-03-25 12:17

推荐频道

Transformers》