Representations 第5页

bert和word2vec/glove的区别

https://www.quora.com/Are-encoder-representations-BERT-considered-embeddings/answer/Wenxiang-JiaoOfcourse

大龙2020·2022-10-25 07:43

【AI4Code】《GraphCodeBERT: Pre-Training Code Representations With DataFlow》 ICLR 2021

《GraphCodeBERT:Pre-TrainingCodeRepresentationsWithDataFlow》ICLR2021近年来，应用于编程语言的预训练模型得到飞速发展，相关任务比如codesearch,codecompletion,codesummarization也得到提升。但是，现有的预训练模型是将codesnippet（代码片段）视为一个token序列，忽视了代码的结构。本文的

chad_lee·2022-10-19 07:57

DEEPBINDIFF: Learning Program-Wide Code Representations for Binary Diffing

DEEPBINDIFF:LearningProgram-WideCodeRepresentationsforBinaryDiffingExistingtechniques：lowaccuracy,poorscalability,coarsegranularity,orrequireextensivelabeledtrainingdatatofunction.LimitationsofLearnin

桃子小迷妹·2022-10-19 07:55

Efﬁcient Estimation ofWord Representations in Vector Space 论文精读

EfﬁcientEstimationofWordRepresentationsinVectorSpace论文精读InformationTitleAbstract1Introduction简单模型（单词视为原子，没有相似性的概念）复杂模型1.1GoalsofthePaper1.2PreviousWork2ModelArchitectures常见的用于估计单词的连续向量表示的模型2.1Feedforw

小白*进阶ing·2022-10-12 07:57

Learning Phrase Representations using RNN Encoder–Decoderfor Statistical Machine Translation翻译

由于最近学习的需要，对论文《LearningPhraseRepresentationsusingRNNEncoder–DecoderforStatisticalMachineTranslation》进行了不地道的翻译，翻译存在许多问题，因此仅供自己参考。也希望大家在留言中提出意见，我会认真修改。翻译全文如下：使用RNN编码器-解码器学习短语表示以进行统计机器翻译摘要在本文中，我们提出了一种新的神经

zhu_zhu_zhu_zhu_zhu·2022-10-03 21:38

论文笔记：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

论文学习：LearningPhraseRepresentationsusingRNNEncoder-DecoderforStatisticalMachineTranslation这篇论文算是Seq2Seq（SequenctoSequence）的经典论文了。文中提出了一种新的RNN模型结构用于机器翻译等工作，此外，作为LSTM单元的变种和简化版本GRU单元也是在文章中首次提出的。很值得一读。Abst

MirrorN·2022-10-03 21:07

旋转目标检测:Exploring Complementary Strengths of Ivariant and Equivariant Representations for FSL（CVPR21）

关键词：小样本，自监督，变换不变性，等变性*参考博客：https://zhuanlan.zhihu.com/p/354771341论文原文下载：https://arxiv.org/pdf/2103.01315v1.pdf代码下载地址：https://github.com/nayeemrizve/invariance-equivariance*一、摘要：1、小样本学习（FSL）：(1)在有限的样本中

TODO_D2D·2022-09-28 07:16

Learning Generalisable Omni-Scale Representations for Person Re-Identification

LearningGeneralisableOmni-ScaleRepresentationsforPersonRe-IdentificationAbstractIntroductionOSNet网络结构OMNI-SCALENETWORKFORPERSONRE-IDDepthwiseSeparableConvolutionsOmni-ScaleResidualBlock实验总结Reference：h

_Summer tree·2022-09-23 22:09

DRIT：Diverse image-to-image translation via disentangled representations 论文阅读

转载请注明作者和出处：http://blog.csdn.net/john_bh/论文链接:DRIT：Diverseimage-to-imagetranslationviadisentangledrepresentations论文链接:DRIT++作者及团队：加州大学&谷歌云会议及时间：ECCV2018Oralcode:作者开源github地址文章目录1.主要贡献2.DRIT2.1Disentang

john_bh·2022-09-04 07:34

【论文翻译】Learning Generalizable and Identity-Discriminative Representations for Face Anti-Spoofing

Abstract由于人脸认证系统的高安全性需求，面部反欺骗（a.k.a演示攻击检测）已引起越来越多的关注。当训练和测试欺骗样本拥有相似的模式时，现有的基于CNN的方法通常很好地识别欺骗攻击，但它们的性能会在未知场景的测试欺骗攻击上急剧下降。在本文中，我们试图通过设计两个新颖性的CNN模型来提高方法的泛化能力和适用性。首先，我们针对CNN模型提出了一种简单但有效的总成对混淆（TPC）损失函数，这增强

sinat_tangsipeng·2022-08-18 07:00

2020_ACM MM_MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

MISA:Modality-Invariantand-SpecificRepresentationsforMultimodalSentimentAnalysis论文地址：https://dl.acm.org/doi/abs/10.1145/3394171.3413678?casa_token=oI8VnZ8Eg10AAAAA:mVUbDA0AZiAXcDxiDmV9-ooRH4PxzlSMXkBC

CityD·2022-07-21 13:05

Deep Neural Networks for Learning Graph Representations——paper 笔记

和基于SVD的降维（将原始的高维空间通过线性变换隐射到低维空间上）不同，深度神经网络，比如stackedauto-encoders学习到的映射都是高度非线性的。论文开头，通过介绍Deepwalk，说明如何将节点的表示转化成线性表示。展示两种word向量表示方法：1，负采样的skip-gram和基于PPMI矩阵的矩阵分解。矩阵分解，利用词和词的共现矩阵来产生词向量表示，主要缺点是一些没有语义价值的如

wang2008start·2022-07-06 07:26

【论文阅读】Deep Neural Networks for Learning Graph Representations | day14，15

《DeepNeuralNetworksforLearningGraphRepresentations》-(AAAI-16)-2016文章目录一、模型1.1解决了两个问题1.2优点二、背景知识2.1DeepWalk中的未加权图随机采样法2.2两种从线性结构数据中学习词语表示的线性方法2.2.1Skip-gramwithNegativeSampling带负抽样的跳跃图2.2.2PMImatrix结合S

潮一·2022-07-06 07:20

【论文】解读Deep Neural Networks for Learning Graph Representations

DeepNeuralNetworksforLearningGraphRepresentations摘要本文提出了一个新颖的学习图表示的模型，它可以对每个节点通过抓取图结构信息得到一个低维的向量表示。不同于前任的研究，我们采用一个‘随机冲浪模型’(randomsurfingmodel)去直接抓取结构信息，而不是使用Perozzi等人提出的基于采样方法的生成的线性序列。我们方法的优势将从理论和经验的角

panbaoran913·2022-07-06 07:16

【论文阅读｜深读】DNGR:Deep Neural Networks for Learning Graph Representations

目录前言简介Abstract1Introduction2BackgroundandRelatedWork2.1RandomWalkinDeepWalk2.2Skip-gramwithNegativeSampling2.3PMImatrixandSVD2.4DeepNeuralNetworks3DNGRModel3.1RandomSurfingandContextWeighting3.2Stacke

海轰Pro·2022-07-06 07:57

论文阅读“Multi-VAE: Learning Disentangled View-common and View-peculiar Visual Representations for MvC”

XuJ,RenY,TangH,etal.Multi-VAE:Learningdisentangledview-commonandview-peculiarvisualrepresentationsformulti-viewclustering[C]//ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2021:9234-

掉了西红柿皮_Kee·2022-07-05 18:56

【论文阅读】ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS

【论文阅读】ALBERT:ALITEBERTFORSELF-SUPERVISEDLEARNINGOFLANGUAGEREPRESENTATIONS前言在BERT提出之后，各种大体量的预训练模型层出不穷，在他们效果不断优化的同时，带来的是巨大的参数量和漫长的训练时间。当然对于这个问题，也有大量的研究。ALBERT是谷歌在BERT基础上设计的一个精简模型，主要为了解决BERT参数过大、训练过慢的问题。

EmoryHuang·2022-07-03 12:19

论文解读（LG2AR）《Learning Graph Augmentations to Learn Graph Representations》

论文信息论文标题：LearningGraphAugmentationstoLearnGraphRepresentations论文作者：KavehHassani,AmirHoseinKhasahmadi论文来源：2022,arXiv论文地址：download论文代码：down

Learner-·2022-06-26 21:00

VirTex: Learning Visual Representations from Textual Annotations

文章目录基本信息摘要：Introduction学习视觉表示的方法VirTex的优点RelatedWorkMethodExperimentsperformanceAblationsConclusion基本信息论文：VirTex:LearningVisualRepresentationsfromTextualAnnotations作者：KaranDesai、JustinJohnson；均来自Unive

李霁明·2022-06-10 22:52

论文阅读 DyREP:Learning Representations Over Dynamic Graphs

5DyREP:LearningRepresentationsOverDynamicGraphslink:https://scholar.google.com/scholar_url?url=https://par.nsf.gov/servlets/purl/10099025&hl=zh-

落悠·2022-05-17 16:00

DeepWalk: Online Learning of Social Representations

Paper:http://www.perozzi.net/publications/14_kdd_deepwalk.pdf代码解析：https://blog.csdn.net/weixin_42486623/article/details/1246660252014|DeepWalk:OnlineLearningofSocialRepresentations摘要文章提出了DeepWalk，一种学习

发呆的比目鱼·2022-05-11 07:06

论文解读（GMT）《Accurate Learning of Graph Representations with Graph Multiset Pooling》

论文信息论文标题：AccurateLearningofGraphRepresentationswithGraphMultisetPooling论文作者：JinheonBaek,MinkiKang,SungJuHwang论文来源：2021,ICLR论文地址：downlo

Learner-·2022-05-04 20:00

Nature重磅：Hinton、LeCun、Bengio三巨头权威科普深度学习

http://wallstreetcn.com/node/248376借助深度学习，多处理层组成的计算模型可通过多层抽象来学习数据表征（representations）。

weixin_30666753·2022-04-07 14:41

Nature：Hinton、LeCun、Bengio图灵奖得主权威科普深度学习

摘要:借助深度学习，多处理层组成的计算模型可通过多层抽象来学习数据表征（representations）。

liqiang12689·2022-04-07 14:40

论文阅读笔记《Few-Shot Learning with Global Class Representations》

小样本学习&元学习经典论文整理||持续更新核心思想本文提出一种基于度量学习的小样本学习算法。与其他算法将训练集分成基础类别和新类别，进行两个阶段的训练方式不同，本文将包含大量样本的基础类别和包含少量样本的新类别合在一起进行训练，得到每个类别的表征（原型）称之为全局类别表征（GlobalClassRepresentations，GCR）。然后对于每个Episode中的支持集样本得到对应的Epis

深视·2022-03-28 07:02

Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries

ImageDenoisingViaSparseandRedundantRepresentationsOverLearnedDictionaries（通过学习字典上的稀疏和冗余表示进行图像去噪）文章目录ImageDenoisingViaSparseandRedundantRepresentationsOverLearnedDictionaries（通过学习字典上的稀疏和冗余表示进行图像去噪）Abst

前丨尘忆·梦·2022-03-19 09:14

Raki的读paper小记：Instance-Based Learning of Span Representations: A Case Study through NER

Abstract&Introduction&RelatedWork研究任务基于实例的学习，使模型拥有可解释的推理过程，用于结构化预测本研究提出并研究了一种基于实例的span表征学习方法。已有方法和相关工作基于实例的学习是一种机器学习方法，可以学习实施之间的相似性，在推理阶段，最相似的训练实例会被分配到新的实例最近，尽管有很高的可解释性，但这个方向还没有被探索。面临挑战神经模型通常有一个共同的技术难

爱睡觉的Raki·2022-03-14 07:42

NLP（三）学习《Efﬁcient Estimation of Word Representations in Vector Space》

本篇是学习SkipGram算法，对论文内容进行概括，方便查阅和总结1介绍传统的N-Gram方法在很多任务具有其局限性，比如，用于自动演讲识别中域数据量是有限的，而这部分的性能通常以高质量转录的语音数据的大小为主。在机器翻译中，现存的许多语言的预料库仅仅有数以十亿的词汇或者更少。因此，简单地把这种基本方法扩大并不会在一些场景带来显著的进步，我们需要关注更加先进的技术。1.1本文目标本文的主要目标是介

shijiatongxue·2022-02-22 02:03

【软件使用】PyMol入门教程

主要讲述PyMOL中常见的图形界面（鼠标）操作1.认识PyMol1.软件界面介绍image.png1.2内置demo介绍打开PyMOL,点击1.1菜单窗口的Wizard菜单，然后点击Demo->Representations

巩翔宇Ibrahimovic·2022-02-01 16:56

序列推荐: Learning Reinforced Dynamic Representations for Sequential Recommendation Weiqi

paper链接：https://arxiv.org/pdf/2112.02787.pdf类似工作：https://arxiv.org/pdf/2012.08984.pdf摘要近年来，序列推荐在解决许多在线服务中的信息过载问题方面发挥了重要作用。目前的序列推荐侧重于在任何时候为每个用户学习固定数量的表示，为用户提供单个表示或多个兴趣表示。然而，当用户探索电子商务推荐系统上的物品时，该用户的兴趣数量可

阿瑟_TJRS·2021-12-17 15:27

论文解读（GraRep）《GraRep: Learning Graph Representations with Global Structural Information》

论文题目：《GraRep:LearningGraphRepresentationswithGlobalStructuralInformation》发表时间：CIKM论文作者：ShaoshengCao;WeiLu;QiongkaiXu论文地址：DownloadGithub：GoAbstract在本文中，我们提出了一种新的学习加权图顶点表示的GraRep模型。该模型学习低维向量来表示出现在图中的顶点，

希望每天涨粉·2021-12-08 21:00

论文阅读：Efficient Estimation of Word Representations in Vector Space

目录前言Abstract1.Introduction1.1GoalsofthePaper1.2PreviousWork2.ModelArchitectures2.1FeedforwardNeuralNetLanguageModel(NNLM)2.2RecurrentNeuralNetLanguageModel(RNNLM)2.3ParallelTrainingofNeuralNetworks3.N

Cyril_KI·2021-12-01 22:27

论文解读（DeepWalk）《DeepWalk: Online Learning of Social Representations》

一、基本信息论文题目：《DeepWalk:OnlineLearningofSocialRepresentations》发表时间：KDD2014论文作者：BryanPerozzi、RamiAl-Rfou、StevenSkiena论文地址：https://dl.acm.org/citation.cfm?id=2623732二、前言普通的邻接矩阵在存储的关系很多时，纬度将变得很高，而进行矩阵分解是一个相

希望每天涨粉·2021-11-14 11:00

【论文翻译】DeepWalk: Online Learning of Social Representations

背景介绍这几年图神经网络模型（如谱聚类的GCN、GAT等等）都挺火的，这些图神经网络即将节点或图映射到一个低维空间（称为图嵌入）；而除了GNN还有很多图嵌入方法（在GNN之前图嵌入的概念常出现在流行学习和网络分析的研究中），这类图嵌入方法可以分为【基于矩阵分解的图嵌入方法】和【基于随机游走的图嵌入方法】，后者方法就是来自本篇论文，即第一个将NLP的思想用在网络嵌入（NetworkingEmbedd

奇跡の山·2021-09-25 11:32

论文整理：LEARNING AND EVALUATING REPRESENTATIONS FOR DEEP ONE-CLASS CLASSIFICATION

该论文提出了一种新的增强分布的对比学习方法，该方法通过数据增强来扩展训练数据的分布，将增强后的数据也作为不同样本进行自监督学习，自监督学习倾向于让不同样本距离拉远，所以除了原始不同样本拉远，增强后的样本也与原始样本拉远，使得原始数据集的样本分布不服从均匀分布，易于将正常样本与异常样本分开。1.introduction现有的单分类方法的缺点：生成式：kerneldensityestimation(K

赵小闹闹·2021-08-31 17:25

论文阅读|DeepWalk: Online Learning of Social Representations

论文阅读|DeepWalk:OnlineLearningofSocialRepresentations文章目录论文阅读|DeepWalk:OnlineLearningofSocialRepresentationsAbstractIntroductionProblemDefinitionLearningSocialRepresentationsMethod实验设置RelatedWork我的看法参考资

白鳯·2021-08-07 11:01

Efﬁcient Estimation of Word Representations in Vector Space

论文地址作者：TomasMikolov,KaiChen,GregCorrdado,JefferyDeanAbstract本文提出了两种新颖的模型体系结构，用于计算来自非常大的数据集的字的连续向量表示（ContinuousVectorRepresentation）。表现结果通过词相似度任务（WordSimilarityTask）来衡量，并且将结果与之前其他不同类型且在神经网络方面最优秀的技术进行比较

cv_tm·2021-06-25 19:07

2018 · NAACL · BP · Deep Contextualized Word Representations

2018·NAACL·BP·DeepContextualizedWordRepresentations问题：以往的词向量表示的语义信息并不丰富，没有挖掘到深层的语义和语法信息。价值：通过丰富词向量表示，在downstream中提升各种表现性能方法：非常简单的想法，利用多层的RNN表示网络，表示出深层的上下文依赖的词向量，之前是只使用embedding，这次直接把RNN一起搬过来了。缺点：参数太多，

HelloShane·2021-06-04 21:29

Bert系列：BERT（Bidirectional Encoder Representations from Transformers）原理以及hugging face介绍

1.预训练语言模型的发展史2018年，BERT被正式提出。下图1回顾了近年来预训练语言模型的发展史以及最新的进展。预训练语言模型的成功，证明了我们可以从海量的无标注文本中学到潜在的语义信息，而无需为每一项下游NLP任务单独标注大量训练数据。此外，预训练语言模型的成功也开创了NLP研究的新范式[6]，即首先使用大量无监督语料进行语言模型预训练（Pre-training），再使用少量标注语料进行微调（

凝眸伏笔·2021-04-30 21:54

NLP系列：Word2Vec原始论文：Efficient Estimation of Word Representations in Vector Space

译者按：2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（wordembedding），可以很好地度量词与词之间的相似性。随着深度学习（DeepLearning）在自然语言处理中应用的普及，很多人误以为word2vec是一种深度学习

fat32jin·2021-04-17 21:07

【实战】（字节跳动、日本东京大学）学习使用白盒表示+GAN来创作卡通图片：Learning to Cartoonize Using White-Box Cartoon Representations

要说亚洲动漫制作的王者，当然是我们一衣带水的邻邦——日本。2020年字节跳动和日本东京大学联合发表了一篇《LearningtoCartoonizeUsingWhite-BoxCartoonRepresentations》（学习使用白盒表示+GAN来创作卡通图片），基于卡通图片的绘画技法和图像特点，可以将真实的人物或风景图片转化为卡通图片，效果很出色，在这篇文章里我们介绍一下这个项目。论文地址：ht

闪闪·Style·2021-04-12 16:25

图神经网络（一）DeepWalk: Online Learning of Social Representations

DeepWalk:OnlineLearningofSocialRepresentations论文作者：B.Perozzi,R.Al-Rfou,andS.Skiena论文来源：KDD,2014论文链接：https://arxiv.org/abs/1403.6652github链接：https://github.com/phanein/deepwalk文章目录前言一、Word2vec1.Skip-gr

码匀·2021-03-09 14:51

论文推荐：Self-Supervised Hyperboloid Representations from Logical Queries over Knowledge Graphs

论文名称：Self-SupervisedHyperboloidRepresentationsfromLogicalQueriesoverKnowledgeGraphs推荐理由：知识图（KG）是信息存储在Web，搜索，电子商务，社交网络和生物学等多个实际应用中的普遍存在的结构。由于KG的规模和复杂性，查询KG仍然是一个基础且具有挑战性的问题。解决该问题的有前途的方法包括将KG单元（例如，实体和关系）

AMiner科技·2020-12-28 21:09

《Distributed Representations of Words and Phrases and their Compositionality》论文阅读笔记

1.论文的贡献对现有的Skip-grammodel进行拓展，提高词向量的质量和学学习速度。作者提出了创新方法：通过对常用词的部分采样加快训练速度以及提高词向量的训练质量。提出了negativesampling作为hierarchicalsoftmax的替代方法。2.前人的主要贡献Mikolov提出了Skip-grammodel，这个模型能够快速地学习得到高质量的词向量，因为相较于传统使用神经网络学

Mavis code·2020-11-10 11:39

论文总结 | Improving Relation Extraction by Pre-trained Language Representations

原文链接：https://openreview.net/pdf?id=BJgrxbqp67本文工作：使用基于Transformer的关系抽取模型（TRE），依赖于深层语言表征（deeplanguagerepresentation）而非语法特征。首次证明预训练语言表征在关系抽取任务中的重要性。通过ablationstudies证明训练语言表征避免过拟合且具有较好的泛化性能；证明与基线方法相比样本效率

J.M_·2020-11-03 16:39

论文《Efficient Estimation of Word Representations in Vector Space》阅读心得

本来应该将Tomas的三篇论文一起读完再写的，但是因为这段时间事情比较多，先写一篇后面的再补上。由于自己刚开始看论文理解能力不够，如有错误欢迎大家指出来，我再修改。本片论文作者是TomasMikolov，他在谷歌是研究的是word2vec，现在跑去了facebook，都很厉害啊！这篇主要讲了word2vec与之前的语言模型例如NNLM等在语义语法上、训练速度上的比较。总结来说有一下几点：（1）研究

xuqn0606·2020-09-17 05:34

论文笔记《DeepWalk: Online Learning of Social Representations》

文章目录摘要1、简介2、问题定义3、学习社交表征3.1随机游走3.2连接：幂定律(powerlaws)3.3语言模型4、方法4.1概览4.2算法：深度游走4.2.1*SkipGram*4.2.2*HierarchicalSoftmax*4.2.3优化4.3并行化5、实验设计5.1数据集5.2Baseline方法摘要我们提出了DeepWalk，这是一种用于学习网络中顶点的隐表示的新颖方法。这些隐表征

zuolixiangfisher·2020-09-17 04:06

Bert (Bi-directional Encoder Representations from Transformers) Pytorch 源码解读（三）

前言Bert(Bi-directionalEncoderRepresentationsfromTransformers)Pytorch版本源码解读的第三篇，也是最后一部分。这一部分为源码中，wiki_dataset.py文件中的内容，主要实现了Bert模型预训练时，数据的预处理工作。读完这一部分源码有助于更好的理解模型的输入部分的数据是如何构造的。Bert源码解读：1.模型结构源码：bert_mo

zjrn·2020-09-16 05:14

读论文OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations

OCGAN的目的在于使得正常类输入样本real经过编码、解码后得到的fake与输入real尽可能的相似。并且强制经过编码后得到潜在空间服从均匀分布，实现方法是用gan。这样异常输入经过编码得到向量也会服从均匀分布，解码后得到的fake会像正常类。比如说数字2作为正常类训练，数字8作为异常。数据8输入模型得到重构图像fake会像数字2。这样输入与输出差别会比较大，相对数字2输入和得到的数字2输出。即

MQLYES·2020-09-15 00:40

Multiple representations of the same entity are being merged解决方法

最近在写网站过程中发现自己hibernate学的还不到家，好多错误，特地来记录一下这个错误:java.lang.IllegalStateException:Multiplerepresentationsofthesameentityarebeingmerged.错误信息java.lang.IllegalStateException:Multiplerepresentationsofthesamee

ThinerZQ·2020-09-14 13:26

推荐频道

Representations