Representations 第7页

Putting An End to End-to-End: Gradient-Isolated Learning of Representations 笔记

PuttingAnEndtoEnd-to-End:Gradient-IsolatedLearningofRepresentations1.论文讲了什么/主要贡献是什么文章提出了GreedyInfoMax算法，该算法在贪婪自监督训练的情况下，仍能较好地完成音频和图像分类任务。神经网络能够进行异步、解耦训练，允许在大于内存的输入数据上对任意深度的网络进行训练。文中证明了互信息最大化特别适用于逐层贪婪优

Melody1211·2020-08-03 13:55

Self-Attention with Relative Position Representations解读

非递归的模型（attention，CNN等）并没有考虑输入序列中元素的顺序，因此在很多任务中可能需要显式地编码位置信息。这篇文章将元素与元素之间的相对位置表示引入了self-attention机制。在两个机器翻译的任务中，引入相对位置表示的self-attention比绝对位置编码的self-attention有明显的提升。背景知识AttentionMechanism这篇文章把普通的self-at

wu740027007·2020-08-03 08:23

ICLR 2013 International Conference on Learning Representations深度学习论文papers

ICLR2013InternationalConferenceonLearningRepresentationsMay02-04,2013,Scottsdale,Arizona,USAICLR2013WorkshopTrackAcceptedforOralPresentationZero-ShotLearningThroughCross-ModalTransferRichardSocher,Mil

weixin_34085658·2020-08-03 07:51

ICLR 2016 - Workshop Track International Conference on Learning Representations 论文papers

ICLR2016-WorkshopTrackInternationalConferenceonLearningRepresentationsMay2-4,2016,CaribeHilton,SanJuan,PuertoRicoPleaseseethevenuewebsite(http://www.iclr.cc/doku.php?id=iclr2016:main)formoreinformatio

weixin_33991727·2020-08-03 07:35

文献阅读（七）ICLR2019-DyREP：Learing Representations over Dynamic Graphs

本文是对《DyREP：LearingRepresentationsoverDynamicGraphs》一文的浅显翻译与理解，原文章已上传至个人资源，如有侵权即刻删除。更多网络表示学习相关文章，请移步：文献阅读总结：网络表示学习文章目录前言TitleMainBody动态图描述节点表征参数与损失函数前言本文提出了动态图上的的表示学习算法DyREP，当前大部分算法都是直推式学习，即针对特定的网络环境所学

CSDNTianJi·2020-08-02 21:09

ICLR 2014 International Conference on Learning Representations深度学习论文papers

ICLR2014InternationalConferenceonLearningRepresentationsApr14-16,2014,Banff,CanadaWorkshopTrackSubmittedPapersStochasticGradientEstimateVarianceinContrastiveDivergenceandPersistentContrastiveDivergenc

GarfieldEr007·2020-08-02 20:54

【论文阅读】 VL-BERT: Pre-training of generic visual-linguistic representations

利用BERT联合学习视觉和语言之间的信息。Visual-LinguisticBERT的主干是多模态Transformerattention模块，以视觉和语言嵌入特征作为输入。在输入中，每个元素要么来自输入句子的单词，要么来自输入图像的某个区域(RoI)，以及某些特殊元素[CLS]、[SEP]、[END]等用来消除不同的输入格式的歧义。不同于BERT只将语言元素作为输入，VL-BERT将视觉元素和语

CC‘s World·2020-08-02 13:36

【论文阅读-ASAP】ASAP: Adaptive Structure Aware Pooling for Learning Hierarchical Graph Representations

论文地址：https://www.aaai.org/Papers/AAAI/2020GB/AAAI-RanjanE.8336.pdf代码地址：https://github.com/malllabiisc/ASAP来源：WWW2020图神经网络(GNN)已被证明可以有效地建模图结构数据，解决节点分类、链路预测和图分类等任务。最近在定义图中池化概念方面取得了一些进展，模型试图通过向下采样和汇总节点中呈

兰亭不写序·2020-08-02 12:26

论文阅读：DeepWalk Online Learning of Social Representations

DeepWalkOnlineLearningofSocialRepresentations[1]论文大纲问题定义贡献使用Deepwalk学习结点表征思路大概是这样的detail0：为什么可以将语言模型中的技术用在结点表征中？detail1：为什么最大化结点的共现率可以用来更新ϕ\phiϕ?detail2：Hierarchicaltree？Deepwalk伪代码参考文献论文大纲Introductio

Miha_Singh·2020-08-01 19:40

Daily Paper 004: Two Forms of Knowledge Representations in the Human Brain

作者通过先天性盲人和普通人对颜色的认知，判断得出人脑存在基于感官体验以及语言和认知推理的两种知识。DOI：https://doi.org/10.1016/j.neuron.2020.04.010导言“玫瑰花是红色的”，你有想过这样关于颜色的知识究竟存储在大脑何处吗？过去有两种观点：一种认为这样的知识来源于感官经验，存储在感觉联想皮层sensoryassociationcortices；另一种则认为

misite_J·2020-07-27 12:34

(BLSTM)Play and Rewind_ Optimizing Binary Representations of Videos by Self-Supervised Temporal Hash

论文的贡献：1.我们提出了一种新的无监督视频哈希框架，称为自监督时间哈希（ssth）。据我们所知，ssth是视频哈希的第一个原则性深层框架。它是一种优化的端到端方法，解决了传统视频散列方法中的各种弱点，例如对时间性质的无知以及对池、松弛和二值化的隔离。2。我们开发了一个新的lstm变量，名为binarylstm（blstm），它是temporalaware散列函数的构建块。我们还开发了一个有效的反

genous110·2020-07-15 23:12

论文阅读笔记（五十一）：Understanding Deep Image Representations by Inverting Them

AbstractImagerepresentations,fromSIFTandBagofVisualWordstoConvolutionalNeuralNetworks(CNNs),areacrucialcomponentofalmostanyimageunderstandingsystem.Nevertheless,ourunderstandingofthemremainslimited.In

__Sunshine__·2020-07-13 14:05

Few-Shot Learning with Global Class Representations笔记整理

Few-ShotLearningwithGlobalClassRepresentations笔记整理1Introduction在小样本学习（Few-ShotLearning,FSL）问题上，对于baseclasses中的每个类别，我们往往有充足的训练数据；对于那些novelclasses中的每个类别，我们只有少量的带标签的数据。FSL旨在利用basecalsses中大量的数据，来学习出一个可以对n

miguemath·2020-07-12 05:03

Mental Representations(Part 1)

表达1.Thisabilityseemedtodefythewell-knownlimitsofshort-termmemory.defy■torefusetoobeyaperson,decision,law,situation,etc.对抗；违抗；反抗•childrenopenlydefyingtheirteachers公然与老师作对的孩子们•Afewworkershavedefiedthema

小Zer·2020-07-12 04:01

自然语言处理 cs224n 2019 Lecture 13: Contextual Word Representations and Pretraining

上下文词表示和预训练主要内容词表示上的映射Pre-ELMo和ELMOULMfit和onwardTransformer架构bert一、词表示上的映射现在为止，我们基本上可以说我们有一个词向量的表示了：word2vec，glove，fastText预训练词向量：模型使用了预训练词向量之后，得分得到了提升：预训练词向量可以开始的时候给单词一个随机词向量，然后再训练它们。在大多数情况下，使用预训练的词向量

努力努力再努力_越努力越幸运·2020-07-11 17:34

8.7 Day 5 Peak: C3 Mental Representations

PART1:ThoughtsInotherwords,expertsseetheforestwheneveryoneelseseesonlytrees.Themoreyoustudyasubject,themoredetailedyourmentalrepresentationsofitbecome,andthebetteryougetatassimilatingnewinformation.心理

milaji·2020-07-11 10:24

NLP-contextualized representations-task04

基于上下文的词嵌入方法1Word2Vec,Glove&Fastext2一词多义2.1ELMO2.2BERT2.3GPT3小结1Word2Vec,Glove&Fastext回顾之前内容，对于词如何转为数学表示，最基础的是词的编码，即one-hot编码，这样可以将词转为计算机可以处理的对象，但缺点是完全丢失了词本身的语意信息，只达到了区分效果，每个词之间互不相关。作为改进，有了词嵌入算法，该算法可以看

尘归尘-北尘·2020-07-11 07:04

IAAA 2018| Improving Review Representations with User and Product Attention Sentiment Classification

最近有一个计划——40篇论文储备计划，是老班要求的。有的解读可能会放上来，有的不会。同时会把论文的地址放出来，希望能传播一些好文章吧~论文名称：ImprovingReviewRepresentationswithUserAttentionandProductAttentionforSentimentClassification论文链接：https://arxiv.org/abs/1801.0786

Raymond_MY·2020-07-10 23:59

PRML读书会第六章 Kernel Methods（核函数，线性回归的Dual Representations，高斯过程，Gaussian Processes）

主讲人网络上的尼采（新浪微博:@Nietzsche_复杂网络机器学习）网络上的尼采(813394698)9:16:05今天的主要内容：Kernel的基本知识，高斯过程。边思考边打字，有点慢，各位稍安勿躁。机器学习里面对待训练数据有的是训练完得到参数后就可以抛弃了，比如神经网络；有的是还需要原来的训练数据比如KNN，SVM也需要保留一部分数据--支持向量。很多线性参数模型都可以通过dualrepre

Nietzsche2015·2020-07-10 23:42

Learning Cross-Modal Deep Representations for Robust Pedestrian Detection（CVPR2017）论文解读

LearningCross-ModalDeepRepresentationsforRobustPedestrianDetection一、Overview 本文设计了一个多光谱行人检测模型，与融合RGB信息和T信息的思路不同的是，本文没有选择在一个模型中融合两种模态的信息，而是先在训练过程中通过一个无监督学习的方法从对应的RGB图像中重建T图像。该模型主要包括两个阶段：首先利用一个CNN学习模态间的

zhaoshenlu829·2020-07-10 15:33

从Transformers学习跨模态编码器表示《LXMERT: Learning Cross-Modality Encoder Representations from Transformers》

目录一、文献摘要介绍二、网络框架介绍三、实验分析四、结论这是视觉问答论文阅读的系列笔记之一，本文有点长，请耐心阅读，定会有收货。如有不足，随时欢迎交流和探讨。一、文献摘要介绍Vision-and-languagereasoningrequiresanunderstandingofvisualconcepts,languagesemantics,and,mostimportantly,thealig

Tiám青年·2020-07-10 12:26

Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention for VQA 阅读笔记

解决VQA(VisualQuestionAnswering)问题的关键在于如何从图片和问题中提取有用的特征,并将二者进行有效地融合。目前对于VQA问题的研究路线分为两个主要部分,一是更好的attention机制,二是改进的特征融合方式。一般而言这两部分属于模型独立模块,而本文认为两者是有联系的,应该进行有机的结合,因而提出了一种新的co-attention机制来改善视觉特征与语言特征的融合。我们展

小有名气的可爱鬼·2020-07-10 10:26

机器学习论文笔记（六）HIERARCHICAL REPRESENTATIONS FOR EFFICIENT ARCHITECTURE SEARCH

机器学习论文笔记（六）标签（空格分隔）：陈扬机器学习论文笔记（六）分层表示高效的架构搜索（HIERARCHICALREPRESENTATIONSFOREFFICIENTARCHITECTURESEARCH优点摘要：抛砖：引玉定义部分元操作进化初始化算法训练结果总结：分层表示高效的架构搜索（HIERARCHICALREPRESENTATIONSFOREFFICIENTARCHITECTURESEAR

ouc陈同学·2020-07-10 10:43

[NLP论文阅读]Distributed Representations of Sentences and Documents

1.对CBOW模型和Skip-gram模型的介绍首先，需要先介绍一下Mikolov另一篇文章中提出的CBOW模型和Skip-gram模型。CBOW模型可以看做是一个三层结构：输入层(input)：输入为Context(w)，Context(w)表示单词w的上下文，模型中采用了窗口的方式来对上下文进行限制。例如，确定上下文窗口的大小为2C，那么Context(w)就是语料库中单词w的前后各C个单词。

左脚能拉小提琴·2020-07-10 02:57

建造者模式（Builder）

*;//Different"representations"ofmedia:classMediaextendsArrayList{}classBookextendsMedia{}class

qwangwei1231·2020-07-10 01:51

Improved Fusion of Visual and Language Representations by Dense Symmetric Co-Attention论文笔记

Abstract视觉问答(VQA)的关键解决方案在于如何融合从输入图像和问题中提取的视觉和语言特征。我们表明，一种能够在两种模式之间实现密集双向交互的注意机制有助于提高答案预测的准确性。具体来说，我们提出了一个在视觉和语言表达之间完全对称的简单体系结构，其中每个问题词出现在图像区域，每个图像区域出现在问题词上。它可以被堆叠以形成图像-问题对之间的多步骤交互的层次。我们通过实验表明，所提出的架构在V

bxg1065283526·2020-07-09 14:18

【论文阅读】Diverse Image-to-Image Translation via Disentangled Representations（ECCV2018 oral）...

baobo8666·2020-07-09 13:16

论文记录笔记NLP(九)：Distributed Representations of Sentences and Documents

这篇笔记主要是结合，各种学习资源，整理而成的查找笔记，整理的不好，还望指出错误，主要是用于查找与记录。句子和文档的分布式表示###摘要许多机器学习算法要求输入被表示为一个固定长度的特征向量.当涉及到文本时，最常见的固定长度特征之一是单词包。尽管他们很受欢迎，但bag-of-words特征有两个主要缺点.他们丢失了单词的顺序，并且忽略了单词的语义.列如，“强大”，“强大”和“巴黎”一样遥远.在本文中

小张也是蛮拼的·2020-07-09 06:33

【NLP CS224N笔记】Lecture 13 - Contextual Word Representations and Pretraining

本次梳理基于Datawhale第12期组队学习-CS224n-预训练模块详细课程内容参考(2019)斯坦福CS224n深度学习自然语言处理课程1.写在前面自然语言处理(NLP)是信息时代最重要的技术之一，也是人工智能的重要组成部分。NLP的应用无处不在，因为人们几乎用语言交流一切：网络搜索、广告、电子邮件、客户服务、语言翻译、医疗报告等。近年来，深度学习方法在许多不同的NLP任务中获得了非常高的性

Miracle8070·2020-07-09 01:50

ICML2019: Domain Agnostic Learning with Disentangled Representations

ICML2019:DomainAgnosticLearningwithDisentangledRepresentations引言目前的domainadaptation考虑了两种情况：singlesource&singletarget（认为源域为一种分布，目标域为一种分布，进行adapt）;multi-souce&singletarget（存在多个源域且为不同的分布，目标域为一种分布，进行adapt

cassiePython·2020-07-07 04:37

简单理解REST

Representations传输JSON或XML以表示数据对象和属性。Messages显式使用HTTP方

qianmoQ·2020-07-07 00:41

如何更好的写作一篇论文(简单的方法，不简单的论文)：A Simple Framework for Contrastive Learning of Visual Representations

ASimpleFrameworkforContrastiveLearningofVisualRepresentationsTingChen1SimonKornblith1MohammadNorouzi1GeoffreyHinton1发布于2020.02.13地址：https://arxiv.org/abs/2002.05709这篇论文其实早就想分享一下了，只是一直耽搁到了现在。虽然论文目前应该是还

Enjoy_endless·2020-07-06 21:43

语义分割--LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation

LinkNet:ExploitingEncoderRepresentationsforEfficientSemanticSegmentationhttps://arxiv.org/abs/1707.03718Torch7code:https://github.com/e-lab/LinkNet本文主要侧重语义分割的速度问题，算法思路类似U-Net，引入了residualblocksLinkNetA

O天涯海阁O·2020-07-06 12:38

Seq2Seq &论文：Learning Phrase Representations......Machine Translation学习笔记

论文：LearningLearningLearningPhrasePhrasePhraseRepresentationsRepresentationsRepresentationsusingusingusingRNNRNNRNNEncoder−DecoderEncoder-DecoderEncoder−DecoderforforforStatisticalStatisticalStatistica

scanf_yourname·2020-07-05 11:45

Word2Vec 与《Distributed Representations of Words and Phrases and their Compositionality》学习笔记

什么是Word2Vec目录词嵌入(word(word(wordembedding)embedding)embedding)词嵌入的特点嵌入矩阵Skip−gramSkip-gramSkip−gram模型分层SoftmaxSoftmaxSoftmax(Hierarchical(Hierarchical(HierarchicalSoftmax)Softmax)Softmax)负采样其他细节词嵌入(wor

scanf_yourname·2020-07-05 11:45

【语义分割】【2019】Object-Contextual Representations for Semantic Segmentation

论文地址：https://arxiv.org/abs/1909.11065代码：https://github.com/HRNet/HRNet-Semantic-Segmentation/tree/HRNet-OCR总结：https://blog.csdn.net/qq_36268755/article/details/106542753摘要1.介绍2.相关工作3.方法3.1背景3.2公式3.3结构

纳豆哥哥·2020-07-05 05:23

【语义分割】【总结】Object-Contextual Representations for Semantic Segmentation

中文翻译：https://blog.csdn.net/qq_36268755/article/details/105850287主要贡献整体结构具体方法实验对比实验1粗分割的监督对比实验2像素-区域关系方法Double-attentionACFNet实验3多尺度上下文方法PPMASPP对比实验4关系上下文方法Self-Attention（non-local）CC-AttentionDANet对比实

纳豆哥哥·2020-07-05 05:52

路径规划资料整理

/abs/1806.05767https://arxiv.org/abs/1805.07252https://papers.nips.cc/paper/8090-learning-plannable-representations-with-causal-infoganDarkehttps

kobesdu·2020-07-04 20:44

论文笔记- Improving Word Representations via Global Context and Multiple Word Prototypes

综述提出了一种新的基于神经网络的语言模型，通过对局部上下文和全局上下文进行联合训练。该模型学习到的embedding能同时捕捉到单词语义信息和语法信息，并且能够实现对一词多义的区分。目标函数本文的目标是学习有效的单词表示，而不是根据给定的单词来预测下一个单词的概率。给定序列s和文档d，本文的目标是从其它随机选择的单词中找到位于s末尾的正确单词。替换单词后的序列为sws^wsw。Cs,d=∑w∈Vm

John4July·2020-07-04 16:36

论文读书笔记-主题-word representations learning & Evaluation

[2014]DaniYogatamaManaalFaruquiChrisDyerNoahA.Smith.LearningwordrepresentationswithhierarchicalsparsecodingWordEmbeddinglearning&evaluation类文章卡内基梅隆大学的语言技术研究所的学者所写基于稀疏编码的改进。什么是稀疏编码可以参考http://www.cnblog

caiyuanyuan_bjtu·2020-07-01 19:53

How Can We Be So Dense The Benefits of Using Highly Sparse Representations论文复现

HowCanWeBeSoDense?TheBenefitsofUsingHighlySparseRepresentations论文复现。阅读本文前请先阅读论文，本文简化了论文提供的代码，并对论文结果进行了复现和测试。论文描述了使用稀疏表征的网络对于噪音的鲁棒性。具体而言，论文使用一个具有一个卷积层+两个全连接层的网络在原始mnist上进行训练，然后在添加了噪音的测试集上进行测试。当使用稀疏连接的卷

b_296884864·2020-07-01 17:07

【NLP CS224N笔记】Lecture 2 - Word Vector Representations: word2vec

I.WordmeaningMeaning的定义有很多种，其中有：theideathatisrepresentedbyaword,phrase,etc.theideathatapersonwantstoexpressbyusingwords,signs,etc.1.Discreterepresentation那么在计算机中是如何获取一个word的meaning的呢？常见的解决办法是使用像WordNe

aiwanghuan5017·2020-07-01 16:30

可视化深度学习和人类感知Visualizing Representations: Deep Learning and Human Beings-3

TheSpaceofRepresentationsEverytimewetrainaneuralnet,wegetnewrepresentations.Thisistrueevenifwetrainthesamenetworkmultipletimes.Theresultisthatitisveryeasytoendupwithlotsofrepresentationsofadataset.Wer

GarfieldEr007·2020-07-01 09:42

[论文笔记] [2013] [ICLR] Efficient estimation of word representations in vector space

这篇论文便是word2vec的原论文，是入门NLP的必读论文之一。1986年Hinton提出了DistributedRepresentation这个概念，2003年Bengio提出的NNLM首次使用了词向量，而这篇论文提出了两种新的模型结构对以前学习词向量的方式进行改进。PreviousWork在这篇论文之前，已经有了一些DistributedRepresentation的工作，比如Bengio在

Alexzhuan·2020-07-01 04:40

Deep Image Retrieval: Learning global representations for image search. In ECCV, 2016.

DeepImageRetrieval:Learningglobalrepresentationsforimagesearch.InECCV,2016.论文地址：https://arxiv.org/abs/1604.01325extendedversion：endtoendlearningofdeepvisualrepresentationsforimageretrieval,inarxiv,16.

_menglan_Zi·2020-06-30 03:41

tensorflow学习笔记十七：tensorflow官方文档学习 Vector Representations of Words

在本教程我们来看一下Mikolovetal中提到的word2vec模型。该模型是用于学习文字的向量表示，称之为“wordembedding”。亮点本教程意在展现出在TensorfLow中构建word2vec模型有趣、本质的部分。我们从我们为何需要使用向量表示文字开始。我们通过直观地例子观察模型背后的本质，以及它是如何训练的（通过一些数学方法评估）。同时我们也展示了TensorFlow对该模型的简单

xiaopihaierletian·2020-06-30 00:26

Delving Deeper into Convolutional Networks for Learning Video Representations

1INTRODUCTION视频分析和理解是计算机视觉和机器学习研究的重大挑战。虽然以前的工作传统上依赖于hand-craftedandtask-speciﬁcrepresentations(Wangetal.,2011;Sadanand&Corso,2012),但设计通用视频表示的兴趣越来越大，可以帮助解决视频理解中的任务，如人类行为识别，视频检索或视频字幕（Tranetal，2014）。二维CN

xiaofei0801·2020-06-30 00:27

深度学习，NLP和表征（译：小巫）

介绍单隐层神经网络词嵌入共享表示递归神经网络批评结论致谢译自：https://colah.github.io/posts/2014-07-NLP-RNNs-Representations/发布于2014

IT_xiao小巫·2020-06-29 21:26

Peak - Mental Representations - Part one

#SummaryAmentalrepresentationisamentalstructurethatcorrespondstoanobject,anidea,acollectionofinformation,oranythingelse,concreteorabstract,thatthebrainisthinkingabout.Everyoneontheearthhasformedlotsof

飞鸟逐溪·2020-06-28 02:10

【论文笔记】Joint Unsupervised Learning of Deep Representations and Image Clusters

JointUnsupervisedLearningofDeepRepresentationsandImageClustersAbstract提出了JULEmodelfordeeprepresentationsandimageclusters共同学习的framework。在这个framework中，在聚类算法中连续地处理被处理成重复的步骤。并再连接一个CNN（核心原句：Inourframework,

DrogoZhang·2020-06-27 20:47

推荐频道

Representations