论文网址:https://aclweb.org/anthology/D16-1207摘要：深度神经网络在许多语言处理方面取得了很好的效果，但很多神经网络的结果对噪声扰动很敏感。论文提出了一种正则化方法，对输入的扰动所造成的敏感结果进行约束，从而提高模型的鲁棒性。实验使用卷积网络对数据集进行训练，和基线(不使用正则化)、drought相比，论文提出的正则化方法取得了最好的效果。论文中提到传统正则化和

一.概述DeepMoji（Usingmillionsofemojioccurrencestolearnany-domainrepresentationsfordetectingsentiment,emotionandsarcasm），是BjarkeFelbo等提出的一种联合Bi-LSTM和Attention的混合神经网络，对表情符号的情绪识别棒，当然在文本分类任务中表现也不错。情感识别，尤其是互联

论文链接：https://arxiv.org/pdf/1907.10949.pdf代码链接：https://github.com/mpatacchiola/Y-AE前言Y-Autoencoders是2019年CVPR上的一篇的论文，这篇论文的创新点在于之前的Autoencoders的输入和输出一致，所以其主要用于图像压缩方面，对于Autoencoders的架构不清楚的可以参考我这篇博客，但是本文首

文本分类简单综述文本分类是NLP里面最基本的任务，LSTM或者CNN的使用是基操。我也曾用过改进的textCNN进行文本分类，确实取得了不错的效果。随着技术的继续发展，Char-levelCNN在文本分类上一度取得了stateoftheart的效果。但是知识库的引入又让文本分类继续得到了提升。基于知识库的文本分类针对短文本中包含特征较少的缺陷，通过引入本文在外部知识库中对应的概念以及上下位词等扩充

#摘要本文是自己在阅读论文中进行的记录，单纯的看，感觉没有搞很明白，所以写出来。本篇论文主要介绍了如何把自然语言处理模型word2vec的方法应用到网络的节点表示中，通过word2vec的方法把网络学习为向量的潜层表示，能把网络中的联系编码到连续的向量空间中，这样网络的关系就能够很方便的通过各种统计模型来对这些网络中的联系进行各种应用。关于Word2vec的方法详情请见各大博客，例如http://

读论文《DistributedRepresentationsofWordsandPhrasesandtheirCompositionality》introduce这篇论文是对《EfficientEstimationofWordRepresentationsinVectorSpace》的补充，介绍了使用Skip-gram模型和HierarchicalSoftmax训练模式的训练方法。并补充了Nega

论文地址：High-ResolutionRepresentationsforLabelingPixelsandRegions一篇使用HRNet进行语义分割和目标检测论文HRNet=highresolutionNetlowresolutionnet就是用于分类的网络，通过stride逐步减少resolution，获取语义信息，最终得到分类但是这种low-resolutionnet对于目标检测或者语义

本文为读文章笔记，受所学所知限制，如有出错，恭请指正。ASimpleFrameworkforContrastiveLearningofVisualRepresentations作者：TingChen,SimonKornblith,MohammadNorouzi,GeoffreyHinton本文提出一种简洁有效的设计的无监督设计，并且以7%的margin刷新了SOTA。摘要直译：这篇文章提出了Sim

字词的向量表示VectorRepresentationsofWords在本教程我们来看一下Mikolovetal中提到的word2vec模型。该模型是用于学习文字的向量表示，称之为“wordembedding”。艾伯特（http://www.aibbt.com/）国内第一家人工智能门户亮点本教程意在展现出在TensorfLow中构建word2vec模型有趣、本质的部分。我们从我们为何需要使用向量表

摘要：为了了解什么使对比预测任务能够学习有用的表示，我们系统地研究了框架的主要组成部分。（1）数据增强的组合在定义有效的预测任务方面起着关键作用；（2）在表示和对比损失之间引入一个可学习的非线性变换，大大提高了学习表示的质量。（3）与有监督学习相比，对比学习可以从更大的批量和更多的训练步骤中获益。通过结合这些发现，我们能够在ImageNet上大大优于以前的自监督和半监督学习方法。由SimCLR学习

https://arxiv.org/pdf/2003.13205.pdf学习文档级神经机器翻译的上下文句子表征（未开源）文档级机器翻译将句子间的相关性合并到源句的翻译中，论文通过训练NMT预测源句的翻译及周围的句子（学习上下文化的源句表征），建立跨句依赖关系的模型。使用两种不同的方法：联合训练NMT模型与源上下文预测模型；在大规模文档单语语料库上预训练源上下文预测模型，然后使用NMT微调模型。Zh

Representations是使用JSON或者是X

论文题目：JointEventandTemporalRelationExtractionwithSharedRepresentationsandStructuredPrediction论文来源：EMNLP2019南加利福尼亚大学，伊利诺伊大学香槟分校论文链接：https://www.aclweb.org/anthology/D19-1041/关键词：联合学习，事件抽取，时序关系抽取，BERT，Bi

论文题目：Entity,Relation,andEventExtractionwithContextualizedSpanRepresentations论文来源：EMNLP2019华盛顿大学,GoogleAILanguage论文链接：https://www.aclweb.org/anthology/D19-1585/代码链接：https://github.com/dwadden/dygiepp关键

原文地址：http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/IntroductionInthelastfewyears,deepneuralnetworkshavedominatedpatternrecognition.Theyblewthepreviousstateoftheartoutof

csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners词向量的表示目前为止，我们已经学过了one-hot编码、word2vec、glove等词向量的表示。但是这三个方法都普遍存在在一些问题，就是无法解决一词多义的问题。即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。当我们手中的语

arxivofficialpytorchimplemention旷视研究院最新关于人体姿态估计的力作，最优模型在COCOtest-dev刷到了79.2，rankno.1，关键还是几位实习生做的，还是个98年的大佬～～前言人体姿态估计是一个对位置精度要求很高的任务，它不像图像分类对location信息要求不那么严格，而是和语义分割一样，准确的location信息对它帮助很大。之前的很多姿态估计模型为

自己写的cs231n的作业,希望给点意见,支出错误和不足.谢谢[TOC]features.ipynb内容:ImagefeaturesexerciseCompleteandhandinthiscompletedworksheet(includingitsoutputsandanysupportingcodeoutsideoftheworksheet)withyourassignmentsubmiss

ICLR2016-WorkshopTrackInternationalConferenceonLearningRepresentationsMay2-4,2016,CaribeHilton,SanJuan,PuertoRicoPleaseseethevenuewebsite(http://www.iclr.cc/doku.php?id=iclr2016:main)formoreinformatio

Motivition作者的出发点有几个：尽管BERT这种预训练模型取得了state-of-art的成绩。但是、因为他们没有包含真实世界的实体，所以导致这些模型也很难覆盖真实世界的知识。没有实体没有知识怎么办呢？Knowledgebases、知识库有。知识库不仅拥有丰富的高质量、人类产生的知识，而且他们包含与原始文本中互补的信息，还能够编码事实性的知识。所以用知识库可以解决因不频繁出现但是常识的me

这篇论文《EfficientDiffusiononRegionManifolds:RecoveringSmallObjectswithCompactCNNRepresentations》发表在2017年CVPR上。我自己的PPT:EfficientDiffusiononRegionManifolds:RecoveringSmallObjectswithCompactCNNRepresentatio

0.摘要我们介绍了一种新的基于上下文的深度单词表示，这种表示既建模了复杂的单词使用特征，也建模了这些表示在不同的语境下的区别。我们的词向量是双向语言模型下内部状态的函数，这个双向语言模型是通过大量的语料预训练的。研究表明，这些表示可以比较容易的加入到先有的模型中，并且显著提升了6个NLP问题的SOA，包括问答、文本蕴含关系、情感分析。我们还给出了一个分析，该分析表明，暴露预训练网络深度内容是非常重

3DisentangledRepresentationforI2ITranslationtwovisualdomains：X∈RH×W×3\mathcal{X}\in\mathbb{R}^{H\timesW\times3}X∈RH×W×3，Y∈RH×W×3\mathcal{Y}\in\mathbb{R}^{H\timesW\times3}Y∈RH×W×3unpairedsamples：x∈Xx\i

TingChen，SimonKornblith，MohammadNorouzi，GeoffreyHinton  本文介绍了SimCLR：用于视觉表示的对比学习的简单框架。我们简化了最近提出的对比自我监督学习算法，而无需专门的架构或存储库。为了了解什么使对比预测任务能够学习有用的表示形式，我们系统地研究了框架的主要组成部分。我们表明，（1）数据扩充的组合在定义有效的预测任务中起着至关重要的作用；（2

Lecture5MathematicalRepresentationsofCellBiologicalSystems5.A使用数学表达式帮助我们解决生物学问题数学表达式的两种策略：AnalyticalSolutions，指有确定的答案的；NumericalSolutions(numericalanalysis):数值分析，只有近似的答案的，大部分都是数值分析。最常用的是常微分方程ODE。其缺点是A

通过深度学习多尺度表达的行人重识别摘要：现存的行人重识别方法主要基于单一尺度的外观信息。这不仅可能忽略了其他不同尺度的明确的有用信息，而且丧失了挖掘多尺度之间潜在的相关互补优势的机会。这篇文章中，我们说明了使用卷积神经网络学习多尺度人物外观特征的优势，旨在联合学习有区别的特定尺度的特征，和在图像金字塔输入中最大化多尺度特征融合选择。确切地说，我们构造了一个新的深度金字塔特征学习卷积神经网络结构，这

ALAssetsLibrary中可读取所有的相册数据,即ALAssetsGroup对象列表；从每个ALAssetsGroup中可获取到其中包含的照片或视频列表,即ALAsset对象列表；每个ALAsset可能有多个representations

动机：前馈网络能够很好的训练静止图片的有监督任务，但是不一定适合视频数据。利用人类视觉系统，构建了一个网络不仅可以bottom-up前向传播，还可以top-down反馈传播，以及侧向传播。提出了两种训练机制：无监督的MatchNet和弱监督的TempoNet网络通过学习运动线索以及如何在现在的场景自动追踪多个物体，学到如何预测接下来的帧或者识别当前帧的内容。网络可以测量预测和真实帧的误差，如果没有

ALAssetsLibrary中可读取所有的相册数据,即ALAssetsGroup对象列表；从每个ALAssetsGroup中可获取到其中包含的照片或视频列表,即ALAsset对象列表；每个ALAsset可能有多个representations

3.2ResourcesandRepresentationsTheRESTstylecharacterizescommunicationbetweensystemcomponents(whereacomponentis,say,awebbrowseroraserver)asaseriesofrequeststowhichtheresponsesarerepresentationsofresourc

Thereare2waystodisplayagraph:adjacencylistadjacencymatrixThespaceandtimecomplexityofthematrixaren^2,whichisquitelargeandinefficientforthepractice.Graphsearchingtechniques:BreadthFirstSearch(BFS)DepthF

http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdfIntroskip-gram

文章名《DeepeningHiddenRepresentationsfromPre-trainedLanguageModelsforNaturalLanguageUnderstanding》，2019，单位：上海交大从预训练语言模型中深化语言表示摘要：基于Transformer的预训练语言模型已经被证明在语境化语言表征方面是有效的，然而，当前的方法在下游任务的微调过程中都仅仅是利用编码器的最后一层

在所有的这些“深度学习”方法中，有一种尤为突出，即对已学习representations的迁移，其有一种方法在迁移已学习的representations时，其简洁性、鲁棒性、有效性尤为突出。

本文是对《DeepWalk：onlinelearningofsocialrepresentations》一文的浅显翻译与理解，原文章已上传至个人资源，如有侵权即刻删除。更多网络表示学习相关文章，请移步：文献阅读总结：网络表示学习文章目录前言TitleMainBody1基本概念2损失函数3算法模型前言文章提出了DeepWalk算法，是一种无监督的方法。算法将网络表示的问题视为NLP问题求解，首次将r

10.3图的表示和同构(GraphRepresentationsandIsomorphism)图的表示邻接表表示法(Adjacencylists)邻接矩阵表示法(Adjacencymatrices)关联矩阵表示法(Incidencematrices)图的同构通俗定义:两个图形是同构的，当且仅当(iff)除了它们的节点名称之外，它们是相同的。正式定义:G1=(V1,E1)和G2=(V2,E2)之间存

本文主要用于记录华盛顿大学计算机院发表于2018年的一篇论文。该论文主要提出了ELMO词向量模型。本笔记主要为方便初学者快速入门，以及自我回顾。论文链接：https://arxiv.org/pdf/1802.05365.pdfGithub：https://github.com/allenai/allennlp基本目录如下：摘要核心思想总结------------------第一菇-摘要------

PeterShaw,JakobUszkoreit,andAshishVaswani.2018.Self-AttentionwithRelativePositionRepresentations.Proceedingsofthe2018ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:Huma

译自：https://colah.github.io/posts/2014-07-NLP-RNNs-Representations/发布于2014年7月7日神经网络，深度学习，表征，NLP，递归神经网络介绍在过去的几年里

前言Bert(Bi-directionalEncoderRepresentationsfromTransfromers)预训练语言模型可谓是2018年NLP领域最耀眼的模型，看过很多对Bert论文和原理解读的文章，但是对Bert源码进行解读的文章较少，这篇博客有一份TensorFlow版本的Bert源码解读，这里来对Pytorch版本的Bert源码记录一份“详细”注释。这份基于Pytorch的Be

Introduction作者认为好的wordrepresentation模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变。作者提出了deepcontextualizedwordrepresentation方法来解决以上两个问题。这种算法的特点是：每一个wordrepresentation都是整个输入语句的函数。具体做法就是先在大语料上以

文章地址：https://arxiv.org/pdf/1405.4053.pdf文章标题：DistributedRepresentationsofSentencesandDocuments（句子和文档的分布式表示）ICML2014Abstract许多机器学习算法要求输入用定长特征向量表示。当涉及到文本时，最常见的固定长度特性之一是词袋。尽管它们很受欢迎，但bag-of-words特性有两个主要的缺

会议：KDD'14作者：BryanPerozzi，RamiAl-Rfou，StevenSkiena目录1.科学问题2.方法3.表现4.算法中细节1.科学问题现实生活中，我们活跃在各个网络中，学术网络，社交网络，购物网络，这些网络或者同质或者异质，或者开环或者闭环。有你我他就可以构建一个网络，网络也逐渐呈现高维稀疏的特征，使用传统方法存在诸多局限性。学者提出图网络发分析引入深度学习，学习节点特征，从

文章目录1.TimeandMediaRepresentations-时间和媒体表现1.1.RepresentationofAssets-资产的表示2.RepresentationsofTime-时间的表示2.0.1.CMTimeRepresentsaLengthofTime-CMTime表示时间的长度2.0.1.1.UsingCMTime-使用CMTime2.0.1.2.SpecialValues

NaturalLanguageProcessingwithDeepLearning课程代号CS224N，是斯坦福大学的有关自然语言处理的课程，并且是世界上有关神经网络与自然语言处理方面优秀的课程。找遍了网络也没有找到有中文翻译的，所以我这个英语渣只能强行听英文课程。因此做一些笔记方便以后复习。记录得也比较混乱。第一讲是一个总体介绍，就没有写了。以下内容来自课程视频以及PPT在处理自然语言的过程中，

本文主要用于记录FacebookAI研究中心于2017年提出的一种基于监督学习的句向量表达方式。该文也是业界最先一批提出句向量预训练概念的论文。本笔记主要为方便初学者快速入门，以及自我回顾。论文链接：https://arxiv.org/pdf/1705.02364.pdfGithub：https://github.com/facebookresearch/InferSent基本目录如下：摘要核心思

3.11DifferentRepresentationsofResourcesOneofthepreceptsofRESTisthatthecomponentsinaREST-basedsystemexchangerepresentationsofresources.Thedistinctionbetweenresourcesandtheirrepresentationsisvital.Asacl

古从军行[唐代][李颀]白日登山望烽火，黄昏饮马傍交河。行人刁斗风沙暗，公主琵琶幽怨多。野营万里无城郭，雨雪纷纷连大漠。胡雁哀鸣夜夜飞，胡儿眼泪双双落。闻道玉门犹被遮，应将性命逐轻车。年年战骨埋荒外，空见蒲萄入汉家。原文地址ABrief(andIncomplete)HistoryofBakedLightingRepresentationsThisispart1ofaseriesonSpherica

《LearningGeneralisableOmni-ScaleRepresentationsforPersonRe-Identification》论文：https://arxiv.org/abs/1910.06827KaiyangZhou,XiatianZhu,YongxinYang,AndreaCavallaro,TaoXiang(Submittedon15Oct2019)就喜欢这种直接放代码

0.背景机构：谷歌作者：发布地方：ICLR2020面向任务：自然语言理解论文地址：https://openreview.net/pdf?id=H1eA7AEtvS论文代码：暂未0.1摘要预训练自然语言表征时，增加模型大小一般是可以提升模型在下游任务中的性能。但是这种纯粹依赖模型尺寸进而期望大力出奇迹的想法在未来会越发困难。进一步增加模型大小将带来以下困难：(1)GPU/TPU内存不足(2)训练时间