JustWonder
JustWonder

Self-Attention

论文no-local neural network给出了一个通用的公式

                   (1)

f是一个计算x_i和x_j关系的函数，结果是一个scalar

g是计算位置j处特征表达的函数

                                  (2)

f可以选多种函数，比如高斯

                                         (3)

而更进一步，可以先对x_i和x_j进行也正空间转化

                                (4)

公式(2)中此时对于给定的i来说

可以理解为在j处的softmax值，公式(1)可以表示为


上图是论文中的no-local block，其实就是加了attention的block

先通过卷积层（也就是特征空间转化）将输入的纬度从1024降维到512，然后两个feature map进行点乘，得到各个像素之间的关系矩阵，关系矩阵的大小是NxN，N=THW，再对这个关系矩阵进行归一化(softmax)，论文中实际使用的是N，之后对于位置i处的特征，那么利用关系矩阵中的i行，即1xN去给THWx512的feature map加权累加，得到新的特征y_i

运算量还是挺大的

你可能感兴趣的:(Self-Attention)

  • 小白看得懂的 Transformer zy_zeros python开发语言
    1.导语谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了SOTA效果。Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分
  • 【Transformer】Transformer的简单了解：Positional Encoding、Self-attention、Batch 与 Layer Norm 等 magic_ll transformer深度学习
    自从2017年Transformer模型被提出以来，它已经从论文最初的机器翻译领域，转向语音，图像，视频等等方面的应用。最近的SegmentAnything论文提出，阅读论文其中大量的transformer的在图像方面的应用。所以这里还是加紧记录下transformer相关内容。transformer初了解PositionalEncoding（位置编码）Self-attention（自注意力机制）
  • 【论文精读】BERT None-D 文本生成bert人工智能深度学习自然语言处理transformer
    摘要以往的预训练语言表示应用于下游任务时的策略有基于特征和微调两种。其中基于特征的方法如ELMo使用基于上下文的预训练词嵌入拼接特定于任务的架构；基于微调的方法如GPT使用未标记的文本进行预训练，并针对有监督的下游任务进行微调。但上述两种策略都使用从左到右的架构，每个token只能处理self-attention层中的前一个token，这种限制在将基于微调的方法应用于问答等token级任务时可能非
  • Self-Attention 和 Multi-Head Attention 的区别——附最通俗理解！！ JOYCE_Leo16 Transformer深度学习神经网络自注意力机制多头注意力机制transformer
    文章目录前言一、简要介绍二、工作流程三、两者对比四、通俗理解前言随着Transformer模型的迅速普及，Self-Attention（自注意力机制）和Multi-HeadAttention（多头注意力机制）成为了自然语言处理（NLP）领域中的核心组件。本文将从简要工作、工作流程、两者对比三个方面，解析这两种注意力。一、简要介绍Self-Attention（自注意力机制）：使输入序列中的每个元素能
  • 【PSA】《Polarized Self-Attention: Towards High-quality Pixel-wise Regression》 bryant_meng CNN/Transformer人工智能深度学习PSApolarizedattention
    arXiv-2020文章目录1BackgroundandMotivation2RelatedWork3Advantages/Contributions4Method5Experiments5.1DatasetsandMetrics5.2PSAvs.Baselines5.3SemanticSegmentation5.4AblationStudy6Conclusion（own）1Backgrounda
  • 白话BERT TtingZh 机器学习
    白话白话transformer1、attention的计算方法每个词去计算与其他词的关系经过attention之后每个词的向量不再是单单它本身的，还包括其上下文的。一个矩阵乘法就做完了，所以是并行的2、multi-head也就是self-attention做了多次，一组QKV是一个特征的表达，用多头提取不同的特征表达将所有的特征表达进行拼接，然后用全连接矩阵进行降维3、位置编码（1）本身的inpu
  • 【李宏毅机器学习】Transformer 内容补充 Karen_Yu_ 自然语言处理人工智能transformer
    视频来源：10.【李宏毅机器学习2021】自注意力机制(Self-attention)(上)_哔哩哔哩_bilibili发现一个奇怪的地方，如果直接看ML/DL的课程的话，有很多都是不完整的。开始思考是不是要科学上网。本文用作Transformer-Attentionisallyouneed论文阅读-CSDN博客的补充内容，因为发现如果实操还是有不能理解的地方，所以准备看看宝可梦老师怎么说×Sel
  • 【LLM | 基础知识】自注意力机制 Self-attention [李宏毅机器学习] XMUJason 大语言模型LLMchatgpt笔记nlp
    ⭐引言本文主要参考李宏毅老师对于自注意力机制的讲解内容，但在此基础之上进行了一定的补充和删减，文中大部分插图来源于李宏毅老师的课件。本文的主要目的是梳理清楚自注意力机制的基本原理，理解什么是自注意力机制，不关注代码实现和具体的数学运算。本文尽可能把内容只控制在自注意力机制的基本框架上，不进行过多的相关概念的扩展，以免被其他相关内容转移注意力。1.从“单向量输入”到“多向量输入”在之前的机器学习方法
  • 【深度学习】【注意力机制】【自然语言处理】【图像识别】深度学习中的注意力机制详解、self-attention 忘却的旋律dw 深度学习自然语言处理人工智能
    1、深度学习的输入无论是我们的语言处理、还是图像处理等，我们的输入都可以看作是一个向量。通过Model最终输出结果。这里，我们的vector大小是不会改变的。然而，我们有可能会遇到这样的情况：输入的sequence的长度是不定的怎么处理？比如VectorSetasInput：句子：句子的词数不一定相同。声音信号：经过处理，把一段声音变成向量。图：每个节点转化为向量图：分子结构中的每个原子转化为on
  • 大语言模型推理提速：TensorRT-LLM 高性能推理实践 阿里云云原生 语言模型人工智能自然语言处理
    作者：顾静TensorRT-LLM如何提升LLM模型推理效率大型语言模型（Largelanguagemodels,LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具有self-attention的编码器和解码器组成。编码器和解码器从一系列文本中提取含义，并理解其中的单词和短语之间的关系。当前LLM模型推理的主要瓶颈是GPU显存资源不足。因此，各类加速框
  • Python 什么是点积注意力机制；点击注意力机制代码实现；Dot-Product Attention代码实战；超详细代码实现点积注意力 医学小达人 LLMsGPTNLP机器学习人工智能注意力nlp大模型
    1.点积注意力机制简介点积注意力机制（Dot-ProductAttention）是一种常用的注意力机制之一，通常与Seq2Seq模型中的自注意力（Self-Attention）机制一起使用。它用于计算查询（Query）和键（Key）之间的相关性，并利用相关性来加权求和值（Value）。点积注意力机制可以分为三个主要步骤：1.1查询、键和值的线性变换在这一步骤中，我们首先对查询向量Q、键向量K和值向
  • Davit 学习笔记（附代码） 无妄无望 学习笔记人工智能python分类
    论文地址：https://arxiv.org/pdf/2204.03645.pdf代码地址：https://github.com/dingmyu/davit1.是什么？DualAttentionVisionTransformers（DaViT）是一种新的VisionTransformer模型，它在全局建模方面引入了双注意力机制。这个模型的创新之处在于从两个正交的角度进行self-attention
  • Transform模型 东石有海 NLP深度学习
    Transformer。它在NLP各个任务中都取得了优异的性能，它是预训练语言模型的核心网络。给定一句话或是一个段落作为输入，首先将输入序列中各个词转换为其对应的词向量，同时加上每一个词的位置向量，体现词在序列的位置。然后将这些词向量输入到多层Transformer网络中，通过自注意力**（self-attention）机制来学习词与词之间的关系，编码其上下文信息，再通过一个前馈网络**经过非线性
  • Transform模型详解 eduics transformermachinetranslation
    Transformer模型详解Encoder与Decoder输入单词Embedding位置Embedding自注意力机制Self-Attention结构Self-Attention的输出Multi-HeadAttentionEncoder结构Add&NormFeedForward组成EncoderDecoder结构Decoder第一个Multi-HeadAttentionDecoder第二个Mul
  • 机器学习周报第29周 Ramos_zl 机器学习人工智能
    目录摘要Abstract一、文献阅读1.论文标题2.论文摘要3.论文背景4.论文方案4.1多视角自注意力网络4.2距离感知4.3方向信息4.4短语模式二、self-attention摘要本周学习了多视角自注意力网络，在统一的框架下联合学习输入句子的不同语言学方面。具体来说，提出并利用多种诱导性偏差来规则化常规的注意力分配。然后通过混合注意力机制聚合不同的视图，以方便地量化和利用特定的视图及其相关的
  • 论文阅读笔记AI篇 —— Transformer模型理论+实战 (三) 键盘国治理专家 ML&DL技术栈Papers人工智能论文阅读笔记
    论文阅读笔记AI篇——Transformer模型理论+实战（三）第三遍阅读（精读）3.1Attention和Self-Attention的区别？3.2Transformer是如何进行堆叠的？3.3如何理解PositionalEncoding？3.x文章涉及的其它知识盲区第三遍阅读（精读）精读的过程要把每个细节都钻研透，不留有死角。各种维度参数已经在“理论+实战（二）”中说清楚了，若之后还有疑问我再
  • 大语言模型系列-Transformer 学海一叶 LLM语言模型transformer人工智能深度学习神经网络
    文章目录前言一、Attention二、Transformer结构三、Transformer计算过程1.编码器（Encoder）1）Self-Attention层2）Multi-Head-Attention层3）Add&Norm层2.解码器（Decoder）1）MaskedMulti-headSelfAttention层2）Encoder-DecoderAttention层3.输出4.训练和预测5.
  • Graph Attention-Based Forecasting 生于忧患_死于安乐
    NLP中大火的Transformer和GAT本质在做一样的事情。Transformer利用self-attention机制将输入中的每个单词用其上下文的加权来表示，而GAT则是利用self-attention机制将每个节点用其邻居的加权来表示。Transformer的公式如下所示：公式里面的Q,K,V是一个单词的三种描述，其中，Q是当单词作为上下文的中心位置时的表示，K是当单词作为上下文时的表示，
  • 注意力机制 湘溶溶 深度学习分割人工智能深度学习
    self-attention是什么？是自己注意自己吗?QKV又是什么？为什么它们要叫query、key、value，它们有啥关系？先来看一个问题，假设现在我们有一个键值对（字典），如下图我们想要求腰围为57对应的体重是什么，显然57在56-58之间，所以体重在43-48之间但是还需要定量计算体重预测值。由于57到56、58的距离一样，所以另一种方法是取它们对应体重的平均值（43+48）/2=0.5
  • 为什么在进行softmax之前需要对attention进行scaled（为什么除以 d_k的平方根） ytusdc AI之路-Face神经网络深度学习自然语言处理
    解释的好：Self-attention中dot-product操作为什么要被缩放-知乎标准正太分布（0均值，1方差的高斯分布）解释1：解释2：这样做是因为对于较大的深度值，点积的大小会增大，从而推动softmax函数往仅有很小的梯度的方向靠拢（分布集中在绝对值大的区域），导致了一种很硬的（hard）softmax。例如，假设Q和K的均值为0，方差为1。它们的矩阵乘积将有均值为0，方差为d_k（d_
  • transformer详解 bulingg 算法工程师transformer深度学习人工智能
    transformer框架基本结构注意力机制注意力评分函数(scoringfunction)自注意力机制（self-attention）maskedself-attention多头注意力（multi-headattention）位置编码LayernormalizationResnet（Add）FeedForward框架基本结构transformer主要分为两个部分，包括Encoder和Decode
  • Self-Attention 惊雲浅谈天 深度学习深度学习人工智能
    前置知识：RNN，Attention机制在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素和Source中的所有元素之间。Self-Attention是在Source内部元素或者Target内部元素之间发生的Att
  • self-attention机制详解 图学习的小张 深度学习python
    目前，对于我们的network，给定的input大都是一个向量：但是对于更复杂的情况，我们的input是asetofvec:举例：nlp中的句子，对于每个word都是一个wordembedding：图学习中每个节点有一个embedding：那我们的output都是什么样子呢？第一种：输入与输出数量相同，每个embedding都有一个label（sequencelabeling）：第二种：整个输入有
  • LLM主流框架：Causal Decoder、Prefix Decoder和Encoder-Decoder TFATS GPT大模型nlp深度学习causaldecoderprefixdecoderencoderdecoderAIGC大模型
    本文将介绍如下内容：transformer中的mask机制CausalDecoderPrefixDecoderEncoderDecoder总结一、transformer中的mask机制在Transformer模型中，mask机制是一种用于在self-attention中的技术，用以控制不同token之间的注意力交互。具体来说，Transformer中使用两种类型的mask：paddingmask和
  • 大语言模型LLM的原理，bert、GPT、GLM三者的对比 金城武555 计算机视觉cv-base语言模型bertgpt自然语言处理chatgpt
    本次任务：1、大语言模型原理、2、演示1：单一文档摘要、3、演示2：多文档+langchain摘要4、演示3：微调训练本地知识库：美食、菜谱大模型....一、大语言模型介绍：主要、技术依赖：transformer架构、主要点：self-attention自注意力--机制编码器+解码器，不同公司的技术路线不同：有二者选其一的，也有兼备的！..谷歌重磅论文，《attentionisallyouneed
  • 1、理解Transformer：革新自然语言处理的模型 O_meGa AIGC论文笔记AIGC深度学习transformer深度学习自然语言处理
    目录一、论文题目二、背景与动机三、卖点与创新四、解决的问题五、具体实现细节0.Transformer架构的主要组件1.注意力、自注意力（Self-Attention）到多头注意力（Multi-HeadAttention）注意力到底是做什么的？一个例子。自注意力多头注意力2.位置编码（PositionalEncoding）3.编码器和解码器层（Encoder&DecoderLayers）编码器：解码
  • 2023.12.17周报 Nyctophiliaa 人工智能
    目录摘要ABSTRACT一、文献阅读1、题目2、摘要3、网络架构4、文献解读一、Introduction二、创新点三、实验过程四、结论二、Self-Attention一、如何运用自注意力机制？二、自注意力机制如何实现三、Transformer代码实现总结摘要本周我阅读了一篇名为《AttentionIsAllYouNeed》的文献。该文提出的Transformer模型彻底抛弃了以往的循环和卷积操作，
  • Conv2Former：一种transformer风格的卷积特征提取方式 夏天是冰红茶 论文复现transformer深度学习人工智能
    一、前言昨天读到了一篇有意思的文章，文章提出通过利用卷积调制操作来简化self-attention。还证明了这种简单的方法可以更好地利用卷积层中嵌套的大核(≥7×7)。我们都知道ViTs推动了设计识别模型的发展，近几年使用的也相当的多，通常就是CNN网络引入注意力机制，往往可以获得不错的性能，因为相比较与卷积cnn，self-attention能够模拟全局成对依赖关系，这是一种更有效的空间信息编码
  • 2023/11/5周报 user_s1 逻辑回归机器学习人工智能lstm
    文章目录摘要Abstract文献阅读题目创新点方法框架数据收集和实验设置实验结果Conclusion深度学习Self-attentionSelf-attention的优势Self-attention的原理Transformer模型训练总结摘要本周阅读了一篇基于多输出学习的深度神经网络空气污染时间序列预测的文章，文中使用多输入多输出的学习方法，使用MConvLSTM模型，减少了训练周期和参数的数量。
  • Missing Data Repairs for Traffic Flow With Self-Attention Generative Adversarial Imputation Net llddycidy 时空图预测交通领域生成对抗网络python深度学习pytorch
    MissingDataRepairsforTrafficFlowWithSelf-AttentionGenerativeAdversarialImputationNet论文地址摘要：随着传感器技术的快速发展，多个空间分布的传感器采集的时间序列数据已广泛应用于不同的研究领域。此类数据的示例包括由温度传感器收集的地理标记温度数据、空气污染物监测数据以及由道路交通传感器收集的交通数据。由于传感器故障、通
  • Java序列化进阶篇 g21121 java序列化
            1.transient         类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
  • escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScriptWeb
    原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html   JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。 下面简单介绍一下它们的区别 1 escape()函
  • ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移Engine
    ArcgisEngine实现对地图的放大、缩小和平移:  个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.  具体实现: 一、引入命名空间    using ESRI.ArcGIS.Geometry;    using ESRI.ArcGIS.Controls; 二、代码实现.
  • Java集合框架概述 天子之骄 Java集合框架概述
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • 旗正4.0页面跳转传值问题 何必如此 javajsp
    跳转和成功提示 a)        成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
  • 全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
        移动互联网时代来了！     App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
  • Log4J通用配置|注意问题 笔记 7454103 DAOapachetomcatlog4jWeb
    关于日志的等级 那些去 百度就知道了！ 这几天 要搭个新框架  配置了 日志 记下来 ！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台 和 总日志文件 log4j.logger.DAO=INFO,dao,C
  • SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sqlcwindowsSQL ServerXP
    当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP  需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法:  C:\WINDOWS\system32目录搜索framedyn.
  • [置顶] 做有中国特色的程序员 aijuans 程序员
    从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
  • document.domain 跨域问题 avords document
    document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
  • 关于管理软件的一些思考 houxinyou 管理
    工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
  • NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis数据库NoSQL
    一.Redis的数据类型 1.String类型及操作         String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。         Set方法：设置key对应的值为string类型的value
  • Tomcat 一些技巧 征客丶 javatomcatdos
    以下操作都是在windows 环境下 一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可； 二、查看Tomcat 版本 在 tomcat 安装目
  • 【Spark七十二】Spark的日志配置 bit1129 spark
    在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console   在Spark的conf目录下，把log4j.properties.template修改为log4j.p
  • Haskell版冒泡排序 bookjovi 冒泡排序haskell
    面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。     sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
  • java 路径 配置文件读取 bro_feng java
    这几天做一个项目，关于路径做如下笔记，有需要供参考。 取工程内的文件，一般都要用相对路径，这个自然不用多说。 在src统计目录建配置文件目录res,在res中放入配置文件。 读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
  • 读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
  • SVN与JIRA的关联 chenyu19891124 SVN
    SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤： 一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务 二、装好JIRA，自己用是jira-4.3.4破解版 三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
  • JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
                       随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
  • vi 保存复制内容格式粘贴 daizj vi粘贴复制保存原格式不变形
        vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？ 答案是肯定的，vi有一个很强大的命令可以实现此功能 。     在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
  • shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
    出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致 解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
  • 高一上学期难记忆单词 dcj3sjt126com wordenglish
    honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share  分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半   native 本国的，本地的，本国
  • hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJOhibernate查询DTO
          DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。       简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。         有时候我们需要查询返回DTO对象，因为DTO
  • Partition List hcx2013 partition
    Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
  • Spring MVC测试框架详解——客户端测试 jinnianshilongnian
    上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
  • 关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
        回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】     第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
  • 不间断旋转的动画 pangyulei 动画
    CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
  • 自定义annotation sha1064616837 javaenumannotationreflect
    对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。 下面这个例子 主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
  • Spring 源码 up2pu spring
    1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
  • 利用word分词来计算文本相似度 yangshangchuan wordword分词文本相似度余弦相似度简单共有词
    word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他