斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）

ShowMeAI研究中心

多任务学习（以问答系统为例）

ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！视频和课件等资料的获取方式见文末。

1.问答系统与多任务学习

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第1张图片

2.NLP与AI的下一步

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第2张图片

3.单任务的弊端

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第3张图片

  • 鉴于\({dataset，task，model，metric}\)，近年来性能得到了很大改善
  • 只要 \(|\text{dataset}| > 1000 \times C\)，我们就可以得到当前的最优结果 (\(C\)是输出类别的个数)
  • 对于更一般的 Al，我们需要在单个模型中继续学习
  • 模型通常从随机开始，仅部分预训练

4.预训练与信息共享帮助很大

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第4张图片

  • 计算机视觉

    • Imagenet+cnn 巨大的成功
    • 分类属于视觉最基础的任务块

  • 自然语言处理

    • Word2vec、GloVe、CoVe、ELMo、BERT 开始步向成功
    • 自然语言处理中没有统一的基础任务块

5.为什么NLP中共享权重相对较少

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第5张图片

  • NLP 需要多种推理：逻辑，语言，情感，视觉，++
  • 需要短期和长期记忆
  • NLP 被分为中间任务和单独任务以取得进展
  • 在每个社区中追逐基准
  • 一个无人监督的任务可以解决所有问题吗？不可以
  • 语言显然需要监督

6.为什么NLP也需要1个统一多任务模型

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第6张图片

  • 多任务学习是一般 NLP 系统的阻碍
  • 统一模型可以决定如何转移知识（领域适应，权重分享，转移和零射击学习）

  • 统一的多任务模型可以

    • 更容易适应新任务
    • 简化部署到生产的时间
    • 降低标准，让更多人解决新任务
    • 潜在地转向持续学习

7.如何在1个框架中承载多个NLP任务

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第7张图片

  • 序列标记

    • 命名实体识别，aspect specific sentiment

  • 文字分类

    • 对话状态跟踪，情绪分类

  • Seq2seq

    • 机器翻译，总结，问答

8.NLP中的超级任务

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第8张图片

  • 语言模型
  • 问答
  • 对话

9.自然语言处理十项全能 (decaNLP)

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第9张图片

  • 把 10 项不同的任务都写成了 QA 的形式，进行训练与测试

10.问答多任务学习

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第10张图片

  • Meta-Supervised learning 元监督学习 ：From {x,y} to {x,t,y} (t is the task)
  • 使用问题 \(q\) 作为任务 \(t\) 的自然描述，以使模型使用语言信息来连接任务
  • \(y\) 是 \(q\) 的答案，\(x\) 是回答 \(q\) 所必需的上下文

11.为decaNLP设计模型

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第11张图片

  • 需求：

    • 没有任务特定的模块或参数，因为我们假设任务ID是未提供的
    • 必须能够在内部进行调整以执行不同的任务
    • 应该为看不见的任务留下零射击推断的可能性

12.decaNLP的1个多任务问答神经网络模型方案

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第12张图片

  • 以一段上下文开始
  • 问一个问题

  • 一次生成答案的一个单词，通过

    • 指向上下文
    • 指向问题
    • 或者从额外的词汇表中选择一个单词
  • 每个输出单词的指针切换都在这三个选项中切换

13.多任务问答网络 (MQAN)

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第13张图片

  • 固定的 GloVe 词嵌入 + 字符级的 n-gram 嵌入→ Linear → Shared BiLSTM with skip connection
  • 从一个序列到另一个序列的注意力总结，并通过跳过连接再次返回
  • 分离BiLSTM以减少维数，两个变压器层，另一个BiLSTM
  • 自回归解码器使用固定的 GloVe 和字符 n-gram 嵌入，两个变压器层和一个LSTM层来参加编码器最后三层的输出
  • LSTM解码器状态用于计算上下文与问题中的被用作指针注意力分布问题

  • 对上下文和问题的关注会影响两个开关：

    • gamma 决定是复制还是从外部词汇表中选择
    • lambda 决定是从上下文还是在问题中复制

14.评估

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第14张图片

15.单任务效果vs多任务效果

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第15张图片

  • S2S 是 seq2seq
  • +SelfAtt = plus self attention
  • +CoAtt = plus coattention
  • +QPtr = plus question pointer == MQAN


  • Transformer 层在单任务和多任务设置中有收益
  • QA和SRL有很强的关联性
  • 指向问题至关重要
  • 多任务处理有助于实现零射击
  • 组合的单任务模型和单个多任务模型之间存在差距

16.训练策略：全联合

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第16张图片

  • Training Strategies: Fully Joint
  • 简单的全联合训练策略


  • 困难：在单任务设置中收敛多少次迭代
  • 带红色的任务：预训练阶段包含的任务

17.单任务vs多任务

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第17张图片

  • QA 的 Anti-curriculum 反课程预训练改进了完全联合培训
  • 但MT仍然很糟糕

18.近期研究与实验

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第18张图片

  • Closing the Gap: Some Recent Experiments

19.单任务vs多任务

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第19张图片

20.MQAN细节

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第20张图片

  • Where MQAN Points

    • 答案从上下文或问题中正确的复制
    • 没有混淆模型应该执行哪个任务或使用哪个输出空间

21.decaNLP预训练提升最后效果

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第21张图片

  • Pretraining on decaNLP improves final performance

    • 例如额外的 IWSLT language pairs
    • 或者是新的类似 NER 的任务

22.预训练MQAN的零次学习任务域自适应

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第22张图片

  • Zero-Shot Domain Adaptation of pretrained MQAN:

    • 在 Amazon and Yelp reviews 上获得了 80% 的 精确率
    • 在 SNLI 上获得了 62% （参数微调的版本获得了 87% 的精确率，比使用随机初始化的高 2%）

23.零次学习(Zero-Shot)分类

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第23张图片

  • Zero-Shot Classification

    • 问题指针使得我们可以处理问题的改变（例如，将标签转换为满意/支持和消极/悲伤/不支持）而无需任何额外的微调
    • 使模型无需训练即可响应新任务

24.decaNLP：通用NLP任务效果基准

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第24张图片

  • decaNLP: A Benchmark for Generalized NLP

    • 为多个NLP任务训练单问题回答模型

    • 解决方案

      • 更一般的语言理解
      • 多任务学习
      • 领域适应
      • 迁移学习
      • 权重分享，预训练，微调（对于NLP的ImageNet-CNN？）
      • 零射击学习

25.相关研究与工作

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第25张图片

26.NLP的下一步

斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）_第26张图片

27.视频教程

可以点击 B站 查看视频的【双语字幕】版本

28.参考资料

ShowMeAI系列教程推荐

NLP系列教程文章

斯坦福 CS224n 课程带学详解

ShowMeAI用知识加速每一次技术成长

你可能感兴趣的:(斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）)

  • 年轻人在城市里工作，租房时应该注意什么？九大问题值得你考量 梓树花开
    文/马梓开郑重声明：本文为作者原创作品，全网维权，侵权必究。因为工作关系，我曾经多次租房。话说对初入职场的年轻人来说，进入陌生城市工作，一旦落实好工作了，那租房通常是必须考虑的因素。在租房的时候应该留意哪些问题呢？作为一个曾经租房多次的人，我自认为有点经验，所以来说说个人看法。01阳光租房的首要条件，是要求阳光能够照进来。有人说，阳光怎么能是租房子的首要条件呢？能这么说话的人，一定是没有在城中村待
  • 告别啃老，不做米虫，女性独立，一定要做到的3件事 爱家心理
    “妈，你就不能不干涉我？我自己事儿知道怎么办！”“我这都是为你好，你知道怎么办你还次次搞砸，那次不是我跟在你后边给你擦屁股。别乱想了照我说的做！”“我不！”母女两个怒目而瞪！小雨妈妈今年已经63岁了，小雨也年过三十，但是母女两个却经常因为小雨要穿什么衣服，在单位做什么事情儿吵闹不休。小雨觉得妈妈对自己干涉太多，妈妈则觉得自己吃过的盐比小雨流过的汗多，自己说的都是为小雨好。小雨却没有这个觉悟，觉得妈
  • iOS之BLE蓝牙SDK开发个人总结(基础篇) 大灰狼ios
    最近一段时间一直在做公司的BLE蓝牙SDK，sdk主要负责外设和手机的连接以及数据通信。过程中遇到了一些比较有价值的问题，现在总结记录下。蓝牙开发使用系统框架#import使用[[CBCentralManageralloc]initWithDelegate:selfqueue:nil]初始化CBCentralManager对象。(设置CBCentralManagerDelegate为self，ni
  • WebSocket应用场景分析及实践 AI天才研究院 Python实战自然语言处理人工智能语言模型编程实践开发语言架构设计
    作者：禅与计算机程序设计艺术1.简介1996年，IETF（互联网工程任务组）提出了WebSocket协议，是一种低开销、多方通讯的网络传输协议。它的诞生标志着跨越式增长的Web服务爆发式增长时代到来。WebSocket作为新的通信协议标准化运用十分普遍，被各大浏览器厂商、服务器软件厂商以及各种开发者广泛采用，随之而来的就是各种应用场景需求浪潮。本文将从应用层面，以WebSocket为代表，剖析其一
  • 2018-03-29 天父深深所爱的娜娜公主
    耶稣，这些年我不知道你为我操了多少心，你有多担心我会信不下去。你又为我流了多少眼泪是我不知道的。我真的没有想到我会走到今天。上帝你看到了，娜娜学会发自内心的笑了，你看到了，娜娜可以走路了，你看到了娜娜可以好好吃饭了。我还可以正常上班了。这是我以前不敢想的。耶稣你也感受到了我的心跳正常了，我的表情不再木讷了。上帝阿爸我爱你(ღ‿ღ)。爸爸，接下来你还要好好爱我，没有你我连呼吸都不要，也要不起。。。。
  • 走进群众，宣讲党史 含糊
    2021年是中国共产党成立的第100周年，过去一百年间，在中国共产党的领导下，中华民族创造了一个又一个奇迹，如今已经是世界上不容小觑的大国。为了让更多人了解党史，铭记党史，传承红色基因，水利学院学习党史暑期社会实践队将在接下来的半个月中积极宣传党史，让党的辉煌历史广为人知。7月10日，党史宣传活动正式启动，队长召开会议并对接下来的活动进行详细安排。团队成员共分为四组，从校园开始活动的起点，首先了解
  • 03-树1 树的同构 CO₂ PTA树的同构
    03-树1树的同构（25分)给定两棵树，请你判断它们是否是同构的。输入格式:输入给出2棵二叉树树的信息。对于每棵树，首先在一行中给出一个非负整数N(≤10)，即该树的结点数（此时假设结点从0到N−1编号）；随后N行，第i行对应编号第i个结点，给出该结点中存储的1个英文大写字母、其左孩子结点的编号、右孩子结点的编号。如果孩子结点为空，则在相应位置上给出“-”。给出的数据间用一个空格分隔。注意：题目保
  • axios拦截器 今天学习了ma
    页面发送http请求，很多情况我们要对请求和其响应进行特定的处理；如果请求数非常多，单独对每一个请求进行处理会变得非常麻烦，程序的优雅性也会大打折扣。好在强大的axios为开发者提供了这样一个API：拦截器。axios拦截器分为两种：请求拦截器和响应拦截器拦截器是在客户端产生的。（统一处理http请求和响应）主要作用就是对客户端发送的请求或接收来自服务端返回的响应进行统一的检测和修改等操作。1.请
  • Hbase - 表导出CSV数据 kikiki1
    新鲜文章，昨天刚经过线上验证过的，使用它导出了3亿的用户数据出来，花了半个小时，性能还是稳稳的，好了不吹牛皮了，直接上代码吧。MR考查了Hbase的各种MR，没有发现哪一个是能实现的，如果有请通知我，我给他发红包。所以我们只能自己来写一个MR了，编写一个Hbase的MR，官方文档上也有相应的例子。我们用来加以化妆就得到我们想要的了。导出的CSV格式为admin,22,北京admin,23,天津依赖
  • 2019-03-17 激情奋力
    噜啦啦噜啦啦噜啦噜啦看看兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔噜啦啦噜啦啦噜啦噜啦看看兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔噜啦啦噜啦啦噜啦噜啦看看兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔噜啦啦噜啦啦噜啦噜啦看看兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔噜啦啦噜啦啦噜啦噜啦看看兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔噜啦啦噜啦啦噜啦噜啦看看兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔兔噜啦啦噜啦啦噜啦噜啦看看兔兔兔兔兔兔兔兔兔兔兔兔兔兔
  • Python中的条件语句：if-else使用指南 AI软件改变生活 Python数据库前端python
    在编程中，条件语句是控制程序流程的核心工具之一，它允许程序根据不同的条件执行不同的代码块。Python提供了简洁而强大的条件语句语法，其中最常用的就是if-else语句。本文将详细介绍Python中if-else的使用方法、常见用法以及一些高级技巧。1.基本语法if-else语句的基本结构如下：Python复制if条件表达式:#如果条件表达式为True，执行这里的代码块passelse:#如果条件
  • 矩阵A+B（矩阵相加） crystaljy 矩阵
    Description在数学中，矩阵是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的方阵。这一概念由19世纪英国数学家凯利首先提出。矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中。在物理学中，矩阵于电路学、力学、光学和量子物理中都有应用；计算机科学中，三维动画制作也需要用到矩阵。矩阵的运算是数值分析领域的重要问题。将矩阵分解为简单矩阵的组合可以在理论和实
  • 2022-09-17 小五瑜合伽
    上午：学到了积极的面对每一天，一共下市场就那么几十天，做好眼前的事把自己好的点去影响别人下午：今天快乐的事情是超市管理员赶了我7.8次我依然坚挺今天没出定金还需要努力一起加油
  • 碰一碰发视频、碰一碰写好评源码搭建技术开发，支持OEM贴牌 18538162800余+ 音视频矩阵线性代数
    在移动互联网时代，便捷的交互体验成为吸引用户的关键。“碰一碰发视频”与“碰一碰写好评”功能借助近场通信（NFC）等技术，为用户带来了全新的操作体验，同时也为商家和内容创作者开辟了高效的推广与互动途径。本文将深入探讨这两项功能背后的技术开发要点。一、核心技术基础1.NFC近场通信技术NFC技术是实现碰一碰交互的基石。它基于ISO14443等协议，让设备在短距离（通常为10厘米以内）内进行安全的数据交
  • 180天日更打卡（1）——回顾2020，展望2021 小云读书小站
    2020年即将结束，回首这一年，发生了太多的事。因为疫情，呆在家里几个月，每天陪着孩子上网课。看似没干什么，其实一天下来，也是忙忙碌碌的。在这几个月里，不能开门营业，没有收入，经济压力随之而来，看着信用卡里的额度一点点减少，心里很是焦急，却也无奈。终于，疫情过去，孩子们开学了。又面临着儿子上初中找学校的事，因为我们是外地在这边做生意，属于外来人口，所以孩子上学比较麻烦。为孩子上学奔波在各个学校之间
  • 你很有天赋只是不努力？不，你连天赋都没有 箫剑平
    我相信大家都听过这样一句话，“你很有天赋只是不努力”。然而，你真的有天赋吗？什么叫有天赋？我在知乎里看过这样一个回答。答主在高二的时候参加高考，以文科上了重本线。学校老师都十分震惊，认为这是半只脚踏进了清华北大的人物。而就是这样的人，在高三却转去学理科了！老师家长怎么劝也劝不回来，只能由着他。结果是他用理科，上了重本，被厦大录取了！这样的人物应该可以称之为有天赋了吧。而这，却只是广大天才中的一员，
  • 代码签名：保障软件安全与可信的关键防线 Arwen303 代码签名SSL证书ssl网络协议网络
    在当今数字化时代，软件应用广泛渗透于各个领域，其安全性与可信度至关重要。代码签名作为一项核心技术手段，犹如软件世界的“数字身份证”，为软件的合法身份与完整性保驾护航。一、代码签名介绍（一）定义与原理代码签名是一种通过数字证书对软件代码进行数字签名的技术。它利用公钥加密体系，开发者使用私钥对代码进行签名，而用户端则通过对应的公钥来验证签名的有效性。当软件被签署后，任何对代码的篡改都会导致签名验证失败
  • 这么简单的从零到一做HTML 网页，你确定不来看看吗？ paid槮 html服务器前端
    HTML网页的介绍HTML(HypertextMarkupLanguage,超文本标记语言)是一种用于创建网页的标准标记语言,是一种与Python不同的编程语言。网页文件的扩展名通常为,html或.htm,这两种扩展名都可使用,并不会影响文件内容简单的HTML网页框架每一个HTML网页都包含一个基础框架，其他的内容都是在基础框架内进行扩充的。示例代码:这里是标题在这里填入正文这是一个较为基础的HT
  • MySQL主从模式的数据一致性 mysia
    MySQL单机的数据一致性MySQL作为一个可插拔的数据库系统，支持插件式的存储引擎，在设计上分为Server层和StorageEngine层。在Server层，MySQL以events的形式记录数据库各种操作的Binlog二进制日志，其基本核心作用有：复制和备份。除此之外，我们结合多样化的业务场景需求，基于Binlog的特性构建了强大的MySQL生态，如：DTS、单元化、异构系统之间实时同步等等
  • 0 - 7组合的奇数计数 一粒沙白兔 C语言刷题记录算法c语言
    题目描述求0—7所能组成的奇数个数。程序分析：这个问题其实是一个排列组合的问题，设这个数为sun=a1a2a3a4a5a6a7a8,a1-a8表示这个数的某位的数值，当一个数的最后一位为奇数时，那么这个数一定为奇数，不管前面几位是什么数字。如果最后一位数为偶数，则这个数一定为偶数。a1-a8可以取0-7这个八个数字，首位数字不为0。从该数为一位数到该数为8位数开始统计奇数的个数：1.当只有一位数时
  • 中原焦点团队网络初级23期坚持分享第73天，2020年9月19日 70994b56f624
    我终于看完第1本书了，虽然只是读过完了，就像掰玉米一样，没什么印象，但是总算是读完一本书了。为我自己点赞，对我来说，能静下心来看书是件多么难的事情，到现在我也无法静下心来看，所以我选择了，读完了以后，虽然没什么印象，但我想，以后可以读第2遍。sfBT10条基本精神：第一，不要把力气一直花在分析问题，或探讨问题的原因上，重点是如何解决问题？第二，没有一件事情只有负面的意义。第三，相信孩子是解决自己问
  • （C++）list，vector，set，map四种容器的应用——教务管理系统（测试版）（list基础教程）（vector基础教程）（set基础教程）（map基础教程）（STL库教程） 双叶836 STLC++C++基础教学C++项目c++list开发语言数据结构c语言
    目录源代码：代码详解：第1步：搭建基础框架和数据结构目标：定义数据结构和全局容器练习任务：第2步：实现学生管理功能（使用map）目标：添加学生和显示学生列表练习任务：第3步：实现课程管理功能（使用vector）目标：添加课程和显示课程列表练习任务：第4步：实现选课功能（使用list）目标：学生选课和退课功能练习任务：主函数：多说一点（重点代码解释）：一.list>enrollments;代码详解1
  • 银行家教你稳赚不赔的方法 康森爱学习
    我是康森，这是我每天一篇文章的第53篇，希望我的文章能为你赋能，也希望你能给我赋能。今天我们来讲一个金融领域的故事。在上个世纪80年代，美国埃克森石油公司发生了一起石油泄漏事故，导致公司的财务出现危机，于是埃克森向摩根大通银行申请一笔48亿美金的贷款。埃克森石油公司一直是摩根大通银行的大客户，所以这个贷款申请让摩根大通很为难，借吧，风险很大，万一还不上自己也没办法承担这笔损失；不借吧，这么大的客户
  • 《父母的语言》20190617 D5 小鱼_4ac5
    轮流谈话，轮流谈话是三丅原则中最重要的一个原则，成功的关键在于父母必须耐心等待孩子的回应，随着孩子慢慢长大，轮流谈话的方式也要发生变化在轮流谈话中，不是所有的话语都有利于他的开展，例如这是什么？等询问什么类别的疑问，对于谈话的人体以及孩子词汇的积累是没有好处的，相反，开放式的话题能够完美的实现轮流谈话的目的，只需将怎么办？和为什么抛给孩子，让孩子能够独立思考并学会解决问题，大脑的营养源来自于一个良
  • CSS 单位完全指南：掌握 em、rem、vh、vw 等响应式布局核心单位 编程随想▿ CSScss前端html网页布局
    目录一、绝对单位vs相对单位二、核心相对单位详解1.em单位2.rem单位（Rootem）3.vh与vw单位4.vmin与vmax单位三、实战应用场景对比五、专家建议与最佳实践六、总结一、绝对单位vs相对单位绝对单位（如px）固定不变，而相对单位则基于其他参考值动态计算，更适合响应式设计：/*绝对单位示例*/.fixed-size{width:300px;/*始终为300像素*/}/*相对单位示例
  • 跟100位大师练，练完就成高手丨写作工具箱 22 丨张伟丨
    大师写作100练丨文/张伟蹯溪百日极致写作练习营这是椰子私塾第1788篇原创输出最厉害的招数，往往最简单。练到极致，就是绝招，写作亦如此。跟100位大师练，练完就成高手丨写作工具箱22不同风格的语言运用1、文学语言基本要求：生动、形象、真实、准确等等。小说有自己的语言特征。2、叙述语言包括：文本描写、说明、抒情、议论、阐释、交代等等。3、人物语言包括：对话，独白等等。主要作用是体现人物性格与性情变
  • 《论语》日日谈 第63期 wuhuaping9807
    《论语》日日谈第63期本章为《论语》：雍也篇第六篇第九章【原文】季氏使闵子骞为费宰①。闵子骞曰．“善为我辞焉。如有复我者，则吾必在汶上矣②。”【注释】①闵子骞(qiān)：孔子的学生，姓闵，名损，字骞。费．季氏的封邑，在今山东省费县西北。②汶：汶水，即今山东大汶河。汶上，暗指齐国。【翻译】季氏派人通知闵子骞，让他当季氏采邑费城的长官。闵子骞告诉来人说：“好好地为我推辞掉吧！如果再有人为这事来找我，
  • FPGA相关通信问题详解 霖12 fpga开发笔记信号处理信息与通信学习开发语言
    首先感谢大佬@征途黯然.-CSDN博客的就我的上篇文章《FPGA通信设计十问》提出的问题，我在此做出回复一.解释FFT（快速傅里叶变换）如何在FPGA的IP核中高效实现FFT作为将时域信号转换为频域的核心算法，其在FPGA中的高效实现依赖于硬件架构与算法特性的深度适配。1.流水线架构：提升吞吐量FFT的核心是“蝶形运算”，其计算过程可分解为log2(N)级（N为FFT点数），每级包含N/2次蝶形运
  • 网关有什么用？如何选择合适的网关？ IT孟德 架构兵法微服务云原生
    大家好，我是IT孟德，YoucancallmeAman(阿瞒，阿弥陀佛的ē，Not阿门的ā)，一个喜欢所有对象（热爱技术）的男人。我正在创作架构专栏，秉承ITer开源精神分享给志同道合（爱江山爱技术更爱美人）的朋友。专栏更新不求速度但求质量（曹大诗人传世作品必属精品，请脑补一下《短歌行》：对酒当歌，红颜几何？譬如媳妇，吾不嫌多...青青罗裙，一见动心，但为佳人，挂念至今...），用朴实无华、通俗易
  • 如何成为领导者 沁心雅苑
    一、欲抑先扬说出令人不快的事情之前先给对方一些肯定，更容易让对方接受。二、纠正错误有效方式：间接的引起对方的注意。不能直接纠正他人错误，表达意见习惯以称赞开始，千万不能以‘’但是‘’转折，以批评收尾，可以试着用‘’而且‘’或不用连接词。应间接的引起他的重视。三、批评对方之前，先谈谈你自己的过错。批评他人之前先承认自己的诸多缺点，批评的话就没有那么刺耳了。谦逊和赞美技巧在人际关系中创造奇迹。四、引导
  • mongodb3.03开启认证 21jhf mongodb
    下载了最新mongodb3.03版本，当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题，现总结如下： （百度上搜到的基本都是老版本的，看到db.addUser的就是，请忽略） Windows下我做了一个bat文件，用来启动mongodb，命令行如下： mongod --dbpath db\data --port 27017 --directoryperdb --logp
  • 【Spark103】Task not serializable bit1129 Serializable
    Task not serializable是Spark开发过程最令人头疼的问题之一，这里记录下出现这个问题的两个实例，一个是自己遇到的，另一个是stackoverflow上看到。等有时间了再仔细探究出现Task not serialiazable的各种原因以及出现问题后如何快速定位问题的所在，至少目前阶段碰到此类问题，没有什么章法 1.   package spark.exampl
  • 你所熟知的 LRU(最近最少使用) dalan_123 java
    关于LRU这个名词在很多地方或听说，或使用，接下来看下lru缓存回收的实现 1、大体的想法     a、查询出最近最晚使用的项     b、给最近的使用的项做标记 通过使用链表就可以完成这两个操作，关于最近最少使用的项只需要返回链表的尾部；标记最近使用的项，只需要将该项移除并放置到头部，那么难点就出现 你如何能够快速在链表定位对应的该项？ 这时候多
  • Javascript 跨域 周凡杨 JavaScriptjsonp跨域cross-domain
                                       
  • linux下安装apache服务器 g21121 apache
    安装apache 下载windows版本apache，下载地址：http://httpd.apache.org/download.cgi   1.windows下安装apache Windows下安装apache比较简单，注意选择路径和端口即可，这里就不再赘述了。 2.linux下安装apache： 下载之后上传到linux的相关目录，这里指定为/home/apach
  • FineReport的JS编辑框和URL地址栏语法简介 老A不折腾 finereportweb报表报表软件语法总结
      JS编辑框： 1.FineReport的js。 作为一款BS产品，browser端的JavaScript是必不可少的。 FineReport中的js是已经调用了finereport.js的。 大家知道，预览报表时，报表servlet会将cpt模板转为html，在这个html的head头部中会引入FineReport的js，这个finereport.js中包含了许多内置的fun
  • 根据STATUS信息对MySQL进行优化 墙头上一根草 status
    mysql  查看当前正在执行的操作，即正在执行的sql语句的方法为:      show processlist 命令   mysql> show global status;可以列出MySQL服务器运行各种状态值，我个人较喜欢的用法是show status like '查询值%';一、慢查询mysql> show variab
  • 我的spring学习笔记7-Spring的Bean配置文件给Bean定义别名 aijuans Spring 3
    本文介绍如何给Spring的Bean配置文件的Bean定义别名？ 原始的 <bean id="business" class="onlyfun.caterpillar.device.Business"> <property name="writer"> <ref b
  • 高性能mysql 之 性能剖析 annan211 性能mysqlmysql 性能剖析剖析
    1 定义性能优化 mysql服务器性能，此处定义为 响应时间。 在解释性能优化之前，先来消除一个误解，很多人认为，性能优化就是降低cpu的利用率或者减少对资源的使用。 这是一个陷阱。 资源时用来消耗并用来工作的，所以有时候消耗更多的资源能够加快查询速度，保持cpu忙绿，这是必要的。很多时候发现 编译进了新版本的InnoDB之后，cpu利用率上升的很厉害，这并不
  • 主外键和索引唯一性约束 百合不是茶 索引唯一性约束主外键约束联机删除
    目标;第一步;创建两张表 用户表和文章表         第二步;发表文章       1,建表; ---用户表 BlogUsers --userID唯一的 --userName --pwd --sex create
  • 线程的调度 bijian1013 java多线程thread线程的调度java多线程
    1.       Java提供一个线程调度程序来监控程序中启动后进入可运行状态的所有线程。线程调度程序按照线程的优先级决定应调度哪些线程来执行。   2.       多数线程的调度是抢占式的（即我想中断程序运行就中断，不需要和将被中断的程序协商） a) 
  • 查看日志常用命令 bijian1013 linux命令unix
    一.日志查找方法，可以用通配符查某台主机上的所有服务器grep "关键字" /wls/applogs/custom-*/error.log   二.查看日志常用命令1.grep '关键字' error.log：在error.log中搜索'关键字'2.grep -C10 '关键字' error.log：显示关键字前后10行记录3.grep '关键字' error.l
  • 【持久化框架MyBatis3一】MyBatis版HelloWorld bit1129 helloworld
    MyBatis这个系列的文章，主要参考《Java Persistence with MyBatis 3》。   样例数据 本文以MySQL数据库为例，建立一个STUDENTS表，插入两条数据，然后进行单表的增删改查     CREATE TABLE STUDENTS ( stud_id int(11) NOT NULL AUTO_INCREMENT,
  • 【Hadoop十五】Hadoop Counter bit1129 hadoop
       1. 只有Map任务的Map Reduce Job File System Counters FILE: Number of bytes read=3629530 FILE: Number of bytes written=98312 FILE: Number of read operations=0 FILE: Number of lar
  • 解决Tomcat数据连接池无法释放 ronin47 tomcat 连接池　优化
    近段时间，公司的检测中心报表系统(SMC)的开发人员时不时找到我，说用户老是出现无法登录的情况。前些日子因为手头上 有Jboss集群的测试工作，发现用户不能登录时，都是在Tomcat中将这个项目Reload一下就好了，不过只是治标而已，因为大概几个小时之后又会 再次出现无法登录的情况。 今天上午，开发人员小毛又找到我，要我协助将这个问题根治一下，拖太久用户难保不投诉。 简单分析了一
  • java-75-二叉树两结点的最低共同父结点 bylijinnan java
    import java.util.LinkedList; import java.util.List; import ljn.help.*; public class BTreeLowestParentOfTwoNodes { public static void main(String[] args) { /* * node data is stored in
  • 行业垂直搜索引擎网页抓取项目 carlwu LuceneNutchHeritrixSolr
    公司有一个搜索引擎项目，希望各路高人有空来帮忙指导，谢谢！ 这是详细需求： （1） 通过提供的网站地址(大概100-200个网站)，网页抓取程序能不断抓取网页和其它类型的文件（如Excel、PDF、Word、ppt及zip类型），并且程序能够根据事先提供的规则，过滤掉不相干的下载内容。 （2） 程序能够搜索这些抓取的内容，并能对这些抓取文件按照油田名进行分类，然后放到服务器不同的目录中。
  • [通讯与服务]在总带宽资源没有大幅增加之前,不适宜大幅度降低资费 comsci 资源
          降低通讯服务资费，就意味着有更多的用户进入，就意味着通讯服务提供商要接待和服务更多的用户，在总体运维成本没有由于技术升级而大幅下降的情况下，这种降低资费的行为将导致每个用户的平均带宽不断下降，而享受到的服务质量也在下降，这对用户和服务商都是不利的。。。。。。。。     &nbs
  • Java时区转换及时间格式 Cwind java
    本文介绍Java API 中 Date, Calendar, TimeZone和DateFormat的使用，以及不同时区时间相互转化的方法和原理。   问题描述： 向处于不同时区的服务器发请求时需要考虑时区转换的问题。譬如，服务器位于东八区（北京时间，GMT+8:00），而身处东四区的用户想要查询当天的销售记录。则需把东四区的“今天”这个时间范围转换为服务器所在时区的时间范围。
  • readonly,只读，不可用 dashuaifu jsjspdisablereadOnlyreadOnly
    readOnly 和 readonly 不同，在做js开发时一定要注意函数大小写和jsp黄线的警告！！！我就经历过这么一件事： 使用readOnly在某些浏览器或同一浏览器不同版本有的可以实现“只读”功能，有的就不行，而且函数readOnly有黄线警告！！！就这样被折磨了不短时间！！！（期间使用过disable函数，但是发现disable函数之后后台接收不到前台的的数据！！！）  
  • LABjs、RequireJS、SeaJS 介绍 dcj3sjt126com jsWeb
    LABjs 的核心是 LAB（Loading and Blocking）：Loading 指异步并行加载，Blocking 是指同步等待执行。LABjs 通过优雅的语法（script 和 wait）实现了这两大特性，核心价值是性能优化。LABjs 是一个文件加载器。RequireJS 和 SeaJS 则是模块加载器，倡导的是一种模块化开发理念，核心价值是让 JavaScript 的模块化开发变得更
  • [应用结构]入口脚本 dcj3sjt126com PHPyii2
    入口脚本 入口脚本是应用启动流程中的第一环，一个应用（不管是网页应用还是控制台应用）只有一个入口脚本。终端用户的请求通过入口脚本实例化应用并将将请求转发到应用。 Web 应用的入口脚本必须放在终端用户能够访问的目录下，通常命名为 index.php，也可以使用 Web 服务器能定位到的其他名称。 控制台应用的入口脚本一般在应用根目录下命名为 yii（后缀为.php），该文
  • haoop shell命令 eksliang hadoophadoop shell
    cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text
  • MultiStateView不同的状态下显示不同的界面 gundumw100 android
    只要将指定的view放在该控件里面，可以该view在不同的状态下显示不同的界面，这对ListView很有用，比如加载界面，空白界面，错误界面。而且这些见面由你指定布局，非常灵活。 PS：ListView虽然可以设置一个EmptyView，但使用起来不方便，不灵活，有点累赘。 <com.kennyc.view.MultiStateView xmlns:android=&qu
  • jQuery实现页面内锚点平滑跳转 ini JavaScripthtmljqueryhtml5css
    平时我们做导航滚动到内容都是通过锚点来做，刷的一下就直接跳到内容了，没有一丝的滚动效果，而且 url 链接最后会有“小尾巴”，就像#keleyi，今天我就介绍一款 jquery 做的滚动的特效，既可以设置滚动速度，又可以在 url 链接上没有“小尾巴”。   效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/37.htmHTML文件代码： &
  • kafka offset迁移 kane_xie kafka
    在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。   到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。   从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适
  • android > 搭建 cordova 环境 mft8899 android
      1 , 安装 node.js        http://nodejs.org      node -v   查看版本   2, 安装 npm   可以先从  https://github.com/isaacs/npm/tags  下载 源码 解压到
  • java封装的比较器，比较是否全相同，获取不同字段名字 qifeifei
     非常实用的java比较器，贴上代码： import java.util.HashSet; import java.util.List; import java.util.Set; import net.sf.json.JSONArray; import net.sf.json.JSONObject; import net.sf.json.JsonConfig; i
  • 记录一些函数用法 .Aky. 位运算PHP数据库函数IP
    高手们照旧忽略。 想弄个全天朝IP段数据库，找了个今天最新更新的国内所有运营商IP段，copy到文件，用文件函数，字符串函数把玩下。分割出startIp和endIp这样格式写入.txt文件，直接用phpmyadmin导入.csv文件的形式导入。（生命在于折腾，也许你们觉得我傻X，直接下载人家弄好的导入不就可以，做自己的菜鸟，让别人去说吧） 当然用到了ip2long()函数把字符串转为整型数
  • sublime text 3 rust wudixiaotie Sublime Text
    1.sublime text 3 => install package => Rust 2.cd ~/.config/sublime-text-3/Packages 3.mkdir rust 4.git clone https://github.com/sp0/rust-style 5.cd rust-style 6.cargo build --release 7.ctrl
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他