言有三
言有三

【NLP预训练模型】你finetune BERT的姿势可能不对哦？

预训练模型BERT是NLP领域如今最大的网红，BERT的预训练过程学习了大量的自然语言中词、句法以及常识等泛领域的知识。因此，在运用BERT到实际的NLP任务中，通常的做法都是基于特定领域内的少量数据（几千到几万）集，再进行Finetune，以适用于当前的任务和领域。

通常来说，基于BERT进行Finetune效果都会还不错。但是如果你的数据集相对小的时候，你有可能会遇到一些麻烦。本篇基于论文《Revisiting Few-sample BERT Fine-tuning》深入看一下BERT的预训练过程，试着深入分析这一过程，用于指导Finetune的工作。

作者&编辑 | 小Dream哥

1  BERT及其预训练

BERT是一个基于transformer encoder的大型双向模型，基于海量的文本进行预训练，训练的任务包括MLM和NSP。

【NLP预训练模型】你finetune BERT的姿势可能不对哦？_第1张图片

笔者前面有详细介绍BERT的文章，忘记的同学可以先点击了解：

【NLP】 深入浅出解析BERT原理及其表征的内容

在论文《Revisiting Few-sample BERT Fine-tuning》中，论文作者细致的发现了BERT在预训练时，在更新参数时做了一些"小动作"，如下图：

【NLP预训练模型】你finetune BERT的姿势可能不对哦？_第2张图片

BERT在预训练时，省略了标准Adam优化器优化过程中的第9和第10步。步骤9和步骤10分别是对步骤7和步骤8中一阶动量和二阶动量的有偏估计的纠正（bias-corrected）。关于为什么步骤7和步骤8中的一阶动量和二阶动量为什么是有偏的，感兴趣的读者可以翻看原文去了解，这里不做繁琐的推演了。

需要说明的是，为什么BERT在预训练时要省略和可以省略这两部呢？笔者猜测，google省略优化步骤主要原因应该是为了提速，毕竟预训练过程的数据量如此之大，BERT又是如此的庞大。那么为什么能做这样的省略呢，笔者猜测，是因为BERT在预训练是用的训练数据集非常之大，数据集的分布已经非常接近于实际的样本分布，因此可以省略上述步骤。

2 BERT的小样本Finetune

如我们上一节讨论的，BERT的预训练过程用的Adam优化器是非标的，可以称为BERT_Adam。然后论文作者发现，如今产业界和学术界大部分的开源BERT库的Adam优化器都是基于这个版本。

【NLP预训练模型】你finetune BERT的姿势可能不对哦？_第3张图片

作者认为，BERT_Adam会造成Finetune时的不稳定（insstability）。

【NLP预训练模型】你finetune BERT的姿势可能不对哦？_第4张图片

论文作者做实验发现，在小样本Finetune时，将BERT_Adam换成Adam确实会有更好的效果。笔者用自己的2000左右的数据集，做分类任务，确实也复现到了同样的现象。至此，我们发现了BERT在预训练时一个不小的坑，在小样本Finetune时，需要换回标准Adam优化器，因为小样本需要对一阶动量和二阶动量做bias-correction。

笔者看了下tensorflow和keras的Adam优化器实现，确实是BERT_Adam的实现：

【NLP预训练模型】你finetune BERT的姿势可能不对哦？_第5张图片

所以，坑我们已经找到了，后续大家在bert Finetune时，最好能够自己重写一下Adam优化器，将其规范为标准的Adam优化器，或者直接用一些标准的开源库。

总结

基于BERT的预训练权重进行Finetune，是NLP领域目前最流行和高效的手段。本文介绍了预训练过程中会出现的一个大坑，即大部分开源的Adam优化器都是非标准的，并介绍了解决的方案。

下期预告：ACL论文领读系列

知识星球推荐

【NLP预训练模型】你finetune BERT的姿势可能不对哦？_第6张图片

扫描上面的二维码，就可以加入我们的星球，助你成长为一名合格的自然语言处理算法工程师。

知识星球主要有以下内容：

(1) 聊天机器人。

(2) 知识图谱。

(3) NLP预训练模型。

转载文章请后台联系

侵权必究

【NLP预训练模型】你finetune BERT的姿势可能不对哦？_第7张图片

往期精选

  • 【完结】 12篇文章带你完全进入NLP领域，掌握核心技术

  • 【年终总结】2019年有三AI NLP做了什么，明年要做什么？

  • 【NLP-词向量】词向量的由来及本质

  • 【NLP-词向量】从模型结构到损失函数详解word2vec

  • 【NLP-NER】什么是命名实体识别？

  • 【NLP-NER】命名实体识别中最常用的两种深度学习模型

  • 【NLP-NER】如何使用BERT来做命名实体识别

  • 【NLP-ChatBot】我们熟悉的聊天机器人都有哪几类？

  • 【NLP-ChatBot】搜索引擎的最终形态之问答系统（FAQ）详述

  • 【NLP-ChatBot】能干活的聊天机器人-对话系统概述

  • 【知识图谱】人工智能技术最重要基础设施之一，知识图谱你该学习的东西

  • 【知识图谱】知识表示：知识图谱如何表示结构化的知识？

  • 【知识图谱】如何构建知识体系：知识图谱搭建的第一步

  • 【知识图谱】获取到知识后，如何进行存储和便捷的检索？

  • 【知识图谱】知识推理，知识图谱里最“人工智能”的一段

  • 【文本信息抽取与结构化】目前NLP领域最有应用价值的子任务之一

  • 【文本信息抽取与结构化】详聊文本的结构化【上】

  • 【文本信息抽取与结构化】详聊文本的结构化【下】

  • 【NLP实战】tensorflow词向量训练实战

  • 【NLP实战系列】朴素贝叶斯文本分类实战

  • 【NLP实战系列】Tensorflow命名实体识别实战

  • 【NLP实战】如何基于Tensorflow搭建一个聊天机器人

  • 【NLP实战】基于ALBERT的文本相似度计算

  • 【每周NLP论文推荐】从预训练模型掌握NLP的基本发展脉络

  • 【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究

  • 【每周NLP论文推荐】 介绍语义匹配中的经典文章

  • 【每周NLP论文推荐】 对话管理中的标志性论文介绍

  • 【每周NLP论文推荐】 开发聊天机器人必读的重要论文

  • 【每周NLP论文推荐】 掌握实体关系抽取必读的文章

  • 【每周NLP论文推荐】 生成式聊天机器人论文介绍

  • 【每周NLP论文推荐】 知识图谱重要论文介绍

你可能感兴趣的:(【NLP预训练模型】你finetune BERT的姿势可能不对哦？)

  • 转眼已是秋 1如是我闻
    清晨出门，往长江大道的昌河厂附近赶去。天空飘着淅淅沥沥的秋雨，我骑着车，穿着短袖，风是凉的风，雨是有些丝丝凉凉的雨滴。比起前两天雨后还有些燥热的天气，今天的天气一下子凉爽了许多。在我从长江大道返回的路上，在道路中间的绿化带上，我看到了许多的银杏树。银杏的叶子依然油绿，可叶片的周围，已开始了泛黄。看上去，像染了黄色头发的女子，黑发长出来后，黄发逐渐退去了色彩一样。在许多银杏树中间，有一棵满是金黄叶片
  • 分布式跟踪服务实战应用指南 CRMEB系统商城 分布式
    已成为了决解复杂系统运行效率问题的关键手段之一，随着企业向微服务化与分布式系统的转变，应用复杂度不断提升，监控技术的挑战更为严峻。此项服务不仅能协助开发与运维团队更直观地理解系统运作状况，还可增强系统稳定性及提升用户满意度。接下来，文章将详细剖析分布式追踪服务的优点、适用场景、可能存在的风险以及安全性，同时还会介绍如何在Python项目中进行集成操作，并对比其他可用选项，为您推荐合适的服务提供商。
  • 有序数组去重 colorful_stars C/C++算法算法数据结构c++leetcode
    有序数组去重给定一个字符串，字符串是有序的整数集合，逗号相连，移除相同的数字，使每个数字只出现一次，输出最终的数字个数。时间限制：C/C++1秒，其他语言2秒空间限制：C/C++32M，其他语言64M输入描述：1,2,2输出描述：2示例1输入例子：1,2,2输出例子：2示例2输入例子：0,0,1,1,1,2,2,3,3,4输出例子：5#include#include#includeusingnam
  • 多版本Python安装 __如风__ python开发语言linux
    多版本Python安装多版本python安装主要是保证环境变量不冲突即可，在linux上源码安装指定安装目录，在windows上建议直接下载可执行文件而不是安装程序到指定目录（下载安装程序不勾选PythonLauncher和添加到环境变量应该也可以，但本人未尝试过），使用时写全目录即可。通常新的项目都是先创建虚拟环境，激活虚拟环境，环境变量加载成功就可以愉快地使用python了。Centos安装y
  • 有多个python版本_python 多版本共存 楽月 有多个python版本
    有时候需要在同一台机器上安装多个版本的python常见的解决方式如下：一、1.下载python2.7和python3.7，然后在C盘下新建一个Python文件夹，python2.7安装到C:\Python\Python27python3.7安装到C:\Python\Python372.检查系统变量中是否有C:\Python\Python37;C:\Python\Python37\Scripts;和
  • 《凡途》第八十三 章 日月同辉9908
    一个黑暗的大殿，偶尔的几个火炬如点缀在这个殿内的明珠，昏暗的正上方，一个身影坐在一个宝座之上，身边散发和屡屡黑气。下方这时也跪着一个黑影，对着上方的黑影禀告到：“侍神大人，如今是否要发动一次尸潮。”上方的侍神传出一个空洞的声音，问道：“你说这次妖兽两族都没有拦东方复？”黑影答道：“是的！”侍神继续问道：“可查清楚下来的几个人的身份了？”黑影答道：“其中有一个可能就是他的一族的后辈。”侍神：“哦！东
  • const关键字学习补充 ACALJJ32 C++基础学习笔记学习
    目录顶层const、底层constconst成员函数顶层const、底层const涉及到指针const的内容，顶层const表示指针本身就是一个常量，底层const表示指针所指的对象是一个常量。inti=0;int*constp1=&i;//p1指针的值不允许修改constintci=42;//不可以改变ci的值，顶层constconstint*p2=&ci;//p2指针的值可以修改，但是*p2的
  • 2019年10月15日星期二口述日记运动会的开幕式 陈柏川
    今天运动会，我们全班人都穿了汉服。然后过了半个小时，老师让我们去门口排队，我们到了操场，在那儿站了一会儿，有的一年级的小朋友说我们是忍者。我觉得这是不可能的事，然后我们排成四队，一直走，然后走到主席台那边，大姐姐拿起统来主持我们爬山中队什么的。然后我们班的六个女生跳了《但愿人长久》那个时候，王老师是裁判老师，王老师就盯着我们看。然后等我们走的时候，我们站到了自己的位置上，开始了升旗仪式，让我们唱了
  • 禅绕百张图挑战 云水间sky
    2019.3.16日，星期六，晴3.13日大漠先生发出禅绕百张图挑战，有点动心，但是觉得一个月一百张图对我来说似乎是无法保障的，很难。没到百分百有把握完成的时候我不想试，不敢轻易承诺。所以自己默默的试了两天，15日跟先生说了，接受挑战，一切其实只要你决定要做了根本就不难，接受了就开始重新调整自己的时间，意想不到四天居然完成了14张，心里美美的，有种无所畏惧的感觉。爱上自己从爱上禅绕开始，今天画着的
  • 食品商标转让费用明细是多少？ 尚标知识产权
    如今越来越多的人开始投向食品行业，不管是以何种方式。商标作为企业的重要标识之一，是缺一不可的，比起注册商标，现在大部分企业更愿意通过商标转让的方式去获得一枚好标，因为时间上更快，成功率也更高，而且没有被驳回的风险。那么食品商标转让费用明细是多少？一、食品商标转让费用明细食品商标转让费用明细一般包括两部分：1、商标转让受理费：申请转让一件商标的费用为500元，受理费直接缴入国家商标局，国家商标局收取
  • 便宜没好货吗 改变不了世界的鱼
    刚买菜准备回家，突然看见菜市场边缘好多人在买桃子。想想家里的桃子昨天吃完了，我也买点吧。一问才知，才一元一斤。这恐怕是现在最便宜的水果了，且不是腐烂甩尾货，怪不得有这么多人买。我从老板手里拿了一个袋子，也来挑，但挑来挑去，都挑不到满意的——太大了，最大的快小斤把一个了。这么大的桃子真的不多见。我家在三十年前有块地，因离村庄近，种麦子等遭牲口光顾，精明的老爸就把它栽上桃树。几年功夫，二百多棵桃树就蔚
  • python入门之控制结构-循环结构_python入门之流程控制 weixin_39770592
    流程控制就是控制程序执行的流程。流程控制分三种结构：顺序结构（程序从上往下执行最后结束）；分支结构（通过if判断）；循环结构（for循环、while循环）分支结构分支结构：通过判断条件的真假，选择执行不同的子代码块。实现方式：通过if语句if语法完整定义if条件1：代码块1elif条件2：代码块2elif条件3：代码块3else:代码块4#代码块指的是相同缩进的一堆代码。python通过缩进4个字
  • 停电 十月云
    晚上八点多突然停电线路出了问题只有我们家停电赶上大姨妈赶上感冒窝在被子里拉开窗帘又黑又不全黑小伙儿在协调物业电工赶紧维修不许他们扯皮让赶紧想办法不然我们冰箱东西都化了那怎么办突然停电的日子赶上大姨妈赶上感冒听起来很倒霉吧可是并没有黑暗中有个小伙儿在想办法解决一切
  • 软件测试用例优秀例子_作为产品新人，写测试用例，看这一篇就够了 weixin_39605191 软件测试用例优秀例子
    笔者所做的产品测试包括功能测试和界面测试两部分，在进行了一轮实践之后，笔者归纳了关于功能测试和界面测试的方法论和实践技巧，在此文分享给大家。全文分为四个部分:功能测试、界面测试、测试注意点、产品测试的魅力一、功能测试定义顾明思义，功能测试是对产品的功能和流程进行测试，判断产品的功能和流程是否按照原先设定进行。功能流程包括正常流程和异常流程做法对产品进行功能测试，笔者的主要做法是为产品编写功能性测试
  • mysql的双机热备自动切换_mysql双主热备宕机自动切换 weixin_39621794 mysql的双机热备自动切换
    一、定义通常说的「双机热备」是指两台机器都在运行，但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服务，而且切换的时间非常短。二、原理Keepalived的工作原理是VRRP(VirtualRouterRedundancyProtocol)虚拟路由冗余协议。在VRRP中有两组重要的概念：VRRP路由器和虚拟路由器，主控路由器和备份路由器。VRRP路由
  • 服务器每秒钟执行命令数量是什么_Redis的内部运作机制 weixin_39753791 服务器每秒钟执行命令数量是什么
    本文将分五个部分来分析和总结Redis的内部机制，分别是：Redis数据库、Redis客户端、Redis事件、Redis服务器的初始化步骤、Redis命令的执行过程。首先介绍一下Redis服务器的状态结构。Redis使用一个类型为“redisServer”的数据结构来保存整个Redis服务器的状态(每个属性按照即将讲解的顺序进行排序)：structredisServer{intdbnum;//服务
  • 一上《用不同的物体来测量》教学反思 奋进中的小茜
    在这节课里，我发现对于学生来说是有一定难度的，对老师的操作上也是有挑战的。首先，这节课学生要用4种东西来测量，这加大了学生操作的难度。其次，一年级学生的识字量有限，表格里的空较多，学生往往会把数据填错位置。这个星期我只上了一个班的这节课，感觉操作上遇到了困难。我下个星期会做以下调整:第一，表格按列讲解，比如，要测量书的长度，我就让学生现在全部测量书的长度，告诉他们要填在哪里。第二，全班分成两个部分
  • 让Python更加充分的使用Sqlite3 weixin_33726318 python数据库运维
    我最近在涉及大量数据处理的项目中频繁使用sqlite3。我最初的尝试根本不涉及任何数据库，所有的数据都将保存在内存中，包括字典查找、迭代和条件等查询。这很好，但可以放入内存的只有那么多，并且将数据从磁盘重新生成或加载到内存是一个繁琐又耗时的过程。我决定试一试sqlite3。因为只需打开与数据库的连接，这样可以增加可处理的数据量，并将应用程序的加载时间减少到零。此外，我可以通过SQL查询替换很多Py
  • 2019.03.23 汶河南路有棵树
    周六，上班。阴天。最近对买房这件事非常热衷，不知道是哪里来的力量，也想有个家，也想给阿倩一个家，但是身无分文。又在网上找到了一家上次看到的一摸一样的户型，不同的是格局看起来和我想象中的很像，基本后期不会大动，但是不朝南，没有露台，价格稍便宜，又约了中介想去看一看。打算找同学找朋友凑一点试试。打开微信，从上翻到下，先找找最有可能有钱的，先从铁腕开刀。高中同学金海，前几个月跟我透露说暑假干家教赚了两万
  • 运动会 大卫碎语
    在这个春风送暖、百花齐放的季节里，迎来了一年一度的城关小学第44届田径少儿趣味运动会。在100米的赛场上，100米的队员们挥洒着他们的汗水，奋力的向前冲，都想第一个到达终点，赢得冠军。最后，罗龙飞校长讲话：“本次城关小学第44届少儿趣味运动会开幕式圆满结束。”
  • bfs 迷宫打印所有路径 java,bfs 较为全面的迷宫路径问题,包括路径的打印,起点到任一点的最小步数. | 学步园... 微果酱
    /*提供的输入数据:输入行数列数起点终点然后输入任意点的位置,可求起点到终点的距离,00表示结束.input:6500041101110111101001011111101111110413404400output:DDDDRRUUURUR1210410#include#include#includeusingnamespacestd;constintmm=301;intmap[mm][mm];i
  • 9-Python3从入门到实战—基础之条件控制语句 weixin_33736649 pythonjava移动开发
    Python从入门到实战系列——目录条件判断if条件判断if语句语法if:elif:elif:else:每个条件后面要使用冒号（:），表示接下来是满足条件后要执行的语句块;使用缩进来划分语句块，相同缩进数的语句在一起组成一个语句块;在Python中没有switch–case语句;num=5ifnum==0:print('num=0')elifnum>0:print('num是一个正数')else:
  • 雨 橙子妈聊育儿
    秋天的雨总是来的这样静悄悄，在人们还没有准备的时候它到来了。一丝一丝，被风吹起，落在脸上，微凉的触感仿佛在告诉人们--冬天就快要来了。落在还单薄的衣服上，不长时间就浸湿了衣服，凉气透过衣服，钻过皮肤，顺着血管游走于身体各处，一瞬间就像被冻在了冰箱里，整个人都被冻住了，诚实的身体立刻做出了本能反应，打了一个冷战。
  • x-ray社区版简单使用教程 一只迷茫的汪 工具爬虫web安全
    下载地址https://github.com/chaitin/xray注意：xray不开源，直接下载构建的二进制文件即可证书生成./xray_windows_amd64genca使用方法1，使用基础爬虫爬取并对爬虫爬取的链接进行漏洞扫描（xray的基础爬虫不能处理js渲染的页面）./xray_windows_amd64webscan--basic-crawlerhttp://example.com
  • 今天又是追剧的一天 时光清浅_1c8d
    想到明天工作一天，后天又休息，这两天的心情就超级好啊，后天本来想去看宠爱的，到时候跟小伙伴约吧但是想到今天晚上可以看剧，还是比较兴奋的，之前想的找个主题每天写一下，今天想了想，想写一下小时候的事，到时候回忆下童年怎么样，哈哈或者是写一下影评跟电视什么的？毕竟比较喜欢这些，好吧，我又开始纠结了
  • Java实现建造者模式和源码中的应用 coffee_baby JAVA实现设计模式java建造者模式开发语言
    Java实现建造者模式（BuilderPattern）文章目录Java实现建造者模式（BuilderPattern）案例：汉堡制作建造者模式的核心角色代码实现：汉堡制作内部类实现：Step1：产品类BurgerStep2：指挥者DirectorStep3：客户端代码结果总结抽象类实现Step1：产品类BurgerStep2：抽象的Builder类Step3：具体的Builder类Step4：指挥者
  • 十大良心返利app软件排行榜-前十的良心返利app软件有哪些 好项目氧券
    随着电子商务的兴起，返利app软件成为了众多消费者购物时的首选。这些返利app软件不仅可以让消费者在购物时省下一笔钱，还可以让购物变得更加有趣。但是市面上的返利app软件琳琅满目，如何选择一款靠谱的良心返利app软件呢？本文将为您揭晓十大良心返利app软件排行榜，让您在购物时更加放心。首先，我们需要明确什么是良心返利app软件。良心返利app软件是指那些信誉好、返利高、提现快、服务优质的返利app
  • linux内存分区bss,data,text,rodata,堆,栈 刚入坑的炸弹 Linux随记Linux内存分区
    各内存分区的介绍系统内的程序分为程序段和数据段，具体也可以细分成以下几个部分:（1）text段，是代码段。用来存放程序代码的，通常是只读，可以直接在ROM或Flash中执行，无需加载到RAM。（2）data段，数据段。data用来存储已经初始化的全局变量和静态变量，是属于静态内存分配，是可读可写的。（3）bss段，是全局变量数据段。是用来存储未初始化的全局变量以及未初始化的静态变量，静态内存分配。
  • 忍耐力 Sabrina_fc6f
    有志者、事竟成，破釜沉舟，百二秦关终属楚；苦心人、天不负，卧薪尝胆，三千越甲可吞吴。高中时语文课堂学习的对联，可惜当时的自己对历史知识了解得太少和生活阅历太浅，只觉得气势磅礴激励人心，却不知背后的深刻。早餐时，天猫精灵放着成语故事，讲到"卧薪尝胆"，已听了无数次，但每次听，都觉得佩服越王勾践的忍耐力。每个人都会犯错，但并不是每个人都能忍耐承担自己犯错的后果，并耐心等待时机逆袭。对于现在的工作，班主
  • Redis的各种机制 LLYYYYSS redisredis
    一、Redis的持久化机制1.简介Redis有两种持久化机制，分别是RDB和AOF，RDB：每个一段时间保存一个快照；AOF：保存每次写的操作指令；2.RDB（1）RDB的概念RDB：每隔一段时间，把内存中的数据写入磁盘的临时文件，作为快照，恢复的时候把快照文件读进内存。如果宕机重启，那么内存里的数据肯定会没有的，因为RDB的存在，那么重启redis后，则会恢复。（2）备份与恢复备份：内存备份--
  • jvm调优总结（从基本概念 到 深度优化） oloz javajvmjdk虚拟机应用服务器
    JVM参数详解：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html   Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。
  • 【Scala十六】Scala核心十：柯里化函数 bit1129 scala
    本篇文章重点说明什么是函数柯里化，这个语法现象的背后动机是什么，有什么样的应用场景，以及与部分应用函数(Partial Applied Function)之间的联系   1. 什么是柯里化函数 A way to write functions with multiple parameter lists. For instance def f(x: Int)(y: Int) is a
  • HashMap dalan_123 java
    HashMap在java中对很多人来说都是熟的；基于hash表的map接口的非同步实现。允许使用null和null键；同时不能保证元素的顺序；也就是从来都不保证其中的元素的顺序恒久不变。 1、数据结构     在java中，最基本的数据结构无外乎：数组 和 引用（指针），所有的数据结构都可以用这两个来构造，HashMap也不例外，归根到底HashMap就是一个链表散列的数据
  • Java Swing如何实时刷新JTextArea，以显示刚才加append的内容 周凡杨 java更新swingJTextArea
    在代码中执行完textArea.append("message")后，如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新，我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。 问题是这个方法并不能有任何效果，textArea的内容没有任何变化，这或许是swing的一个bug，有一个笨拙的办法可以实现
  • servlet或struts的Action处理ajax请求 g21121 servlet
    其实处理ajax的请求非常简单，直接看代码就行了： //如果用的是struts //HttpServletResponse response = ServletActionContext.getResponse(); // 设置输出为文字流 response.setContentType("text/plain"); // 设置字符集 res
  • FineReport的公式编辑框的语法简介 老A不折腾 finereport公式总结
    FINEREPORT用到公式的地方非常多，单元格（以=开头的便被解析为公式），条件显示，数据字典，报表填报属性值定义，图表标题，轴定义，页眉页脚，甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。 简单的说下自己感觉的公式要注意的几个地方：   1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3)
  • linux mysql 数据库乱码的解决办法 墙头上一根草 linuxmysql数据库乱码
    linux 上mysql数据库区分大小写的配置 lower_case_table_names=1 1-不区分大小写 0-区分大小写   修改/etc/my.cnf 具体的修改内容如下:   [client] default-character-set=utf8   [mysqld] datadir=/var/lib/mysql socket=/va
  • 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想 aijuans Spring 3
    ApplicationContext能读取多个Bean定义文件，方法是： ApplicationContext appContext = new ClassPathXmlApplicationContext（ new String[]｛“bean-config1.xml”，“bean-config2.xml”，“bean-config3.xml”，“bean-config4.xml
  • mysql 基准测试之sysbench annan211 基准测试mysql基准测试MySQL测试sysbench
    1 执行如下命令，安装sysbench-0.5： tar xzvf sysbench-0.5.tar.gz  cd sysbench-0.5  chmod +x autogen.sh  ./autogen.sh  ./configure --with-mysql --with-mysql-includes=/usr/local/mysql
  • sql的复杂查询使用案列与技巧 百合不是茶 oraclesql函数数据分页合并查询
      本片博客使用的数据库表是oracle中的scott用户表;          -------------------  自然连接查询           查询 smith 的上司(两种方法) &
  • 深入学习Thread类 bijian1013 javathread多线程java多线程
    一．             线程的名字 下面来看一下Thread类的name属性，它的类型是String。它其实就是线程的名字。在Thread类中，有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。 同时，Thr
  • JSON串转换成Map以及如何转换到对应的数据类型 bijian1013 javafastjsonnet.sf.json
            在实际开发中，难免会碰到JSON串转换成Map的情况，下面来看看这方面的实例。另外，由于fastjson只支持JDK1.5及以上版本，因此在JDK1.4的项目中可以采用net.sf.json来处理。 一.fastjson实例 JsonUtil.java package com.study; impor
  • 【RPC框架HttpInvoker一】HttpInvoker：Spring自带RPC框架 bit1129 spring
    HttpInvoker是Spring原生的RPC调用框架，HttpInvoker同Burlap和Hessian一样，提供了一致的服务Exporter以及客户端的服务代理工厂Bean，这篇文章主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成   在 【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
  • 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析 bit1129 Mahout
    #!/bin/bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information re
  • nginx三种获取用户真实ip的方法 ronin47
    随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>，如果是后端真实服务器是nginx，那么继续往下看。 实例环境： 用户IP 120.22.11.11
  • java-判断二叉树是不是平衡 bylijinnan java
    参考了 http://zhedahht.blog.163.com/blog/static/25411174201142733927831/ 但是用java来实现有一个问题。 由于Java无法像C那样“传递参数的地址，函数返回时能得到参数的值”，唯有新建一个辅助类：AuxClass import ljn.help.*; public class BalancedBTree {
  • BeanUtils.copyProperties VS PropertyUtils.copyProperties 诸葛不亮 PropertyUtilsBeanUtils
     BeanUtils.copyProperties VS  PropertyUtils.copyProperties  作为两个bean属性copy的工具类，他们被广泛使用，同时也很容易误用，给人造成困然；比如：昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时，没有考虑到会将null转换为0，而后面的业
  • [金融与信息安全]最简单的数据结构最安全 comsci 数据结构
          现在最流行的数据库的数据存储文件都具有复杂的文件头格式，用操作系统的记事本软件是无法正常浏览的，这样的情况会有什么问题呢？        从信息安全的角度来看，如果我们数据库系统仅仅把这种格式的数据文件做异地备份，如果相同版本的所有数据库管理系统都同时被攻击，那么
  • vi区段删除 Cwind linuxvi区段删除
    区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。   vi概述    引文中并未将末行模式单独列为一种模式。单不单列并不重要，能区分命令模式与末行模式即可。   vi区段删除步骤： 1. 在末行模式下使用:set nu显示行号 非必须，随光标移动vi右下角也会显示行号，能够正确找到并记录删除开始行
  • 清除tomcat缓存的方法总结 dashuaifu tomcat缓存
    用tomcat容器，大家可能会发现这样的问题，修改jsp文件后，但用IE打开 依然是以前的Jsp的页面。 出现这种现象的原因主要是tomcat缓存的原因。 解决办法如下: 在jsp文件头加上 <meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
  • 不要盲目的在项目中使用LESS CSS dcj3sjt126com Webless
    　如果你还不知道LESS CSS是什么东西，可以看一下这篇文章，是我一朋友写给新人看的《CSS——LESS》 　　不可否认，LESS CSS是个强大的工具，它弥补了css没有变量、无法运算等一些“先天缺陷”，但它似乎给我一种错觉，就是为了功能而实现功能。 　　比如它的引用功能 ? .rounded_corners{     
  • [入门]更上一层楼 dcj3sjt126com PHPyii2
    更上一层楼 通篇阅读完整个“入门”部分，你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能，例如通过 HTML 表单从用户那获取数据，从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。 本章将介绍一些有助于更好使用 Yii 的资源：
  • Apache HttpClient使用详解 eksliang httpclienthttp协议
    Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会
  • zxing二维码扫描功能 gundumw100 androidzxing
    经常要用到二维码扫描功能 现给出示例代码 import com.google.zxing.WriterException; import com.zxing.activity.CaptureActivity; import com.zxing.encoding.EncodingHandler; import android.app.Activity; import an
  • 纯HTML+CSS带说明的黄色导航菜单 ini htmlWebhtml5csshovertree
    HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航   在线体验效果：http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果：   <!DOCTYPE html > <html > <head> <title>HoverTree
  • fastjson初始化对性能的影响 kane_xie fastjson序列化
    之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。   网上的说法：   fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。
  • 基于Mybatis封装的增删改查实现通用自动化sql mengqingyu DAO
    1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml，有效的提高开发速度。 2.支持自定义注解包括主键生成、列重复验证、列名、表名等 3.支持批量插入、批量更新、批量删除 <bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
  • js控制input输入框的方法封装(数字，中文，字母，浮点数等) qifeifei javascript js
    在项目开发的时候，经常有一些输入框，控制输入的格式，而不是等输入好了再去检查格式，格式错了就报错，体验不好。 /** 数字，中文，字母,浮点数(+/-/.) 类型输入限制，只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注：floating属性只能单独用*/     funct
  • java 计时器应用 tangqi609567707 javatimer
    mport java.util.TimerTask;   import java.util.Calendar;   public class MyTask extends TimerTask {        private static final int
  • erlang输出调用栈信息 wudixiaotie erlang
    在erlang otp的开发中，如果调用第三方的应用，会有有些错误会不打印栈信息，因为有可能第三方应用会catch然后输出自己的错误信息，所以对排查bug有很大的阻碍，这样就要求我们自己打印调用的栈信息。用这个函数：erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。 也可以用这个函数：erlang:get_s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他