frank_hetest
frank_hetest

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)

Deep Interest Network for Click-Through Rate Prediction

Guorui Zhou, Chengru Song, Xiaoqiang Zhu Ying Fan, Han Zhu, Xiao Ma, Yanghui Yan, Junqi Jin, Han Li, Kun Gai

Alibaba Group

KDD 2018

https://arxiv.org/pdf/1706.06978.pdf

点击率预估在工业界应用（比如在线广告）中是一项非常重要的任务。最近，研究人员提出了若干基于深度学习的模型，这些模型基本都遵循了嵌入+MLP这种范式。这些方法的流程基本都是首先将大规模稀疏输入特征映射到低维嵌入向量，然后以分组方式转换为固定长度的矢量，最后将这些特征串联在一起，传入多层感知器 (MLP) 中，进而学习特征之间的非线性关系。

如此一来，无论候选广告是什么，用户特征都被压缩成固定长度的表示向量。使用固定长度的向量是一个瓶颈，这给嵌入&MLP方法从丰富的历史行为中有效地捕捉用户的多种兴趣带来困难。本文提出了一种新的模型：深度兴趣网络(DIN)，通过一个局部激活单元来自适应地从用户的历史行为中学习该用户对某一广告的兴趣，并得到一种表示向量，进而解决了上述难题。

该表示向量因广告不同而不同，这就大大提高了模型的表达能力。此外，作者们还提出了两种技巧：微型批量感知正则化和数据自适应激活函数，这两种技巧有助于训练具有数亿个参数的工业界深度网络。

作者们在两个公共数据集以及包含超过 20 亿个样本的阿里巴巴真实生产数据集上的进行了实验，结果表明了本文方法的有效性，与最先进的方法相比，该方法的性能更优。DIN现已成功部署在阿里巴巴的在线展示广告系统中。

DIN的主要特性在于局部激活单元以及加权sum pooling

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第1张图片

现有方法存在一些缺陷，比如SGD只对当前mini-batch的稀疏特征进行更新；传统的l2正则计算量太大等

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第2张图片

本文主要贡献如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第3张图片

现有方法有些缺陷，比如都映射到固定长度的表示向量

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第4张图片

DIN的思想借鉴了DeepIntent，采用了局部激活单元，加权sum pooling等技巧。

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第5张图片

阿里的广告展示系统图示如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第6张图片

其中主要包含两部分

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第7张图片

特征表示方式如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第8张图片

具体示例如下

几类（用户画像 用户行为 广告特征 上下文特征）特征情况统计如下，其中包括维度，编码类型等

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第9张图片

针对嵌入层，one-hot编码跟multi-hot编码嵌入层的区别在于

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第10张图片

为了得到相同长度的表示向量，可以借助pooling操作来完成

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第11张图片

目标函数形式如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第12张图片

网络结构图示如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第13张图片

本文针对训练提出了两种技巧，其一即为微小批自适应的正则

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第14张图片

其二即为引入新的激活函数

该激活函数基于PReLU

PReLU函数定义如下

新的激活函数为Dice，两种激活函数的控制函数图示如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第15张图片

Dice函数定义如下

其中参数解释及注意的点如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第16张图片

关于亚马逊数据集，描述及参数设置如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第17张图片

MovieLens数据集描述，处理方式及参数设置如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第18张图片

阿里数据集分割策略及网络结构等描述如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第19张图片

数据集信息统计如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第20张图片

几种对比的算法描述如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第21张图片

衡量指标如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第22张图片

几种方法在Amazon以及MovieLens两个数据集上的效果对比如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第23张图片

为了应对过拟合，作者们采用了以下策略

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第24张图片

不同正则化方法的效果对比如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第25张图片

不同正则方法的auc对比如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第26张图片

几种方法在阿里数据集上的效果对比如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第27张图片

a/b测试的结果如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第28张图片

工程上的优化如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第29张图片

本文的激活函数所起作用图示如下

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)_第30张图片

代码地址

https://github.com/zhougr1993/DeepInterestNetwork

              我是分割线

您可能感兴趣

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET

SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)

AAAI2018|斯坦福大学提出并开源增强生成式模型

ijcai2017|CTR经典模型DeepFM,FNN,PNN,W&D,LR,FM对比(哈工大诺亚方舟提出CTR模型)

ICML2019|一种基于强化学习的推荐系统(GAN用户模型,佐治亚理工学院联合蚂蚁金服提出且已开源)

ICML2018|GBDT中如何寻找影响较大样本(普林斯顿大学联合Yandex提出并开源)

IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN

聊聊CatBoost

聊聊XGBoost CatBoost LightGBM RF GBDT

IJCAI2019|新型特征增广GBDT--AugBoost(已开源)

IJCAI2019|清华大学提出并开源新型梯度提升决策树(梯度提升分段线性回归树)

新型梯度提升决策树GBDT-SPARSE(谷歌微软FaceBook加州大学联合提出)

ICML2019|深度学习鼻祖之一Bengio提出并开源图马尔科夫神经网络

GBDT,LR,深度学习如何联合发力(以推荐系统和游戏为例)

大规模GBDT系统应用场景及效果对比(LightGBM,XgBoost,DimBoost等)

新型在线预测模型DeepGBM(基于GBDT扩展的深度学习框架)

顶会中深度学习用于CTR预估的论文及代码集锦 (3)

NIPS2018深度学习(9)|亮点：多元卷积稀疏编码、循环关系网络

ICML 2018 深度学习论文及代码集锦(5)

深度学习用于文本摘要的论文及代码集锦

深度学习用于机器翻译的论文及代码集锦

深度学习用于序列标注中的论文及代码集锦

深度学习在推荐系统中的应用及代码集锦(4)

深度学习在OCR中的应用论文及代码集锦 (2)

你可能感兴趣的:(KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源))

  • 心情日记（6月16日） 陪你今生来世
    早上不是太忙，送了小宝顺便去医院取检查报告。没有拿到结果之前，心里是有那么一点忐忑的。拿到之后，反而镇定了许多。医生再次给我做了检查，说是好多了。报告显示有点病毒感染，需要继续用药治疗一段时间。医生叮嘱其间要多运动，增强免疫力。回来的路上，心里充满了庆幸和感恩。庆幸机缘巧合，让我做到了早发现，早治疗。更庆幸一直以来，自己的良善，感恩之心换来了老天的眷顾，让我总是有惊无险。感恩老天的庇护，感恩国家先
  • 猴哥哥和猴弟弟一起去找食物。 超越_c8e2
    一天猴哥哥和猴弟弟一起去找食物。他们看见一条河，可是河的对面又特别特别特别多的树。上边有很多的桃子。猴哥哥和猴弟弟想去吃桃子之后他们就走呀走走呀，少了一圈之后看见河就是那么圆的，所以咱们要过去了吧，弟弟说到，哥哥说别呀，咱们去找东西吧，他们又走了一会儿，找到了一个盆子，那个盆子跟我们的身体刚好。弟弟又说哥哥咱们没有划桨啊，哥哥说没事，没事我去找。哥哥一会儿就找过来了，两个木头当作划桨，他们教做的那
  • 2021-06-05 彧瑛
    六月份的假期对于学生可不少啊！下周一开始就是一年一度的高考了，加上这个周末休息五天。紧接着就是端午节了，放假三天，然后就是中考又是三天吧！这一个月上学的日子就十多天。那些不参加考试的孩子们是不是很高兴啊？
  • 梦想着两个人的世界，却变成了一个人的时间 小飞侠来了
    梦想着两个人的世界，却变成了一个人的时间流光似转，寂寞如光，不经意间逝去的爱情已经半年多了，每个日日夜夜数着你别后的淡颜，岁月就这样溜走了。一段思念，钟情相思，点缀烟花何处；两情想问，笔簟几分，留恋春色难尽。春色眉黛拽着记忆，褪去的冬天颜色犹着初寒，往事不堪，平添忧伤，重新再帘后轻吟着一曲离殇，心间荡起的孤独，循环着你我经历的时光，只是记忆犹在，人却已非。似乎习惯了回想曾经，慢慢的，也就习惯了没有
  • 2022-04-18 小乖乖的小日常2020
    今天的周会比前面几次状态好，演戏的状态在进入了。没让别人看出来我的情绪，其实你知道，上一个一整周我都比较消沉。其实今天还有一个课题，我怎么去打听今天晚上有谁去，我认为今天晚上这周，其实并适合带人，我是这样想的，但是我想看看他会不会带她，其实带她又能怎么样了，她总归是要退休的人了，而且也和她的行业没有啥子关联，纯粹是他的局，与正事无关，应该不带人才对。我虽然起步很晚，觉醒很晚，天赋不高，但是这一段时
  • 游戏力 咚咚666
    邀请你不喜欢的行为，目的是以游戏的方式来扭转困境。这种邀请既是在跟随孩子，对他们的行为作出反应，也是在主导孩子，因为你改变了家庭里的互动模式。书中提到了两个有趣的案例。科恩的女儿邀请了六个女孩来家里玩，由于实在受不了他们的高分贝，于是带他们去公园。在回家的路上他对女孩们说：“最后一次尖叫机会”她们用九岁女孩特有的嗓子尖叫了几次，每个人都笑了，并且在进屋后不用再提醒小声点。另一个游戏是实况直播：“哇
  • 2022-12-22 东临沧海
    波兰立陶宛联邦是16~17世纪，欧洲面积最大、人口最多的国家，又称波兰立陶宛王国，该国在波兰王国与立陶宛大公国结为联邦时宣告成立。联邦的政治制度被称为贵族民主制或金权自由制，法律与由贵族(施拉赤塔)控制的议会(瑟姆)限制君主的权利，该联邦的两个主体国家在原则上是平等的，而波兰是事实上的统治主体。该国是一个多民族国家，且呈现出一种宗教多样化，该国以在当时少有的宗教自由而闻名。在空前繁荣的几十年后，联
  • 听傅佩荣教授讲哲学（四十二） 宛宛花开
    上次谈到享乐主义的根据，最后的结论是享乐主义的快乐不是一般的快乐，需要做深入的、仔细的计算。伊壁鸠鲁的主张是道德是产生快乐的活动，快乐是道德的基础，快乐是唯一的善，痛苦是唯一的恶，用苦乐来解释善恶，那么越有道德的人就越快乐。因此我们一定要问清楚，到底什么是快乐？伊壁鸠鲁的伦理学，教你做人处事的原则，它不是要问你应该做什么事，而是要教你如何计算苦乐的效益。所以这一集要谈以下三点：第一点，哲学与快乐的
  • 2018-12-05 农场小凤凰
    这两天在听阿何老师在唯库的写作课教程，深觉写作这条路真是路漫漫其修远兮，吾将上下而求索，但是话说回来，没有任何事情能够轻而易举做到，既然选择了，就不要犹犹豫豫患得患失的，坚定走下去才能看到更美的风景，否则永远徘徊在路口的人生又有什么意思呢！没有人能随随便便成功，但只要坚持，任何人都有可能成功！纪录一下关键词一，分解练习的基础上还要整体输出二，公众号为主，各大平台为辅三，打造好个人介绍四，建立反馈机
  • 京东百亿补贴活动时间表，京东百亿补贴活动入口 高省APP
    京东百亿补贴已经上线，很多朋友不知道怎么参加京东百亿补贴，今天把京东百亿补贴入口分享给大家，苹果手机直补1100百元，微信扫码进入京东百亿补贴优惠会场，真不贴才便宜；【京东】官方百亿补贴天天低价❗戳>https://u.jd.com/IzvvzhI也可以上面链接进入百亿补贴活动现场，（部分网页不能正常跳转可复制到微信中进入补贴会场）京东是很多比较受欢迎的购物平台，不论产品质量还是物流，售后服务都是
  • 力扣100题——技巧 MogulNemenis 题解leetcode算法
    只出现一次的数字题目136.只出现一次的数字-力扣（LeetCode）思路这题很有意思，考察的知识点也比较偏，涉及到位运算。由于每个元素除了一个只出现一次外，其他元素都出现了两次，所以我们可以利用位运算中的异或操作来解决这个问题。位运算（异或操作）：异或操作（^）的性质：x^x=0（任何数与自身异或为0）x^0=x（任何数与0异或还是这个数）异或运算满足交换律和结合律基于上述性质，如果我们将数组中
  • 字字戳心却能宽慰人心 十分Lucky
    下面的这段文字是我转自“胡小林”公众号的文章，篇幅不长，但字字戳心，可谓醍醐灌顶，一字未改，只为保存、提醒自己……你要相信，这个世上没有过不去的坎，没有熬不过的难，总有一天，会得到满意的答案！做人，不要去怪任何人，好的人给你快乐，坏的人让你成长，关心你的人给你温暖，伤害你的人给你经历。感恩所有的遇见，一切都是最好的安排。怪别人，抱怨别人，只会增加自己的怨气，让自己心累。不如看淡点，换个角度思考，想
  • 2023-5-6晨间日记 深海未眠夜未央
    今天是什么日子起床：6:00就寝：10:00天气：sunny心情：justsoso纪念日：no任务清单昨日完成的任务，最重要的三件事：改进：1.workedhard2.wrotethediaryinthemorning3.watchedvideosaboutforeignalcultures习惯养成：1.readtwoarticles2.watchedvideosaboutforeignalcul
  • 程序员35岁会失业吗？ Good kid. 经验分享笔记
    35岁被认为是程序员职业生涯的分水岭，许多程序员开始担忧自己的职业发展是否会受到年龄的限制。有人担心随着年龄的增长，技术更新换代的速度会使得资深程序员难以跟上；而另一些人则认为，丰富的经验和深厚的技术积累是年轻程序员无法比拟的宝贵财富。那么，让我们来探讨一下这个话题。技术更新与个人适应性确实，技术的快速发展对程序员的职业技能有一定的影响。新的编程语言、框架和工具不断涌现，程序员需要不断学习和适应这
  • elementUI table排序 sortable Artsman 前端开发技术elementui前端javascript前端框架
    使用elementUI做后台程序时非常便利，但有时，插件的用法也会让人头疼。在列中设置sortable属性即可实现以该列为基准的排序，接受一个Boolean，默认为false。可以通过Table的default-sort属性设置默认的排序列和排序顺序。可以使用sort-method或者sort-by使用自定义的排序规则。如果需要后端排序，需将sortable设置为custom，同时在Table上监
  • 智能合约系统DAPP开发 I592O929783 智能合约区块链
    智能合约系统DAPP（去中心化应用）的开发是一个复杂且综合性的过程，它结合了区块链技术、智能合约编程、前端开发以及安全性等多方面的知识和技能。以下是对智能合约系统DAPP开发过程的详细概述：一、需求分析明确应用场景：首先，需要明确DAPP的应用场景，如金融、游戏、社交等。功能需求：确定DAPP需要实现的具体功能，包括数据处理、用户交互等。用户群体：了解目标用户群体的需求和习惯，以便更好地设计DAP
  • Eclipse如何给main方法传值 马斯洛金字塔下的小灵猴儿 JAVA工程师相关eclipsemain方法传参
    importjava.util.Arrays;/***这是一个测试类，用来研究main方法的传值问题*@authorHHB*/publicclassTest{/***这是类的主方法，可以用来接受用户的输入，并将输入数据保存到一个String类型的数组里*@paramargs*/publicstaticvoidmain(String[]args){System.out.println(Arrays.
  • 论文分享系列（三）——论软件架构风格 马斯洛金字塔下的小灵猴儿 #软考高项架构师论软件架构风格论文
    论软件架构风格摘要2023年5月，我司启动了精彩购电商系统的开发工作，该项目组中我担任系统架构师岗位，主要负责整体架构设计与中间件选型。本文以该电商平台为例，主要讨论了软件架构风格在该项目中的具体应用。整个系统采用具有三层的层次式软件架构的设计思想，分别是应用层，服务层，数据层。在应用层中的业务逻辑层的设计中，将整个业务系统划分为十余个子系统。服务层以springcloud服务框架为核心，数据采用
  • 2020-04-09奋进的周四 深山含笑空凝峡谷
    从小就特别希望和别人不一样。瞪着一双很乖的眼睛目不转睛看老师，嘴上不说心里没放下过独特眼光和taste也是从幼年就形成了。要视角不同，创新，玩点别的花样和审美有些概念让自己想起来就会有点兴奋比如life-hacker/量化自我/digitalnormad/自由编舞师/读书社群leader/coach/创作者自我的形成/个体的觉醒/作为创作者，一定要有信心——我做的创作的，即使有人做过类似的了，我做
  • 炸胡 范范语
    【范范写日记第365篇】炸胡2021.7.2周五多云范范感恩日记第2篇我正在参加日记星球感恩日记21天幸福营(第9期)，这是我的第二篇感恩日记。爱出者爱返，福往者福来，欢迎大家和我一起开启传递爱和感恩的能量21天！我万分荣幸并深深地感恩，这几天有充裕的时间陪伴你，看到了你狡黠多变的一面。天气热，白天除了午睡就没给女儿穿纸尿裤了。她现在懂得尿急的时候就说“shishi（嘘嘘）”，这样我们就知道要给她
  • linux系统unzip解压zip时强制覆盖文件,忽略提示 马斯洛金字塔下的小灵猴儿 JAVA工程师相关linux
    在Linux上使用unzip命令解压zip时，如果解压目录已经存在相同文件，会提示用户是否覆盖文件，如果相同的文件数量很多，这时可以使用unzip-o压缩文件名称解压缩文件时会强制覆盖文件，不会提示用户
  • 微方法可以助你一臂之力 小太阳社
    昨天，我介绍了参加打卡社群，以提升自己坚持的动力。用打卡式的人生，促使自己变得更优秀。很多人都觉得打卡就是要选大目标，但总是完不成，陷入了“打卡--完不成--再打卡”的死循环。其实，微方法可以助你一臂之力。图片发自AppAngie认为其实我们可以从微小的行动开始，她在书中分享了几个特别实用的微方法。比如:微目标：一本300页的书，每天看十页，坚持一个月下来，这本书就看完了。微习惯：如果你觉得去健身
  • 体验我们的自心本质。1.2.2 火山_专注写作提升
    我们拥有闲暇而圆满的人身，它是如此难以获得且不会长久。这一节的学习，让我体验到了佛陀的不同凡响，他是一个伟大的老师，他用他自己的亲身经历教会了我很多道理。佛陀，相信不少人知道他的故事。佛陀自小出生在一个王族家庭。未来准备继承王位而获得无上的权力，这让人看来既羡慕又妒忌的人间美事，国王，也就是他的父亲一直让他待在宫里享受着人间各种美好。有一次，佛陀在29岁时离开了王宫，遇到了穷人，老人，病人，死人等
  • 壹 顺应天性，无为而治【3】 作家雪漠
    2014年夏天，我们从岭南开车回西部，然后专门对西部进行了考察。那两个月中，我们几乎横穿了大半个中国。我们发现，全国各地都在搞建设，而建设和开发的另一面，就是对大自然的破坏。有人甚至填平了大渡河的河床，在河床上盖楼房。楼体的旁边，就是汹涌的大渡河。当时我就在想，如果发大水，这里肯定会发生灾难性的事故。这些情况，不知道开发商为什么没有考虑过呢?很多时候，人在欲望——有时已经谈不上生存了，纯粹是一种欲
  • 《我是遗物整理师》观后感10 二掌柜19
    父母对孩子，和孩子对父母，是不一样的。父母可以把一切都给他们的孩子，但是孩子的爱，却很难毫无保留。剧中还有很多的感人的故事，虽然反应的，大部分是底层人士的生活状况，但是其中，也不乏有能引起我们去思考的社会问题，包括弃养老人，弃养婴幼儿，和敏感的同性恋情的问题。
  • springboot结合vue如何展示服务器磁盘里的图片，如何预览图片 夏之小星星 springbootvue.js服务器
    1、在springboot配置文件中用spring.web.resources.static-locations配置静态资源路径例如图片的位置存放在服务器C盘下的路径为：C:/image/先在配置文件中使用web.upload-path配置磁盘路径如下web.upload-path=C:/image/再把该路径添加在静态资源路径里spring.web.resources.static-locati
  • 2018-12-13 Ivyliuchunxia
    1.想让自己开心，先动屁股2.夫妻关系是孩子的动力3.最大的伤害是做情绪的垃圾4.幸福是发自内心的喜悦5.浪漫期（无缺点，把彼此当成生命中最重要的人，9个月）:-):-)权力斗争期（要改变对方，改变不了A.凑合过，B.分手）:-):-)整合期6.亲密是靠身体练出来的，不是听出来的，身体通了关系就通了7.1.海底轮（夫妻关系），2.亲密轮（无法跟人亲密），3.做自己（不敢做自己，口是心非），4.心轮
  • Vue中el-dialog的用法 「已注销」 Vue模板开发vue.js
    1、写入页面打开嵌套表单的Dialog取消确定2、写入变量dialogFormVisible:
  • 关于Echarts的一些设置总结 夏之小星星 echarts前端javascript
    最近领导让我一个偏后端程序员画各种数据展示echarts页面，遇到好多问题在此记录一下，未完待续。。。ps：不喜欢画页面啊啊啊啊啊，以前公司这些都是ui的活啊啊啊啊，折磨死我啦啊啊啊啊一、柱形图1、echarts如何设置柱形颜色渐变在option加color属性option={color:{type:'linear',//x=0,y=1,柱子的颜色在垂直方向渐变x:0,y:1,colorStops
  • 高考结束了，终点还是起点？ 遇见花开花落
    图片发自App6月8日下午五点，2019年的高考就结束了，然后呢？是不是就像梦想中的那样，考完了，毕业了，轻松了，解放了…呢？事实证明，你真的想多了。首先，有匆匆忙忙走出考场，然后分头从考场奔赴机场、车站的那些考生，十有八九是去外省准备参加自主招生考试的那一批人。他们来不及体验高考结束的轻松，不管考的如何，总得去奔赴另一个考场。这一帮人，基本上会在最近几天集聚到机场或者火车站。只能边同情他们的苦逼
  • SAX解析xml文件 小猪猪08 xml
    1.创建SAXParserFactory实例 2.通过SAXParserFactory对象获取SAXParser实例 3.创建一个类SAXParserHander继续DefaultHandler，并且实例化这个类 4.SAXParser实例的parse来获取文件     public static void main(String[] args) { //
  • 为什么mysql里的ibdata1文件不断的增长？ brotherlamp linuxlinux运维linux资料linux视频linux运维自学
    我们在 Percona 支持栏目经常收到关于 MySQL 的 ibdata1 文件的这个问题。 当监控服务器发送一个关于 MySQL 服务器存储的报警时，恐慌就开始了 —— 就是说磁盘快要满了。 一番调查后你意识到大多数地盘空间被 InnoDB 的共享表空间 ibdata1 使用。而你已经启用了 innodbfileper_table，所以问题是： ibdata1存了什么？ 当你启用了 i
  • Quartz-quartz.properties配置 eksliang quartz
    其实Quartz JAR文件的org.quartz包下就包含了一个quartz.properties属性配置文件并提供了默认设置。如果需要调整默认配置，可以在类路径下建立一个新的quartz.properties，它将自动被Quartz加载并覆盖默认的设置。   下面是这些默认值的解释 #-----集群的配置 org.quartz.scheduler.instanceName =
  • informatica session的使用 18289753290 workflowsessionlogInformatica
    如果希望workflow存储最近20次的log，在session里的Config  Object设置，log  options做配置，save  session log :sessions  run  ;savesessio log for  these runs:20 session下面的source 里面有个tracing 
  • Scrapy抓取网页时出现CRC check failed 0x471e6e9a != 0x7c07b839L的错误 酷的飞上天空 scrapy
    Scrapy版本0.14.4 出现问题现象： ERROR: Error downloading <GET http://xxxxx  CRC check failed   解决方法   1.设置网络请求时的header中的属性'Accept-Encoding': '*;q=0'   明确表示不支持任何形式的压缩格式，避免程序的解压
  • java Swing小集锦 永夜-极光 java swing
    1.关闭窗体弹出确认对话框   1.1   this.setDefaultCloseOperation (JFrame.DO_NOTHING_ON_CLOSE);   1.2   this.addWindowListener ( new WindowAdapter () { public void windo
  • 强制删除.svn文件夹 随便小屋 java
              在windows上，从别处复制的项目中可能带有.svn文件夹，手动删除太麻烦，并且每个文件夹下都有。所以写了个程序进行删除。因为.svn文件夹在windows上是只读的，所以用File中的delete()和deleteOnExist()方法都不能将其删除，所以只能采用windows命令方式进行删除
  • GET和POST有什么区别？及为什么网上的多数答案都是错的。 aijuans get post
        如果有人问你，GET和POST，有什么区别？你会如何回答？ 我的经历      前几天有人问我这个问题。我说GET是用于获取数据的，POST，一般用于将数据发给服务器之用。     这个答案好像并不是他想要的。于是他继续追问有没有别的区别？我说这就是个名字而已，如果服务器支持，他完全可以把G
  • 谈谈新浪微博背后的那些算法 aoyouzi 谈谈新浪微博背后的那些算法
    本文对微博中常见的问题的对应算法进行了简单的介绍，在实际应用中的算法比介绍的要复杂的多。当然，本文覆盖的主题并不全，比如好友推荐、热点跟踪等就没有涉及到。但古人云“窥一斑而见全豹”，希望本文的介绍能帮助大家更好的理解微博这样的社交网络应用。 微博是一个很多人都在用的社交应用。天天刷微博的人每天都会进行着这样几个操作：原创、转发、回复、阅读、关注、@等。其中，前四个是针对短博文，最后的关注和@则针
  • Connection reset 连接被重置的解决方法 百合不是茶 java字符流连接被重置
    流是java的核心部分,,昨天在做android服务器连接服务器的时候出了问题,就将代码放到java中执行,结果还是一样连接被重置   被重置的代码如下;   客户端代码; package 通信软件服务器; import java.io.BufferedWriter; import java.io.OutputStream; import java.io.O
  • web.xml配置详解之filter bijian1013 javaweb.xmlfilter
    一.定义 <filter> <filter-name>encodingfilter</filter-name> <filter-class>com.my.app.EncodingFilter</filter-class> <init-param> <param-name>encoding<
  • Heritrix Bill_chen 多线程xml算法制造配置管理
    作为纯Java语言开发的、功能强大的网络爬虫Heritrix，其功能极其强大，且扩展性良好，深受热爱搜索技术的盆友们的喜爱，但它配置较为复杂，且源码不好理解，最近又使劲看了下，结合自己的学习和理解，跟大家分享Heritrix的点点滴滴。 Heritrix的下载（http://sourceforge.net/projects/archive-crawler/）安装、配置，就不罗嗦了，可以自己找找资
  • 【Zookeeper】FAQ bit1129 zookeeper
    1.脱离IDE，运行简单的Java客户端程序 #ZkClient是简单的Zookeeper~$ java -cp "./:zookeeper-3.4.6.jar:./lib/*" ZKClient    1. Zookeeper是的Watcher回调是同步操作，需要添加异步处理的代码 2. 如果Zookeeper集群跨越多个机房，那么Leader/
  • The user specified as a definer ('aaa'@'localhost') does not exist 白糖_ localhost
    今天遇到一个客户BUG，当前的jdbc连接用户是root，然后部分删除操作都会报下面这个错误：The user specified as a definer ('aaa'@'localhost') does not exist 最后找原因发现删除操作做了触发器，而触发器里面有这样一句 /*!50017 DEFINER = ''aaa@'localhost' */  原来最初
  • javascript中showModelDialog刷新父页面 bozch JavaScript刷新父页面showModalDialog
    在页面中使用showModalDialog打开模式子页面窗口的时候，如果想在子页面中操作父页面中的某个节点，可以通过如下的进行：       window.showModalDialog('url',self,‘status...’); // 首先中间参数使用self       在子页面使用w
  • 编程之美-买书折扣 bylijinnan 编程之美
    import java.util.Arrays; public class BookDiscount { /**编程之美 买书折扣 书上的贪心算法的分析很有意思，我看了半天看不懂，结果作者说，贪心算法在这个问题上是不适用的。。 下面用动态规划实现。 哈利波特这本书一共有五卷，每卷都是8欧元，如果读者一次购买不同的两卷可扣除5%的折扣，三卷10%，四卷20%，五卷
  • 关于struts2.3.4项目跨站执行脚本以及远程执行漏洞修复概要 chenbowen00 strutsWEB安全
    因为近期负责的几个银行系统软件，需要交付客户，因此客户专门请了安全公司对系统进行了安全评测，结果发现了诸如跨站执行脚本，远程执行漏洞以及弱口令等问题。 下面记录下本次解决的过程以便后续 1、首先从最简单的开始处理，服务器的弱口令问题，首先根据安全工具提供的测试描述中发现应用服务器中存在一个匿名用户，默认是不需要密码的，经过分析发现服务器使用了FTP协议， 而使用ftp协议默认会产生一个匿名用
  • [电力与暖气]煤炭燃烧与电力加温 comsci
          在宇宙中,用贝塔射线观测地球某个部分,看上去,好像一个个马蜂窝,又像珊瑚礁一样,原来是某个国家的采煤区.....       不过,这个采煤区的煤炭看来是要用完了.....那么依赖将起燃烧并取暖的城市,在极度严寒的季节中...该怎么办呢?   &nbs
  • oracle O7_DICTIONARY_ACCESSIBILITY参数 daizj oracle
    O7_DICTIONARY_ACCESSIBILITY参数控制对数据字典的访问.设置为true,如果用户被授予了如select any table等any table权限,用户即使不是dba或sysdba用户也可以访问数据字典.在9i及以上版本默认为false,8i及以前版本默认为true.如果设置为true就可能会带来安全上的一些问题.这也就为什么O7_DICTIONARY_ACCESSIBIL
  • 比较全面的MySQL优化参考 dengkane mysql
    本文整理了一些MySQL的通用优化方法，做个简单的总结分享，旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作，至于具体的SQL优化，大部分通过加适当的索引即可达到效果，更复杂的就需要具体分析了，可以参考本站的一些优化案例或者联系我，下方有我的联系方式。这是上篇。   1、硬件层相关优化   1.1、CPU相关   在服务器的BIOS设置中，可
  • C语言homework2，有一个逆序打印数字的小算法 dcj3sjt126com c
    #h1#   0、完成课堂例子 1、将一个四位数逆序打印 1234 ==> 4321 实现方法一： # include <stdio.h> int main(void) { int i = 1234; int one = i%10; int two = i / 10 % 10; int three = i / 100 % 10;
  • apacheBench对网站进行压力测试 dcj3sjt126com apachebench
       ab 的全称是 ApacheBench ， 是 Apache 附带的一个小工具 ， 专门用于 HTTP Server 的 benchmark testing ， 可以同时模拟多个并发请求。前段时间看到公司的开发人员也在用它作一些测试，看起来也不错，很简单，也很容易使用，所以今天花一点时间看了一下。 通过下面的一个简单的例子和注释，相信大家可以更容易理解这个工具的使用。
  • 2种办法让HashMap线程安全 flyfoxs javajdkjni
    多线程之--2种办法让HashMap线程安全 多线程之--synchronized 和reentrantlock的优缺点 多线程之--2种JAVA乐观锁的比较( NonfairSync VS. FairSync)     HashMap不是线程安全的,往往在写程序时需要通过一些方法来回避.其实JDK原生的提供了2种方法让HashMap支持线程安全.  
  • Spring Security（04）——认证简介 234390216 Spring Security认证过程
    认证简介 目录 1.1     认证过程 1.2     Web应用的认证过程 1.2.1    ExceptionTranslationFilter 1.2.2    在request之间共享SecurityContext   1
  • Java 位运算 Javahuhui java位运算
    // 左移( << ) 低位补0 // 0000 0000 0000 0000 0000 0000 0000 0110 然后左移2位后，低位补0： // 0000 0000 0000 0000 0000 0000 0001 1000 System.out.println(6 << 2);// 运行结果是24 // 右移( >> ) 高位补"
  • mysql免安装版配置 ldzyz007 mysql
    1、my-small.ini是为了小型数据库而设计的。不应该把这个模型用于含有一些常用项目的数据库。 2、my-medium.ini是为中等规模的数据库而设计的。如果你正在企业中使用RHEL,可能会比这个操作系统的最小RAM需求(256MB)明显多得多的物理内存。由此可见，如果有那么多RAM内存可以使用，自然可以在同一台机器上运行其它服务。 3、my-large.ini是为专用于一个SQL数据
  • MFC和ado数据库使用时遇到的问题 你不认识的休道人 sqlC++mfc
    =================================================================== 第一个 =================================================================== try{ CString sql; sql.Format("select * from p
  • 表单重复提交Double Submits rensanning double
    可能发生的场景： *多次点击提交按钮 *刷新页面 *点击浏览器回退按钮 *直接访问收藏夹中的地址 *重复发送HTTP请求（Ajax） （1）点击按钮后disable该按钮一会儿，这样能避免急躁的用户频繁点击按钮。 这种方法确实有些粗暴，友好一点的可以把按钮的文字变一下做个提示，比如Bootstrap的做法： http://getbootstrap.co
  • Java String 十大常见问题 tomcat_oracle java正则表达式
    　1.字符串比较，使用“==”还是equals()? 　　"=="判断两个引用的是不是同一个内存地址(同一个物理对象)。 　　equals()判断两个字符串的值是否相等。 　　除非你想判断两个string引用是否同一个对象，否则应该总是使用equals()方法。 　　如果你了解字符串的驻留(String Interning)则会更好地理解这个问题。 　 　
  • SpringMVC 登陆拦截器实现登陆控制 xp9802 springMVC
    思路，先登陆后，将登陆信息存储在session中，然后通过拦截器，对系统中的页面和资源进行访问拦截，同时对于登陆本身相关的页面和资源不拦截。   实现方法： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他