dy_252
dy_252

hadoop海量put时出现的socket超时导致put失败解决方案

当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数 据 时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。
log类似如下：

All datanodes  *** are bad. Aborting...

类似这样的错误，常常会在并行的put操作比较多，比如 60-80个，每个put的数据量约100G的时候，产生类似的错误，错误出现以后，比较好一点的情况是DFSClient端会报出一些列的错误log， 如：

error Recovery for block  block_-13954o849583405 bad datanode ** "
Bad response  for block block_-254u94545923  from datanode  ***

10/01/18 18:48:00 WARN hdfs.DFSClient: Error Recovery for block blk_6828192944006126093_201296138 bad datanode[0] 172.23.115.79:50010
10/01/18 18:48:00 WARN hdfs.DFSClient: Error Recovery for block blk_6828192944006126093_201296138 in pipeline 172.23.115.79:50010, 172.23.115.68:50010: bad datanode 172.23.115.79:50010
10/01/18 18:48:27 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception  for block blk_-1574627828968965286_201296769java.net.SocketTimeoutException: 63000 millis timeout while waiting for channel to be ready for read. ch : java .nio.channels.SocketChannel[connected local=/172.23.113.2:50391 remote=/172.23.114.41:50010]
    at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:162)
    at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:150)
    at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:123)
    at java.io.DataInputStream.readFully(DataInputStream.java:178)
    at java.io.DataInputStream.readLong(DataInputStream.java:399)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor.run(DFSClient.java:2318)

10/01/18 18:48:27 WARN hdfs.DFSClient: Error Recovery for block blk_-1574627828968965286_201296769 bad datanode[0] 172.23.114.41:50010
10/01/18 18:49:04 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception  for block blk_6828192944006126093_201297704java.net.SocketTimeoutException: 63000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/172.23.113.2:44177 remote=/172.23.115.68:50010]
    at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:162)
    at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:150)
    at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:123)
    at java.io.DataInputStream.readFully(DataInputStream.java:178)
    at java.io.DataInputStream.readLong(DataInputStream.java:399)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor.run(DFSClient.java:2318)

10/01/18 18:49:04 WARN hdfs.DFSClient: Error Recovery for block blk_6828192944006126093_201297704 bad datanode[0] 172.23.115.68:50010
put: All datanodes 172.23.115.190:50010 are bad. Aborting...
put: All datanodes 172.23.115.101:50010 are bad. Aborting...

产生这样的报错后，put操 作仍然能够进行，并最终数据上传是完整的，只是效率会收到影响。
但是如果碰到不好的情况，就会报出：
All datanodes  *** are bad. Aborting...
这样的错误，这样就会导致put操作中断，导致数据上传不完整。

后来检查发 现，所有的datanode虽然负载都比较搞，都在正常服 务 ，而DFS的操作都是客户端直接跟datanode进行通信和数据传输，那么到底是什么原因导致了这样的问题呢？
根 据log查看hadoop的代码发现，出错的地方在 DFSClient 的 processDatanodeError()方法中，进入这个方法就表示DFSClient的操作发生了错误。而进入这个报错的代码逻辑是因为 DFSClient中发现errorIndex > 0，继续跟踪，发现修改了errorIndex变量的方法调用中，只有 createBlockOutputStream，DFSOutputStream的构造方法，以及ResponseProcessor.run()方法 中对该变量进行了修改，而由于DFSOutputStream的构造方法对该变量进行的修改是在append的时 候，ResponseProcessor.run()会直接抛出另外的异常，因此调用定位到createBlockOutputStream() 方法中，最后发现修改errorIndex的原因是由于 某个datanode的link跟dfsclient短发生了失败，根据log中发现失败是由于socket链接超时导致，这说明，put发生异常的时 候，是DFSClient 链接从namenode得来的datanode列表中的datanode时，由于该datanode当时的负载非常的高，导致当时无法服务造成。

  找到原因以后就好办了，由于DFSClient跟datanode的链接超时控制参数是一个客户端参数，因此，在数据上传的客户端hadoop- site.xml里修改配置参数 dfs.socket.timeout（默认十分钟），之后重新运行大批量的数据上传操作，问题不再重现：）

你可能感兴趣的:(hadoop海量put时出现的socket超时导致put失败解决方案)

  • Spring中IOC和AOP实现原理 Cat凯94 Java基础开发框架springjava
    目录IOCIOC实现方式BeanFactoryBeanFactory实现方式ApplicationContextApplicationContext实现方式基于XML的Spring项目:基于SpringBoot:初始化过程AOPJDK动态代理CGLIB动态代理JDK动态代理与CGLIB动态代理的区别实现方式相关注解核心方法执行优先级IOC核心思想:将原本在程序中手动创建对象的控制权，交由Sprin
  • 【LeetCode 3136. 有效单词】解析
    目录LeetCode中国站原文原始题目题目描述示例1：示例2：示例3：提示：讲解化繁为简：如何优雅地“盘”逻辑判断题第一部分：算法思想——“清单核对”与“一票否决”第二部分：代码实现——清晰的逻辑翻译实现一：常规判断逻辑实现二：使用正则表达式（一行代码的“炫技”）第三部分：总结LeetCode中国站原文https://leetcode.cn/problems/valid-word/原始题目题目描述
  • 昔日漂亮的女同学，竟成了捐助对象 自己的明主
    这几天忙着搬家，微信信息都没顾得上看，中午休息间隙，无意间看到高中同学群里，异常活跃，未读信息近百条，就好奇的点开，都是讨论身体、体检这些话题的。看的有点懵，虽说我们已成功地跨入了杯中泡枸杞的年龄，但讨论这些未免还有些早。信息上划，大家都在感慨生命，也在为一名女同学难过，惋惜。看到信息开端，才发现是一位同学转发了一篇水滴筹的筹款信息，在群里询问，捐助对象是不是我们高中同学。因为高中毕业后，大家就各
  • 活着 壹點颜色
    余华的《活着》我已经不记得自己看过多少遍了，相信这本书是很多人的启蒙书籍《活着》，先说说第一次读完这本书的感受吧，到现在我还记忆犹新：当时我是在深夜哭着把这本书读完的，我向来不是一容易被感动的人，但是第一次读这本书你真的会觉得活着，本身就是一种幸福。这本书讲了福从最初的富家公子，享受着无忧无虑的生活开始，到后来因为赌博把家产全部输掉，导致家门败落，一家人过上了穷苦的生活，到故事的高潮亲人一个个离他
  • js数组去重的几种方法 魔仙堡杠把子灬
    我听见寒风,扰乱了叶落数组去重,这个知识点很重要,很多面试的地方都会问这个这个问题,我总结了一下第一种方法,最基本的去重方法,思路:定义一个新数组,并存放原数组中的第一个元素,然后将旧数组的元素一一与新数组的元素进行对比,如果不相同就放到新数组中代码实现vararr=[1,2,5,8,9,6,3,4,0,4,7,5,2,0,3];functionunique(arr){//定义一个新数组,新数组里
  • 2025年GESP3月认证C++六级真题解析 信奥源老师 GESP等级考试C++真题解析c++算法信奥赛数据结构GESP
    单选题（每题2分，共30分）第1题在面向对象编程中，类是一种重要的概念。下面关于类的描述中，不正确的是（）。A.类是一个抽象的概念，用于描述具有相同属性和行为的对象集合。B.类可以包含属性和方法，属性用于描述对象的状态，方法用于描述对象的行为。C.类可以被实例化，生成具体的对象。D.类一旦定义后，其属性和方法不能被修改或扩展。答案：D解析：类定义后，可以通过继承、组合等方式进行扩展，也可以在一定程
  • Jenkins pipeline 部署docker通用模板 longze_7 jenkinsdockerJenkinsfilejenkinspipeline
    Jenkinsfile:Docker的NETWORK_NAME不要使用bridge默认网络，要使用自定义的网络如test默认bridge网络：容器间不能用名字互相访问，只能用IP。自定义网络：容器间可以用名字互相访问，Docker自动做了DNS解析。pipeline{agentanyenvironment{//定义镜像名称和标签作为环境变量IMAGE_NAME='my-application'IM
  • 19c补丁-20250715发布的19.28补丁的校验码 bestsun999 Oracle_19coracle数据库linux
    Patch6880880:OPatch12.2.0.1.47forDB19.0.0.0.0(Jul2025)OPatch12.2.0.1.47forDB19.0.0.0.0(Jul2025)(Patch)p6880880_190000_Linux-x86-64.zip69.5MB(72847006bytes)SHA-10F709DB263D031393086EC55F6D5270A73DE509D
  • 自律，解百病 生活如水_0428
    曾有一个年轻人给杨绛先生写了一封长信，倾诉自己的仰慕之情以及自己遇到的诸多人生困惑。杨绛回信写了一句话：“你的问题主要在于读书不多而想得太多。”像年轻人这样状况的人，生活中并不少见。我们常常短暂性踌躇满志，却长期性混吃等死，一边迷茫，一边焦虑，凌晨熬夜、中午赖床、柠檬成精、拖延成瘾……其实根本问题还是在于，你太懒了！真正想要变好的人，都在不停地突破自己的舒适圈，不会把改变的渴望停留在脑海里，因为他
  • 少年派2 清风爱阳光
    昨晚太困了，手机砸脸了，所以只写了一个开端。忆高中～《少年派》中的妙妙总在吃东西。的确，当初的我，根本不用考虑肥胖和减肥，身高的优势，让我吃起来无忧无虑。早自习要7点半开始，班主任要求7点10分到15分进班。我家离学校比较远，骑车要30～40分钟的路程，所以，每天早上，一个字：困往往人骑到学校了，盹还没醒呢！所以，早饭那肯定是要带进班吃的。早自习和第一节课，基本上是我的进膳时间。桌子上一排书围成的
  • 《记忆深刻的第一次》四（2）班～杨佳怡。 板小杨佳怡
    我相信在每个人的记忆中都有很多的第一次。比如:第一次一个人走夜路，第一次被老师批评，第一次做家务……在我的记忆中也有很多第一次，但是让我记忆最深刻的是第一次一个人去上古筝课。在我还在上大班时，妈妈就在张掖博辉艺校给我报了古筝这么乐器，由于路程比较远，每周都是由爸爸或妈妈送我去上古筝课。就在今年的一天，由于家里比较忙，没有人送我去上古筝课，妈妈决定让我一个人去。听了这句话我觉得有点害怕，但我还是鼓足
  • 育儿之路我一直坚持几件事... 欢_喜磕到底
    每个妈妈都有自己的育儿理念，也有自己坚持做的事情。我的第一件最最坚持的事情就是：阅读DragonMaster不管是老大老二老三出生，从我有一点时间开始，我就坚持给他们读书，一直读，一直读，读到他们可以自己完全独立自主阅读的阶段。目前最欣慰的就是三个娃每天都会读书，睡前阅读一定是少不了的，而我最喜欢做的事情就是不停地买书给他们，现在我们家的情况是所到之处都有书柜，随手可取。而我也是随时有空就拿着书，
  • 也谈记性 pysym
    我和周围一些年龄相仿的人在一起聊天，发现一个共同的现象：都说现在记性越来越差，做起事情来丢三拉四；说起话来有时前面说过什么，转身就忘得一干二净；我和老公也是经常在家里互相自嘲：“得了老年痴呆”了，这不，我每天晚上临睡前都要把明天早晨要吃的杂粮粥放在高压锅里煲，这是几年来的习惯，都说“习惯成自然”，应该不会忘啊！可是昨天凌晨4点多钟醒来，突然脑袋很清醒地想到昨天忘了这事，赶紧下床淘米做上（还好这里不
  • 如果这件事没有发生呢？ 大人读童书
    今天意识到了自己还是偶尔过于急躁了，应该更平静地面对孩子进步很小的状况。有一个孩子，上四年级了，基本的数字和简单的单词都不熟悉，甚至比不上三年级学生，上课注意力集中的时间特别短暂，很头疼。因为进步缓慢，有时我会产生“他在这里补习是不是浪费我们双方的时间和金钱啊”这样的想法。今天跟师傅谈起这个，师傅说：不要这样想。第一，他愿意来，证明他是愿意学，愿意改变的。第二，只要他来了，他都会有收获,不论大小。
  • 玫瑰红（小说连载17） 静子木
    第二天中午，财婶在心里盘算，叫谁一起去文娘家提亲好呢？叫家族里的辈份高一点的端婆，但端婆这些日子身体不舒服，儿子又在外地工作，觉得还是不适合。叫伯公的小儿媳妇红毛婶，又觉得跟她说话不合拍，两个人彼此听不下对方的话。还是不要了，别弄巧成拙。想来想去，最佳人选还是巷头之凯婶。虽然她是大喇叭，但她能说会道，也经常往来。那天中午，财婶提着她早上刚从菜园拨回来的两个萝卜，来到之凯叔家。他们刚吃饱，之凯婶正在
  • 恋恋笔记本 赫本_abf2
    昨晚洗完澡就捧着电脑躲被窝花了两个小时重温了《恋恋笔记本》真心推荐大家看熬对我影响挺大的完全改变了我的爱情观鉴于恋恋笔记本会看哭所以拒绝任何院线的催泪大片（除非自己导/演）睡前会看阿拉斯加独居修行者的纪录片渴望搬去那里远离尘世第一次看这部电影是在高中时候飞往北京的天空中小小的爱情观从那时候开始萌芽电影讲述了一个穷小子爱上富家小姐历尽坎坷白头偕老的故事很难泪目的我也会有情感代入时候毕竟一辈子只爱一个
  • 数组对象查找的常见操作 付出的前端路
    1.获得数组对象中子孙的值constarr=[{id:1,sub:[{id:2,sub:[{id:3,sub:null}]}]},{id:4,sub:null}]/**要求：获取所有元素子孙内的id输出[1,2,3,4]*/解决方法functiongetIds(arr){varresult=[]arr.forEach((item)=>{//最外层result.push(item.id)//内层递归
  • 大学生学软件必看 欧巴Godwin 日志嵌入式嵌入式操作系统wincelinux手机游戏j2me
    一、关于企业计算方向企业计算(EnterpriseComputing)是稍时髦较好听的名词，主要是指企业信息系统,如ERP软件（企业资源规划）、CRM软件（客户关系管理）、SCM软件（供应链管理，即物流软件）,银行证券软件,财务软件,电子商务/政务（包括各种网站），数据仓库，数据挖掘，商务智能等企业信息管理系统.企业计算领域对人才的需求显然永远是数量最大的,因为这是计算机应用最多的领域.搞这方面的
  • 「高效能人士的7个习惯」-读后感-01.改变，从思维方式开始 微笑的百合happyness
    什么是七个习惯？不是速成计划，也不是每月精选。而是一个关于个人与人际成长和发展的过程。不但要求你全力以赴、持之以恒，同时也需要付出坚韧不拔的耐心。真正的成长和发展不能一蹴而就，必须经过时间的努力耕耘，才能从这些习惯中获益。在践行7个习惯的过程如同攀登险峰，需要有足够的勇气和耐心来面对各种挑战，但一定会收获喜悦和兴奋，让生命进入一个全新的境界，让生活充实而圆满。-----------史蒂芬·柯维写在
  • 京东超级补贴优惠劵领取入口，京东超级补贴优惠劵领取方法教程 古楼
    京东超级补贴优惠劵以及京东百亿补贴优惠劵怎么领，今天把正确的方法分享给大家，文章最后有超级省钱教程；1、京东超级补贴有两种进入方式；①微信识别官方活动二维码进入优惠补贴会场②通过官方链接进入（部分网页无法正常跳转，可复制到微信即可进入）【京东】超级补贴，官方补贴，款款爆品，周周更新！戳>https://u.jd.com/ss4o9Em2、京东百亿补贴入口和超级补贴进入方式一样；京东百亿补贴，天天低
  • 级别的认识及定义 无缠01
    本吾自学缠论以来最搞不懂的就是级别，级别先是分单根K线、K线包容关系、分型、笔、线段、中枢、走势类型（为了区分叫结构级别）。之后又说了级别可分为1min、5min、15min、30min、60min、日、周、月、季、年（叫周期级别）。之后的背驰的判别就只是后面的时间周期了。不过缠论中也有解释这两者级别的区别。真正的级别是单根K线、K线包容关系、分型、笔、线段、中枢、走势类型。而时间周期只是不同级别
  • 2021-03-22 爱咋咋地_134d
    京心❤️达五店：卞颖2021年3月22落地真经严格就是爱，放纵既是害油卡目标：7张、完成2今天去百援学习，了解了火花塞的作用及危害，和怎么去和客户沟通，销售火花塞和其他产品。学习过程中老师讲的通俗易懂，很容易接受，当我们和客户沟通时也是一样道理，不需要太多的专业知识，通过沟通方式方法也一样可以让客户接受，下一步就是锻炼自己，勇敢的心张嘴去说，相信自己一定可以的。
  • 2024年09月CCF-GESP编程能力等级认证C++编程四级真题解析 码农StayUp c++CCFGESP编程能力等级认证
    本文收录于专栏《C++等级认证CCF-GESP真题解析》，专栏总目录：点这里。订阅后可阅读专栏内所有文章。一、单选题（每题2分，共30分）第1题在C++中，（）正确定义了一个返回整数值并接受两个整数参数的函数。A.intadd(inta,intb){returna+b;}B.voidadd(inta,intb){returna+b;}C.intadd(a,b){returna+b;}D.voida
  • 法国诺曼底疫情指数超警戒线！网红专家神预测有无第2波疫情 法国话事姐
    近日，德国威斯特法伦地区肉类联合加工厂Tönnies爆发集中感染事件。目前已接受新冠病毒检测的1160名员工中，约有730人检测结果呈阳性，感染比例高达三分之二！英国威尔士一处鸡肉加工厂18日也出现聚集性疫情，已有近百人确诊感染。不仅如此，法国诺曼底地区疫情也出现了反复。这一系列事件引发不少“第二波疫情”是否来临的担忧。法国是不是有点太松懈？法国卫生部门6月19日发布统计数据称，自5月启动“解封”
  • 04、抽象类与接口 想带你从多云到转晴 java开发语言
    内容多，第二次复习时写的一、抽象类1、本质：当一个类不能描述一个具体对象时我们把它叫做抽象类2、与普通类的区别：它跟普通类一样可以定义成员方法和变量，但是不能实例化，它可以和普通类一样实现多态、向上转型、动态绑定以及拥有构造方法等等(它的主要作用就是用来继承的）这里举个实现的例子：publicabstractclassShape1{publicabstractvoiddraw();}publicc
  • 好好说话更健康！ 尹娜
    每个人，都会说话，但并不是每个人都懂好好儿说话。有人说了，说话和健康有关系吗？我认为有，因为说话太有学问了。那我今天呢，我就跟大家分享分享，说话和健康的关系真的是挺大的，因为咱们讲养生也好，讲健康也好，它本身啊，真的是一个很大的一个话题，所以它包含的面也非常广，那我就有什么感受呢？我就跟大家分享一下儿，那看看咱们是不是能够同频认知呢？好好说话说不是每一个人每时每刻都能做到的，因为以前也跟大家讲过啊
  • 2021-03-22 每日打卡 来多喜
    昨日完成情况：1.完成了3k跑，太久没锻炼体力跟不上，没力气做帕梅拉了。2.MathematicsforMachineLearning:LinearAlgebra学完了week3和week4，week5还剩大概一个小时学完，没有开始做思维导图。早上跑步回来后看《你是我的城池堡垒》看了两个小时，虽然一边看一边洗碗，洗完碗一边看一边吃饭，但是从三点多才开始学习。重要的事情要先做！3.没有时间做Pyth
  • 11、指针基础
    本章将是我学习c语言的最后一章，接下来将进入java的学习，祝大家奔流不息一、指针的理解CPU处理数据时会从内存中读取后再放回而内存的空间是由一个个一字节大小的空间组成的（房间），我们把房间的门牌号就称作指针1、取地址符号顾名思义就是把存放变量的地址取出来intmain(){inta=0;printf("%p",&a);return0;}在这里整形变量占四个字节，&只会取出最低位字节的地址2、解引
  • 晨间日记 翟芸
    让我们来练习感恩冥想，首先选择一个舒适的坐姿，双手结智慧手印放在膝盖头，脊椎挺直，轻轻地闭上眼睛，放松我们的肩膀，放松眉头、眼皮、脸颊，感受舌头轻轻地抵在前鄂，放松我们的唇和齿。接下来，把我们的意识放在鼻尖的位置，感受我们的呼吸，试着把呼吸从一数到五，一呼一吸为一次。如果在数呼吸的过程中，你的意识跑掉了，请把它轻轻地带回来。好，接下来，让我们回顾一下生命中所有美好的一切。我们的父母给了我们生命，感
  • 奥斯卡一如既往上头条 天秤座的心思
    学院奖(AcademyAwards)全名学院功绩奖(AcademyAwardofMerit)，俗称奥斯卡金像，每年由美国电影艺术与科学学院（AMPAS:TheAcademyofMotionPictureArtsandSciences）组织授予颁发，旨在鼓励过去一年间的优秀电影创作。学院奖的颁发不仅是年度美国电影界最为重要的活动，同时学院奖也是世界上最受瞩目的电影奖项之一，其目前共设有24类不同奖项
  • 用MiddleGenIDE工具生成hibernate的POJO（根据数据表生成POJO类） AdyZhang POJOeclipseHibernateMiddleGenIDE
    推荐:MiddlegenIDE插件,   是一个Eclipse   插件.     用它可以直接连接到数据库,   根据表按照一定的HIBERNATE规则作出BEAN和对应的XML ，用完后你可以手动删除它加载的JAR包和XML文件!     今天开始试着使用
  • .9.png Cb123456 android
      “点九”是andriod平台的应用软件开发里的一种特殊的图片形式，文件扩展名为：.9.png 　　智能手机中有自动横屏的功能,同一幅界面会在随着手机(或平板电脑)中的方向传感器的参数不同而改变显示的方向,在界面改变方向后,界面上的图形会因为长宽的变化而产生拉伸,造成图形的失真变形。 　　我们都知道android平台有多种不同的分辨率，很多控件的切图文件在被放大拉伸后，边
  • 算法的效率 天子之骄 算法效率复杂度最坏情况运行时间大O阶平均情况运行时间
    算法的效率 效率是速度和空间消耗的度量。集中考虑程序的速度，也称运行时间或执行时间，用复杂度的阶(O)这一标准来衡量。空间的消耗或需求也可以用大O表示，而且它总是小于或等于时间需求。   以下是我的学习笔记：   1.求值与霍纳法则，即为秦九韶公式。   2.测定运行时间的最可靠方法是计数对运行时间有贡献的基本操作的执行次数。运行时间与这个计数成正比。
  • java数据结构 何必如此 java数据结构
    Java 数据结构 Java工具包提供了强大的数据结构。在Java中的数据结构主要包括以下几种接口和类： 枚举（Enumeration） 位集合（BitSet） 向量（Vector） 栈（Stack） 字典（Dictionary） 哈希表（Hashtable） 属性（Properties） 以上这些类是传统遗留的，在Java2中引入了一种新的框架-集合框架(Collect
  • MybatisHelloWorld 3213213333332132
    //测试入口TestMyBatis package com.base.helloworld.test; import java.io.IOException; import org.apache.ibatis.io.Resources; import org.apache.ibatis.session.SqlSession; import org.apache.ibat
  • Java|urlrewrite|URL重写|多个参数 7454103 javaxmlWeb工作
     个人工作经验！ 如有不当之处，敬请指点 1.0  web -info 目录下建立     urlrewrite.xml  文件 类似如下： <?xml version="1.0" encoding="UTF-8" ?>   <!DOCTYPE u
  • 达梦数据库+ibatis darkranger sqlmysqlibatisSQL Server
    --插入数据方面 如果您需要数据库自增... 那么在插入的时候不需要指定自增列. 如果想自己指定ID列的值, 那么要设置 set identity_insert  数据库名.模式名.表名; ----然后插入数据; example: create table zhabei.test( id bigint identity(1,1) primary key, nam
  • XML 解析 四种方式 aijuans android
    XML现在已经成为一种通用的数据交换格式,平台的无关性使得很多场合都需要用到XML。本文将详细介绍用Java解析XML的四种方法。 XML现在已经成为一种通用的数据交换格式,它的平台无关性,语言无关性,系统无关性,给数据集成与交互带来了极大的方便。对于XML本身的语法知识与技术细节,需要阅读相关的技术文献,这里面包括的内容有DOM(Document Object
  • spring中配置文件占位符的使用 avords
    1.类 <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springframework.o
  • 前端工程化-公共模块的依赖和常用的工作流 bee1314 webpack
    题记： 一个人的项目，还有工程化的问题嘛？   我们在推进模块化和组件化的过程中，肯定会不断的沉淀出我们项目的模块和组件。对于这些沉淀出的模块和组件怎么管理？另外怎么依赖也是个问题？ 你真的想这样嘛？   var BreadCrumb = require(‘../../../../uikit/breadcrumb’); //真心ugly。  
  • 上司说「看你每天准时下班就知道你工作量不饱和」，该如何回应？ bijian1013 项目管理沟通IT职业规划
    问题：上司说「看你每天准时下班就知道你工作量不饱和」，如何回应         正常下班时间6点，只要是6点半前下班的，上司都认为没有加班。   Eno-Bea回答，注重感受，不一定是别人的         虽然我不知道你具体从事什么工作与职业，但是我大概猜测，你是从事一项不太容易出现阶段性成果的工作
  • TortoiseSVN，过滤文件 征客丶 SVN
    环境： TortoiseSVN 1.8 配置： 在文件夹空白处右键 选择  TortoiseSVN -> Settings 在 Global ignote pattern 中添加要过滤的文件： 多类型用英文空格分开 *name ： 过滤所有名称为 name 的文件或文件夹 *.name ： 过滤所有后缀为 name 的文件或文件夹 --------
  • 【Flume二】HDFS sink细说 bit1129 Flume
    1. Flume配置   a1.sources=r1 a1.channels=c1 a1.sinks=k1 ###Flume负责启动44444端口 a1.sources.r1.type=avro a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=44444 a1.sources.r1.chan
  • The Eight Myths of Erlang Performance bookjovi erlang
    erlang有一篇guide很有意思： http://www.erlang.org/doc/efficiency_guide 里面有个The Eight Myths of Erlang Performance： http://www.erlang.org/doc/efficiency_guide/myths.html   Myth: Funs are sl
  • java多线程网络传输文件(非同步)-2008-08-17 ljy325 java多线程socket
    利用 Socket 套接字进行面向连接通信的编程。客户端读取本地文件并发送；服务器接收文件并保存到本地文件系统中。 使用说明:请将TransferClient, TransferServer, TempFile三个类编译，他们的类包是FileServer. 客户端: 修改TransferClient: serPort, serIP, filePath, blockNum,的值来符合您机器的系
  • 读《研磨设计模式》-代码笔记-模板方法模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet;
  • 配置心得 chenyu19891124 配置
    时间就这样不知不觉的走过了一个春夏秋冬，转眼间来公司已经一年了，感觉时间过的很快，时间老人总是这样不停走，从来没停歇过。 作为一名新手的配置管理员，刚开始真的是对配置管理是一点不懂，就只听说咱们公司配置主要是负责升级，而具体该怎么做却一点都不了解。经过老员工的一点点讲解，慢慢的对配置有了初步了解，对自己所在的岗位也慢慢的了解。 做了一年的配置管理给自总结下： 1.改变 从一个以前对配置毫无
  • 对“带条件选择的并行汇聚路由问题”的再思考 comsci 算法工作软件测试嵌入式领域模型
    2008年上半年，我在设计并开发基于”JWFD流程系统“的商业化改进型引擎的时候，由于采用了新的嵌入式公式模块而导致出现“带条件选择的并行汇聚路由问题”(请参考2009-02-27博文)，当时对这个问题的解决办法是采用基于拓扑结构的处理思想，对汇聚点的实际前驱分支节点通过算法预测出来，然后进行处理，简单的说就是找到造成这个汇聚模型的分支起点，对这个起始分支节点实际走的路径数进行计算，然后把这个实际
  • Oracle 10g 的clusterware 32位 下载地址 daizj oracle
    Oracle 10g 的clusterware 32位 下载地址 http://pan.baidu.com/share/link?shareid=531580&uk=421021908 http://pan.baidu.com/share/link?shareid=137223&uk=321552738 http://pan.baidu.com/share/l
  • 非常好的介绍：Linux定时执行工具cron dongwei_6688 linux
    Linux经过十多年的发展，很多用户都很了解Linux了，这里介绍一下Linux下cron的理解，和大家讨论讨论。cron是一个Linux 定时执行工具，可以在无需人工干预的情况下运行作业，本文档不讲cron实现原理，主要讲一下Linux定时执行工具cron的具体使用及简单介绍。 新增调度任务推荐使用crontab -e命令添加自定义的任务（编辑的是/var/spool/cron下对应用户的cr
  • Yii assets目录生成及修改 dcj3sjt126com yii
    assets的作用是方便模块化，插件化的，一般来说出于安全原因不允许通过url访问protected下面的文件，但是我们又希望将module单独出来，所以需要使用发布，即将一个目录下的文件复制一份到assets下面方便通过url访问。 assets设置对应的方法位置 \framework\web\CAssetManager.php   assets配置方法 在m
  • mac工作软件推荐 dcj3sjt126com mac
    mac上的Terminal + bash ＋ screen组合现在已经非常好用了，但是还是经不起iterm＋zsh＋tmux的冲击。在同事的强烈推荐下，趁着升级mac系统的机会，顺便也切换到iterm＋zsh＋tmux的环境下了。 我为什么要要iterm2 切换过来也是脑袋一热的冲动，我也调查过一些资料，看了下iterm的一些优点： * 兼容性好，远程服务器 vi 什么的低版本能很好兼
  • Memcached(三)、封装Memcached和Ehcache frank1234 memcachedehcachespring ioc
    本文对Ehcache和Memcached进行了简单的封装，这样对于客户端程序无需了解ehcache和memcached的差异，仅需要配置缓存的Provider类就可以在二者之间进行切换，Provider实现类通过Spring IoC注入。 cache.xml <?xml version="1.0" encoding="UTF-8"?>
  • Remove Duplicates from Sorted List II hcx2013 remove
    Given a sorted linked list, delete all nodes that have duplicate numbers, leaving only distinct numbers from the original list. For example,Given 1->2->3->3->4->4->5,
  • Spring4新特性——注解、脚本、任务、MVC等其他特性改进 jinnianshilongnian spring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • MySQL安装文档 liyong0802 mysql
      工作中用到的MySQL可能安装在两种操作系统中，即Windows系统和Linux系统。以Linux系统中情况居多。   安装在Windows系统时与其它Windows应用程序相同按照安装向导一直下一步就即，这里就不具体介绍，本文档只介绍Linux系统下MySQL的安装步骤。   Linux系统下安装MySQL分为三种：RPM包安装、二进制包安装和源码包安装。二
  • 使用VS2010构建HotSpot工程 p2p2500 HotSpotOpenJDKVS2010
    1. 下载OpenJDK7的源码：      http://download.java.net/openjdk/jdk7      http://download.java.net/openjdk/      2. 环境配置     ▶
  • Oracle实用功能之分组后列合并 seandeng888 oracle分组实用功能合并
    1       实例解析 由于业务需求需要对表中的数据进行分组后进行合并的处理，鉴于Oracle10g没有现成的函数实现该功能，且该功能如若用JAVA代码实现会比较复杂，因此，特将SQL语言的实现方式分享出来，希望对大家有所帮助。如下： 表test 数据如下： ID,SUBJECTCODE,DIMCODE,VALUE 1&nbs
  • Java定时任务注解方式实现 tuoni javaspringjvmxmljni
    Spring 注解的定时任务，有如下两种方式： 第一种： <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"  xmlns:xsi="http
  • 11大Java开源中文分词器的使用方法和分词效果对比 yangshangchuan word分词器ansj分词器Stanford分词器FudanNLP分词器HanLP分词器
    本文的目标有两个： 1、学会使用11大Java开源中文分词器 2、对比分析11大Java开源中文分词器的分词效果 本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。 11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口： /** * 获取文本的所有分词结果, 对比
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他