atco
atco

HBase中LeaseException及ClosedChannelException解决办法

随着数据量的增大，HIVE查询HBase的时候又出现了scan数据缓慢的问题，上次是因为跨网段读数据没有设置client端cache，这次是在HBase regionserver的log中出现了如下错误:

 

[plain] view plain copy print ?
  1. org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8841369309248784313' does not exist  
  2.         at org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230)  
  3.         at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847)  
  4.         at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)  
  5.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  6.         at java.lang.reflect.Method.invoke(Method.java:597)  
  7.         at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)  
  8.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)  
  9. 2012-05-28 13:36:21,181 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer:  
  10. org.apache.hadoop.hbase.regionserver.LeaseException: lease '-20083236624351071' does not exist  
  11.         at org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230)  
  12.         at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847)  
  13.         at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)  
  14.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  15.         at java.lang.reflect.Method.invoke(Method.java:597)  
  16.         at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)  
  17.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)  
  18. 2012-05-28 13:36:31,008 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Scanner -3191709564730585697 lease expired  
  19. 2012-05-28 13:36:53,643 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Scanner -8491627947231463698 lease expired  
  20. 2012-05-28 13:36:54,842 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer:  
  21. org.apache.hadoop.hbase.regionserver.LeaseException: lease '-1061333795005896429' does not exist  
  22.         at org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230)  
  23.         at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847)  
  24.         at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)  
  25.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  26.         at java.lang.reflect.Method.invoke(Method.java:597)  
  27.         at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)  
  28.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)  
  29. 2012-05-28 13:36:54,952 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server Responder, call next(-8841369309248784313, 5000) from 10.64.49.25:58991: output error  
  30. 2012-05-28 13:36:54,952 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server handler 5 on 60020 caught: java.nio.channels.ClosedChannelException  
  31.         at sun.nio.ch.SocketChannelImpl.ensureWriteOpen(SocketChannelImpl.java:133)  
  32.         at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:324)  
  33.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelIO(HBaseServer.java:1389)  
  34.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelWrite(HBaseServer.java:1341)  
  35.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.processResponse(HBaseServer.java:727)  
  36.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.doRespond(HBaseServer.java:792)  
  37.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1083)  
  38.   
  39. 2012-05-28 13:36:58,234 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server Responder, call next(-1061333795005896429, 5000) from 10.64.49.22:5606: output error  
  40. 2012-05-28 13:36:58,234 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server handler 6 on 60020 caught: java.nio.channels.ClosedChannelException  
  41.         at sun.nio.ch.SocketChannelImpl.ensureWriteOpen(SocketChannelImpl.java:133)  
  42.         at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:324)  
  43.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelIO(HBaseServer.java:1389)  
  44.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelWrite(HBaseServer.java:1341)  
  45.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.processResponse(HBaseServer.java:727)  
  46.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.doRespond(HBaseServer.java:792)  
  47.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1083)  
  48.   
  49. 2012-05-28 13:37:12,103 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server Responder, call next(-20083236624351071, 5000) from 10.64.49.25:59004: output error  
  50. 2012-05-28 13:37:12,103 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server handler 1 on 60020 caught: java.nio.channels.ClosedChannelException  
  51.         at sun.nio.ch.SocketChannelImpl.ensureWriteOpen(SocketChannelImpl.java:133)  
  52.         at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:324)  
  53.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelIO(HBaseServer.java:1389)  
  54.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelWrite(HBaseServer.java:1341)  
  55.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.processResponse(HBaseServer.java:727)  
  56.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.doRespond(HBaseServer.java:792)  
  57.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1083)  


说是租约（Lease）过期或租约不存在，所谓租约，是指hbase client端每次和regionserver交互的时候，都会在服务器端生成一个租约（Lease),租约的有效期由参数hbase.regionserver.lease.period确定。

 

客户端去regionserver取数据的时候，hbase中存得数据量很大并且很多region的时候的，客户端请求的region不在内存中，或是没有被cache住，需要从磁盘中加载，如果这时候加载需要的时间超过hbase.regionserver.lease.period所配置的时间，并且客户端没有和regionserver报告其还活着，那么regionserver就会认为本次租约已经过期，并从LeaseQueue中从删除掉本次租约，当regionserver加载完成后，拿已经被删除的租约再去取数据的时候，就会出现如上的错误现象。

 

其实在做hbase批量数据删除的时候就出现过这个问题，然后也修改了hbase.regionserver.lease.period参数（默认为60000，一分钟），但是在做scan的时候还是出现了上面的问题。问题出在哪呢？

 

后来发现是hbase.rpc.timeout的问题，出现租约过期的时候，可以根据需求适当的增加租约的有效时间，但却忽略了RPC超时的问题，所以在增大hbase.regionserver.lease.period的时候应该同时增大hbase.rpc.timeout，同时hbase.rpc.timeout应该等于或大于hbase.regionserver.lease.period。

 

参考HBASE-4713，lease-does-not-exist-exceptions

你可能感兴趣的:(HBase中LeaseException及ClosedChannelException解决办法)

  • Node.js--exports 对象详解：用法、示例与最佳实践 还是鼠鼠 node.jsnode.jswebjavascript前端vscode
    目录1.exports对象介绍2.基础示例：使用exports导出对象文件名：math.js（JavaScript）3.在另一个文件中使用require进行导入文件名：app.js（JavaScript）4.运行程序5.exports的限制6.其他exports使用方式示例1：导出单个函数示例2：导出类7.结论1.exports对象介绍在Node.js中，exports是module.export
  • JavaScript语言的游戏开发 凌嘉遥 包罗万象golang开发语言后端
    JavaScript游戏开发入门指南在互联网迅速发展的今天，游戏已经成为了我们日常生活中不可或缺的一部分。无论是手机游戏、网页游戏，还是大型的3D游戏，它们的背后都离不开强大的编程技术。JavaScript作为一种广泛应用的编程语言，使得游戏开发变得更加灵活和高效。本文将深入探讨JavaScript在游戏开发中的应用，带领读者了解如何使用JavaScript开发自己的游戏。1.JavaScript
  • 什么是SDI信号？SDI信号的分类、特点及应用 度纬仪器 信息与通信
    引言在视频传输领域，SDI（SerialDigitalInterface，串行数字接口）信号是一种广泛应用的数字视频传输标准。它以其高速、高保真度和低延迟的特点，在广播、电影制作、视频监控等多个领域发挥着重要作用。本文将详细介绍SDI信号是什么、分类、特点优势以及常见的应用案例。SDI信号是什么？串行数字接口（serialdigitalinterface，简称SDI）是一种用于传输高质量、未压缩的
  • element UI 2.15.13和 vue2.0表格勾选回显 前端vue.js
    弹窗回显勾选的项关键代码//函数名叫什么无所谓，函数的参数值data是要回显表格的所有数据//数据改变放在this.$nextTick中handleSelection(data){this.$nextTick(()=>{//selectedArr是所有需要勾选的项的集合constselectedArr=data.filter(item=>item.userId);selectedArr.forEa
  • JavaScript 中 Map 数据结构的使用 前端javascript
    解释Map是一种js数据结构，与数组的map方法并非一种，要区分开来Map数据结构来管理数据，能提高代码的可读性Map相比较对象格式存储速度要更快Map数据结构//创建一个Map对象constformData=newMap();//添加表单元素的值到Map中formData.set('username','Tom');formData.set('password','123456');//获取表单
  • WinSW-x64(2.12.0)将nginx注册为服务可能有bug 星火91314 nginxbuggithub
    使用的环境是：windowsserver2008R2，WinSW-x64(2.12.0)，nginx1.24.0项目中碰到个需求，配置nginx代理，实现一个端口代理多个端口和地址。本来很轻松的事，结果耗费了一天的功夫，把人都整不自信了。我先修改nginx配置，然后在服务列表中重启nginx服务，这个服务是使用WinSW-64（2.12.0）版注册的，选了最新版的，想着bug会少一些。然后神奇的事
  • Dubbo请求调用本地服务 Lorin 洛林 Java后端经典面试题dubbo
    文章目录前言配置Dubbo本地调用方法一：application.yml中配置方法二：@DubboReference注解中指定注意个人简介前言在微服务架构中，ApacheDubbo作为一款高性能、轻量级的RPC框架，被广泛应用于分布式系统。通常，Dubbo服务是跨进程调用的，但在开发和测试过程中，有时需要在本地调用Dubbo服务，以方便调试和验证。配置Dubbo本地调用默认情况下，Dubbo通过注
  • R语言高效数据处理-自定义EXCEL数据排版 LEEBELOVED r语言R语言高效处理数据excel批处理
    注：以下代码均为实际数据处理中的笔记摘录，所以很零散1、自定义excel表数据输出格式、布局在实际数据处理中为了提升效率，将Excel报表交付给需求方时减少手动调整的环节很有必要#1.1设置表头格式header_style=0',          style=sheet_style)#数据写入writeData(data_deal_main01,'data_deal_test1',data_de
  • 你的AI客服为何总抓不住客户核心诉求？（附特征优化方案） 人工智能
    1特征工程的意义nlp任务中，原始文本经数值映射后形成的词向量序列，难充分表达语言深层语义特征。就需引入文本特征增强技术：语义信息补全：突破单词语义局限，捕获词序关联特征模型适配优化：构建符合算法输入规范的矩阵结构评估指标提升：通过特征增强直接影响模型准确率、召回率等核心KPI如电商评论情感分析场景，单纯用词频特征可能导致"这个手机质量差得惊人"和"这个手机质量惊人地差"被判定为相同语义，此时bi
  • canvas绘制和数字签名 前端
    关键是要把存放绘制的信息放到一个二维数组中：绘制时最好不要用定时器进行定时绘制，因为会卡顿，最好使用requestAnimationFrame这个原生js的api方法，因为是以帧的间隔绘制，所以会看起来流畅Documenthtml,body{height:100%;margin:0;padding:0;}.container{width:100%;padding:20px0;display:fle
  • C语言：数据的存储 c++编程语言
    本文重点：数据类型详细介绍整形在内存中的存储：原码、反码、补码大小端字节序介绍及判断浮点型在内存中的存储解析数据类型结构的介绍：类型的基本归类：整型家族浮点家族构造类型：指针类型：空类型：整形在内存中的存储：F10开始逐句调试，再打开窗口中的内存，在搜索栏查看a的地址如下图所示。可以看到在将20存入a的地址中，在内存窗口的表示形式是14000000，再看下图变量b中-10的表示形式。可以看到再内存
  • 推荐文章：探索Devbox —— 打造统一且高效的开发环境 薛烈珑Una
    推荐文章：探索Devbox——打造统一且高效的开发环境项目地址:https://gitcode.com/gh_mirrors/de/devbox项目介绍在快节奏的软件开发世界中，保持团队成员间开发环境的一致性至关重要。Devbox正是为解决这一痛点而生，它是一个强大的命令行工具，允许开发者快速建立隔离的开发环境。通过简洁的配置文件，团队可以轻松定义所需的所有依赖包，确保无论在哪都能拥有一个一致且纯
  • Umi-OCR 使用与安装教程 平依佩Ula
    Umi-OCR使用与安装教程项目地址:https://gitcode.com/gh_mirrors/um/Umi-OCR1.项目目录结构及介绍Umi-OCR的项目结构精心组织，以支持其多方面功能。以下是主要组成部分的概览：Umi-OCR├──Umi-OCR.exe#主执行文件，Windows平台上直接运行的程序├──umi-ocr.sh#Linux上的启动脚本└──UmiOCR-data├──ma
  • Node.js 模块化概念详细介绍 还是鼠鼠 node.jsnode.jswebjavascriptvscode前端
    目录模块化的概念模块化的好处：实现模块化代码实现1.创建计算器模块2.使用计算器模块3.运行结果总结常见的Node.js核心模块模块化的应用场景Node.js采用了模块化的设计，使得开发者能够将代码拆分成多个独立的模块，便于维护和复用。在Node.js中，每个文件都可以视为一个模块，并且可以通过require()函数引入其他模块的功能。模块化提高了代码的可维护性，减少了冗余代码，并提高了开发效率。
  • UI自动化测试之CSS Selector 定位秘籍：解锁 WEB UI 自动化测试的高效之道 做测试的小薄 测试进阶cssseleniumUI自动化测试元素定位方式
    在WebUI自动化测试中，元素定位是实现自动化操作的核心步骤。SeleniumWebDriver提供了多种元素定位方式，其中CSSSelector是一种功能强大且灵活的定位方法。它基于CSS选择器语法，能够快速、精准地定位目标元素，尤其适用于复杂的DOM结构。本文将深入解析CSSSelector的工作原理、使用技巧以及需要注意的事项，帮助你在自动化测试中更高效地运用这一工具。一、CSSSelect
  • 罗丹明RB/四甲基罗丹明标记酰胺化果胶Amidated Pectin, Rhodamine B/TRITC labeled；Rhodamine B/TRITC-Amidated Pectin 齐岳hao java数据库jvm
    果胶是一种多糖，其组成有同质多糖和杂多糖两种类型。它们多存在于植物细胞壁和细胞内层，大量存在于柑橘、柠檬、柚子等果皮中。呈白色至黄色粉状，相对分子质量约20000～400000，无味。在酸性溶液中较在碱性溶液中稳定，通常按其酯化度分为高酯果胶及低酯果胶。高酯果胶在可溶性糖含量≥60%、pH=2.6～3.4的范围内形成非可逆性凝胶。低酯果胶一部分甲酯转变为伯酰胺，不受糖、酸的影响，但需与钙、镁等二价
  • python flask 分页_Python的Flask框架中实现分页功能的教程 weixin_39959126 pythonflask分页
    BlogPosts的提交让我们从简单的开始。首页上必须有一张用户提交新的post的表单。首先我们定义一个单域表单对象(fileapp/forms.py)：classPostForm(Form):post=TextField('post',validators=[Required()])下面，我们把这个表单添加到template中(fileapp/templates/index.html)：{%ex
  • 【Linux】日志插件 s_little_monster_ Linuxlinux数据库oracle运维学习经验分享笔记
    个人主页~日志插件一、日志文件的重要性二、日志文件的简单实现1、comm.hpp2、log.hpp三、测试用例一、日志文件的重要性故障排查与问题定位快速发现问题：日志能够实时记录系统运行过程中的各种事件和状态信息，当系统出现故障或异常时，通过查看日志可以快速察觉到问题的发生，例如，服务器突然崩溃，日志中可能会记录下崩溃前的错误信息、异常堆栈，帮助运维人员第一时间得知系统出现了故障精准定位根源：详细
  • 【CSS 面经】元素的层叠顺序 Peter-Lu #CSS面经css前端htmlecmascriptjavascript
    文章目录一、层叠顺序的基本概念1.视觉层叠2.默认层叠顺序二、如何控制元素的层叠顺序？1.`z-index`属性示例：使用`z-index`控制元素层叠顺序2.`position`属性与层叠顺序示例：不同`position`设置下的层叠顺序3.`z-index`和堆叠上下文示例：堆叠上下文三、总结在网页设计中，元素的层叠顺序（StackingOrder）是指在同一页面上，多个元素如何相互叠加的规则
  • 基于 KTransformers的DeepSeek-R1 本地部署方案，成本骤降32倍！ 爱科技Ai LLM人工智能
    随着DeepSeek-R1模型在全球范围内的流行，越来越多的用户开始在本地尝试部署该模型。然而，高昂的硬件需求和成本让许多公司望而却步。本文将深入探讨DeepSeek-R1部署中的挑战，并介绍一款创新框架KTransformers，它能够显著降低大规模模型部署的成本并提高推理效率，从而帮助更多中小企业有效部署此类高级AI模型。本地部署“成本骤降32倍”，助力R1真正落地「中小企业」中！1.Deep
  • Flask实现分页的三种方法 BirdMan98 FlaskPythonMySQLflask数据库python
    在Flask中实现分页的方式有多种，最常用的是使用Flask-SQLAlchemy自带的分页功能，或者手动实现分页逻辑。下面介绍几种方法：方法1：使用Flask-SQLAlchemy的paginate()Flask-SQLAlchemy提供了paginate()方法，可以轻松实现分页。1.安装Flask-SQLAlchemypipinstallflaskflask-sqlalchemy2.代码示例
  • Java对正则表达式的支持（手机、身份证校验） 周里奥 工具正则表达式java
    目录1【数量:单个】字符匹配2【数量:单个】字符集(可以从里面任选一个字符)。3【数量:单个】简化字符集;4【边界匹配】5【数量表示】默认情况下只有添加上了数量单位才可以匹配多位字符;6【逻辑表达式】可以连接多个正则7【理解字符\的含义】\在Java中的含义\在正则表达式中的含义\出现在Java的正则表达式中处理举例1：[email protected]举例2：ab\abJava对正则的支持类-常用方法
  • Python 实现海康机器人工业相机 MV-CS050-10GC 的实时显示视频流及拍照功能(实时显示视频流同时可以进行拍照) 恋上钢琴的虫 数码相机
    参考链接：https://www.cnblogs.com/HanYork/p/17388506.htmlhttps://www.cnblogs.com/miracle-luna/p/16960556.html#5138211Flask搭建流媒体服务器：使用Flask搭建一个流媒体服务器_multipart/x-mixed-replace;boundary=frame-CSDN博客
  • element audio 标签 不显示_BenQ 明基专业摄影显示器SW270C开箱评测体验 weixin_39685130 elementaudio标签不显示
    前言继BenQSW271显示器(评测链接)之后，BenQ又推出了专业影像工作者的高效利器—SW270C(官网链接)，搭配27英寸2K分辨率IPS屏，覆盖99%AdobeRGB、100%sRGB\Rec.709及97%P3广色域，并采用全新的色彩引擎实现亮度色温均匀性，使屏幕各个部分呈现均匀一致的色彩。新推出的16-bit3DLUT结合硬件校准让屏幕色彩更加准确，能够还原真实的色彩。另外，BenQS
  • sql获取某列出现频次最多的值_业务硬核SQL集锦 金渡江 sql获取某列出现频次最多的值
    戳上方蓝字关注我这两年学会了跑sql，当时有很多同学帮助我精进了这个技能，现在也写成一个小教程，反馈给大家。适用对象：工作中能接触到sql查询平台的业务同学(例如有数据查询权限的产品与运营同学)适用场景：查询hive&mysql上的数据文档优势：比起各类从零起步的教程教材，理解门槛低，有效信息密度大，可以覆盖高频业务场景。文末有一些常见的小技巧，希望帮助同学们提升工作效率。SQL的基础结构：做一个
  • Matlab多种算法解决未来杯B的多分类问题 Subject.625Ruben 算法分类机器学习数学建模未来杯matlab人工智能
    1.读取数据首先，我们从Excel文件中读取训练集和测试集：2.训练集划分我们将80%的数据用于训练，20%用于验证。3.训练多个模型我们选取8种常见分类模型，并存储预测结果。fori=1:length(modelNames)switchmodelNames{i}case'MultinomialLogisticRegression'B=mnrfit(X_train,Y_train,'model',
  • 深入理解C++内存管理机制 qzw1210 C++c++学习笔记
    侯捷C++系列课程学习笔记：深入理解C++内存管理机制在侯捷老师的C++系列课程中，内存管理是一个极其重要且深刻的主题。通过对这部分内容的学习，我对C++的内存管理机制有了更深入的理解，特别是关于new/delete操作符、内存池设计以及智能指针的应用。一、C++内存分配的层次结构侯捷老师在课程中清晰地阐述了C++内存分配的层次结构，这让我对整个内存管理体系有了全局的认识：最底层：操作系统提供的内
  • 【prompt实战】知乎问题解答专家 姚瑞南 prompt实战应用案例prompt
    本文原创作者：姚瑞南AI-agent大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。（转载需经授权）#Role:知乎问题解答分类专家##Profile:你是一个知乎问题解答分类专家，主要帮助用户解答各类领域专业问题，包括但不限于金融领域、职场问题、互联网领域、科技领域、人工智能领域
  • python:数据类构建器 愚戏师 python基础与机器学习pythonwindows开发语言
    在Python中，数据类（DataClasses）用于快速创建主要目的是存储数据的类，自动生成__init__,__repr__,__eq__等方法。“Python提供了几种构建简单类的方式，这些类只是字段的容器，几乎没有额外功能。这种模式称为“数据类”（dataclass），dataclasses包就支持该模式。”引用自《流畅的python（第二版）》1.基础数据类使用@dataclass装饰器
  • 如何使用 Spring Boot 实现分页和排序 大G哥 springboot后端javaspring
    在SpringBoot中实现分页和排序通常是通过SpringDataJPA或者SpringDataMongoDB提供的分页功能来完成的。以下是一个基于SpringDataJPA的分页和排序实现的基本步骤。1.添加依赖首先，确保你在pom.xml中包含了SpringDataJPA和数据库驱动的依赖。org.springframework.bootspring-boot-starter-data-jp
  • Nginx负载均衡 510888780 nginx应用服务器
    Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）       每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight       指定轮询几率，weight和访问比率成正比
  • RedHat 6.4 安装 rabbitmq bylijinnan erlangrabbitmqredhat
    在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功 机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
  • FilenameUtils工具类 eksliang FilenameUtilscommon-io
    转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述 这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。
  • xml文件解析SAX 不懂事的小屁孩 xml
    xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
  • 通过定时任务执行mysql的定期删除和新建分区，此处是按日分区 酷的飞上天空 mysql
    使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
  • 如何搭建数据湖架构？听听专家的意见 蓝儿唯美 架构
    Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据  “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
  • spring学习——控制反转与依赖注入 a-john spring
           控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。  
  • 用spool+unixshell生成文本文件的方法 aijuans xshell
    例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
  • 1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
    OOA:Object-Oriented Analysis（面向对象分析方法） 是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。 　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
  • 浅谈java转成json编码格式技术 百合不是茶 json编码java转成json编码
    json编码;是一个轻量级的数据存储和传输的语言       在java中需要引入json相关的包,引包方式在工程的lib下就可以了   JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非   常适合于服务器与 JavaScript 之间的数据的交
  • web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 javaweb.xmlSSIspring配置
    指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
  • Installing SonarQube（Fail to download libraries from server） sunjing InstallSonar
    1.  Download and unzip the SonarQube distribution 2.  Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
  • 【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
    一、创建复本集   假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令：   mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
  • Anychart图表系列二之执行Flash和HTML5渲染 白糖_ Flash
    今天介绍Anychart的Flash和HTML5渲染功能   HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。 这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
  • Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
    昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
  • 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
    import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析 问题： 有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头， 能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
  • lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引lunce
    import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
  • [IT与投资]坚持独立自主的研究核心技术 comsci it
           和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段.....        所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
  • flashback transaction闪回事务查询 daizj oraclesql闪回事务
       闪回事务查询有别于闪回查询的特点有以下3个： （1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。 （2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。 （3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
  • Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件 游其是你 FilenameFilter
    这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
  • C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
    # include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
  • 今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
    今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again   处理很简单，修改文件“/etc/yum.repos.d/epel.repo”， 将baseurl的注释取消， mirrorlist注释掉。即可。 &n
  • 单例模式 shuizhaosi888 单例模式
    单例模式      懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
  • Spring Security（09）——Filter 234390216 Spring Security
    Filter 目录 1.1     Filter顺序 1.2     添加Filter到FilterChain 1.3     DelegatingFilterProxy 1.4     FilterChainProxy 1.5
  • 公司项目NODEJS实践0.1 逐行分析JS源代码 mongodbnginxubuntunodejs
      一、前言         前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。         网上有很多nod
  • java.lang.Math liuhaibo_ljf javaMathlang
    System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
  • linux下时间同步 nonobaba ntp
    今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误  PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
  • ZooKeeper3.4.6的集群部署 roadrunners zookeeper集群部署
    ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。   1、准备工作 我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。   数据存储目录
  • Java高效读取大文件 tomcat_oracle java
    　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： 　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
  • 微信支付api返回的xml转换为Map的方法 xu3508620 xmlmap微信api
    举例如下： <xml>    <return_code><![CDATA[SUCCESS]]></return_code>    <return_msg><![CDATA[OK]]></return_msg>    <appid><
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他