atco
atco

HBase中LeaseException及ClosedChannelException解决办法

随着数据量的增大，HIVE查询HBase的时候又出现了scan数据缓慢的问题，上次是因为跨网段读数据没有设置client端cache，这次是在HBase regionserver的log中出现了如下错误:

 

[plain] view plain copy print ?
  1. org.apache.hadoop.hbase.regionserver.LeaseException: lease '-8841369309248784313' does not exist  
  2.         at org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230)  
  3.         at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847)  
  4.         at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)  
  5.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  6.         at java.lang.reflect.Method.invoke(Method.java:597)  
  7.         at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)  
  8.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)  
  9. 2012-05-28 13:36:21,181 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer:  
  10. org.apache.hadoop.hbase.regionserver.LeaseException: lease '-20083236624351071' does not exist  
  11.         at org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230)  
  12.         at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847)  
  13.         at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)  
  14.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  15.         at java.lang.reflect.Method.invoke(Method.java:597)  
  16.         at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)  
  17.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)  
  18. 2012-05-28 13:36:31,008 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Scanner -3191709564730585697 lease expired  
  19. 2012-05-28 13:36:53,643 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Scanner -8491627947231463698 lease expired  
  20. 2012-05-28 13:36:54,842 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer:  
  21. org.apache.hadoop.hbase.regionserver.LeaseException: lease '-1061333795005896429' does not exist  
  22.         at org.apache.hadoop.hbase.regionserver.Leases.removeLease(Leases.java:230)  
  23.         at org.apache.hadoop.hbase.regionserver.HRegionServer.next(HRegionServer.java:1847)  
  24.         at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source)  
  25.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  26.         at java.lang.reflect.Method.invoke(Method.java:597)  
  27.         at org.apache.hadoop.hbase.ipc.HBaseRPC$Server.call(HBaseRPC.java:570)  
  28.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1039)  
  29. 2012-05-28 13:36:54,952 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server Responder, call next(-8841369309248784313, 5000) from 10.64.49.25:58991: output error  
  30. 2012-05-28 13:36:54,952 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server handler 5 on 60020 caught: java.nio.channels.ClosedChannelException  
  31.         at sun.nio.ch.SocketChannelImpl.ensureWriteOpen(SocketChannelImpl.java:133)  
  32.         at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:324)  
  33.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelIO(HBaseServer.java:1389)  
  34.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelWrite(HBaseServer.java:1341)  
  35.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.processResponse(HBaseServer.java:727)  
  36.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.doRespond(HBaseServer.java:792)  
  37.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1083)  
  38.   
  39. 2012-05-28 13:36:58,234 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server Responder, call next(-1061333795005896429, 5000) from 10.64.49.22:5606: output error  
  40. 2012-05-28 13:36:58,234 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server handler 6 on 60020 caught: java.nio.channels.ClosedChannelException  
  41.         at sun.nio.ch.SocketChannelImpl.ensureWriteOpen(SocketChannelImpl.java:133)  
  42.         at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:324)  
  43.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelIO(HBaseServer.java:1389)  
  44.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelWrite(HBaseServer.java:1341)  
  45.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.processResponse(HBaseServer.java:727)  
  46.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.doRespond(HBaseServer.java:792)  
  47.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1083)  
  48.   
  49. 2012-05-28 13:37:12,103 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server Responder, call next(-20083236624351071, 5000) from 10.64.49.25:59004: output error  
  50. 2012-05-28 13:37:12,103 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server handler 1 on 60020 caught: java.nio.channels.ClosedChannelException  
  51.         at sun.nio.ch.SocketChannelImpl.ensureWriteOpen(SocketChannelImpl.java:133)  
  52.         at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:324)  
  53.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelIO(HBaseServer.java:1389)  
  54.         at org.apache.hadoop.hbase.ipc.HBaseServer.channelWrite(HBaseServer.java:1341)  
  55.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.processResponse(HBaseServer.java:727)  
  56.         at org.apache.hadoop.hbase.ipc.HBaseServer$Responder.doRespond(HBaseServer.java:792)  
  57.         at org.apache.hadoop.hbase.ipc.HBaseServer$Handler.run(HBaseServer.java:1083)  


说是租约（Lease）过期或租约不存在，所谓租约，是指hbase client端每次和regionserver交互的时候，都会在服务器端生成一个租约（Lease),租约的有效期由参数hbase.regionserver.lease.period确定。

 

客户端去regionserver取数据的时候，hbase中存得数据量很大并且很多region的时候的，客户端请求的region不在内存中，或是没有被cache住，需要从磁盘中加载，如果这时候加载需要的时间超过hbase.regionserver.lease.period所配置的时间，并且客户端没有和regionserver报告其还活着，那么regionserver就会认为本次租约已经过期，并从LeaseQueue中从删除掉本次租约，当regionserver加载完成后，拿已经被删除的租约再去取数据的时候，就会出现如上的错误现象。

 

其实在做hbase批量数据删除的时候就出现过这个问题，然后也修改了hbase.regionserver.lease.period参数（默认为60000，一分钟），但是在做scan的时候还是出现了上面的问题。问题出在哪呢？

 

后来发现是hbase.rpc.timeout的问题，出现租约过期的时候，可以根据需求适当的增加租约的有效时间，但却忽略了RPC超时的问题，所以在增大hbase.regionserver.lease.period的时候应该同时增大hbase.rpc.timeout，同时hbase.rpc.timeout应该等于或大于hbase.regionserver.lease.period。

 

参考HBASE-4713，lease-does-not-exist-exceptions

你可能感兴趣的:(HBase中LeaseException及ClosedChannelException解决办法)

  • 29.Harmonyos Next仿uv-ui 组件NumberBox 步进器组件自定义图标 harmonyos-next
    HarmonyosNext仿uv-ui组件NumberBox步进器组件自定义图标1.组件介绍NumberBox步进器组件支持自定义加减按钮的图标，使开发者能够根据应用的设计风格定制按钮外观。本文将详细介绍如何在HarmonyOSNEXT中设置和使用NumberBox步进器的自定义图标功能。2.效果展示3.自定义图标设置3.1基本图标设置在NumberBox组件中，通过minusIcon和plusI
  • CSS Position(定位) wjs2024 开发语言
    CSSPosition(定位)概述CSS定位是网页布局中非常重要的一环，它决定了页面元素的位置和层叠顺序。在CSS中，定位可以分为几种类型，包括静态定位、相对定位、绝对定位和固定定位。每种定位方式都有其独特的应用场景和优势。静态定位静态定位是CSS定位的默认值，它会使元素根据其在文档流中的位置进行定位。静态定位的元素不会影响其他元素的位置。代码示例.static{position:static;}
  • 项目成本风险如何管理 项目管理
    项目成本风险管理的关键在于全面识别风险、科学制定预算、实时监控与动态调整。其中，全面识别风险要求管理者细致盘点项目内外各类可能导致成本超支的不确定因素；科学制定预算则通过历史数据、敏感性分析及风险预留，确保项目资金规划准确；实时监控与动态调整强调在项目实施过程中利用现代技术手段持续跟踪成本波动，迅速应对突发情况，确保整体成本风险始终处于可控状态。一、全面识别风险、构建风险识别体系在项目管理的初期阶
  • Unity引擎开发：输入与交互系统_输入与交互的跨平台支持 chenlz2007 游戏开发2unity交互lucenemicrosoft游戏引擎ui
    输入与交互的跨平台支持在开发动作游戏时，跨平台支持是一个非常重要的方面。玩家可能在不同的设备上玩游戏，包括PC、移动设备、游戏主机等。每个平台的输入方式和交互方式都有所不同，因此我们需要确保游戏在所有目标平台上都能提供一致且流畅的输入体验。本节将详细介绍如何在Unity中实现跨平台的输入与交互支持。1.Unity的输入系统概述Unity引擎提供了一个强大的输入系统，可以帮助开发者轻松处理各种输入设
  • 【嵌入式DIY实例-Arduino篇】-最大功率点跟踪 (MPPT) 太阳能充电控制器 视觉与物联智能 物联网全栈开发实战嵌入式硬件嵌入式电子工程物联网单片机
    最大功率点跟踪(MPPT)太阳能充电控制器文章目录最大功率点跟踪(MPPT)太阳能充电控制器1、应用介绍2、硬件准备3、太阳能充电控制器介绍4、硬件设计5、驱动代码实现1、应用介绍在这个应用中，我们将使用Arduino并结合许多主动-被动电子设备构建我们自己的MPPT太阳能充电控制器。MPPT表示最大功率点跟踪控制器(MaximumPowerPointTrackingController)。大多数
  • 关于FBX模型导入Unity后，在Play场景里想要选中但报错：“NullReferenceException: Object reference not set to an insta”的解决办法。 宝宝嘟嘟打雷辣 unity游戏引擎
    FBX导入Unity后，本想要测试通过做一个BIM模型数字孪生场景，实现Play场景下，选择构件能展示构件属性信息。代码如下：usingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;publicclassDemo1:MonoBehaviour{publicfloatsmooth=3f;Transformcur
  • 【PyQt】常用控件button shanks66 PyQtpyqt
    @[toc]常用控件button常用控件button在Qt中，QPushButton是最常用的按钮控件，用于响应用户的点击操作。它可以显示文本、图标，并且可以连接信号和槽来实现交互功能。QPushButton就是常见的按钮信号：被点击当按钮被点击就会发出clicked信号，可以这样指定处理该信号的函数button.clicked.connect(handleCalc)改变文本代码中可以使用setT
  • rust学习笔记13-18. 四数之和 水蜜桃one rust学习笔记
    上一篇已经说到了两数之和，索性将三数之和与四数之和一起都复习一下15.三数之和给你一个整数数组nums，判断是否存在三元组[nums[i],nums[j],nums[k]]满足i!=j、i!=k且j!=k，同时还满足nums[i]+nums[j]+nums[k]==0。请你返回所有和为0且不重复的三元组。注意：答案中不可以包含重复的三元组。示例1：输入：nums=[-1,0,1,2,-1,-4]输
  • Mapster：深入了解快速且高效的对象映射库 江沉晚呤时 NetcoreC#microsoftwindows.netcorec#asp.netnet
    在.NET开发中，处理对象间的映射通常是一项重复且容易出错的任务。为了简化这一过程，开发者常常使用诸如AutoMapper这样的库，而Mapster是另一个轻量级且高效的替代方案。Mapster提供了强大的功能、简洁的配置和优秀的性能，尤其适合对性能要求较高的场景。本文将详细介绍Mapster的使用方法，包括基础用法、高级特性以及性能优化，帮助你充分利用这一工具。1.安装Mapster首先，我们需
  • C# 中的委托：详细解析与完整应用 江沉晚呤时 c#开发语言
    在C#中，委托（Delegate）是一种类型安全的函数指针，它允许程序将方法作为参数传递，或者将方法赋值给委托实例。委托是C#编程中非常强大的功能，它在事件处理、回调、异步编程等多种场景中有广泛的应用。本篇文章将详细介绍C#委托的基本概念、用法以及高级应用。1.委托的基础概念1.1委托的定义委托是用于封装具有特定签名的方法的类型。在C#中，委托允许你将方法的引用作为参数进行传递或者赋值给一个变量。
  • field.setAccessible(true)；代码扫描有安全漏洞,解决方案 码叔义 常规发表java开发语言
    AccessibleObject类是Field、Method和Constructor对象的基类，能够允许反射对象修改访问权限修饰符，绕过由Java访问修饰符提供的访问控制检查。它让程序员能够更改私有字段或调用私有方法，这在通常情况下是不允许的。例如：以下代码片段中，将Field将accessible标记设置为true。Classclazz=User.class;Fieldfield=clazz.g
  • 在Python中运行sql语句 静默追光 sqloracle数据库
    导入pymysql或者是MySQL.connector模快importpymysql#最常用importmysql.connector连接数据库#连接数据库使用pymysql模块db=pymysql.connect(host="192.168.1.110",#数据库主机名user="root",#数据库用户名password="root",#数据库密码database="test",#数据库名称c
  • 理解 C# 泛型接口中的协变与逆变（抗变） 幻凌风 NET
    一、协变和逆变是什么？先从字面上理解协变(Covariance)、逆变(Contravariance)。co-是英文中表示“协同”、“合作”的前缀，协变的字面意思就是“与变化的方向相同”。contra-是英文中表示“相反”的前缀，逆变的字面意思就是是“与变化方向相反”。那么问题来了，这里的变化方向指的是什么？C#中对于对象（即对象引用），仅存在一种隐式类型转换，即子类型的对象引用到父类型的对象引用
  • 供应链管理：质量屋HQ / House of Quality 快雪时晴-初晴融雪 供应链管理供应链管理
    在供应链管理中，质量屋（HouseofQuality,HOQ）是一种重要的质量管理工具，它源于质量功能配置（QualityFunctionDeployment,QFD）理论，用于将顾客需求转化为产品或服务的技术要求，从而确保产品或服务能够满足顾客的期望，提升供应链的整体质量水平。一、质量屋（HOQ）的基本概念质量屋（HouseofQuality,HOQ）是一种直观的矩阵框架表达形式，用于界定顾客需
  • AI问答-供应链管理：直接采购和间接采购有什么区别 快雪时晴-初晴融雪 供应链管理供应链管理
    直接采购和间接采购是企业采购活动中的两种主要方式，它们在多个方面存在显著的区别。以下是关于直接采购和间接采购的详细对比：直接采购间接采购定义企业直接从生产商或供应商处购买所需的产品或服务，无需经过中间商或分销商。企业通过中间商（如贸易公司、物资公司、采购中介组织等）实施采购行为，也称委托采购或中介采购。服务对象主要服务于外部客户，用于产品生产及销售所需的物料与服务。主要服务于内部客户，支持产品生产
  • VSCode/Cursor 配置Clang-Format shanght1 vscodeide编辑器c++
    1、下载安装插件：Clang-Format2、下载安装Clang-Format运行文件LLVM-19.1.5-win64.exe3、解压上述文件至自定义文件夹如：E:\soft\LLVM4、自定义文件夹中存放：clang-format文件，内容可自己生成也可以网上找注意文件格式需要为：UTF-8eg：D:\Project\.clang-format5、配置clang-format插件设置：vsco
  • 力扣-数组-34 在排序数组中查找元素的第一个和最后一个位置 夏末秋也凉 力扣#数组leetcode算法数据结构
    思路和时间复杂度思路：先找到中间数，如果没找到就返回{-1，-1}，如果找到了就以当前节点为中点，向两边扩时间复杂度：代码classSolution{public:vectorsearchRange(vector&nums,inttarget){vectorres;if(nums.size()==0)return{-1,-1};//左闭右开intleft=0,right=nums.size();i
  • python动态SQL并执行查询 IT-例子 pythonpythonsql数据库
    python动态SQL#coding=utf-8#sqlserver的连接importpymssqlimportdatetimeimporttimestart=time.perf_counter()print('程序正在运行,请稍等...')print("数据读取中...")today_now=datetime.datetime.now()print("现在时间是：",today_now)"""这
  • Java基础知识:标识符、关键字、数据类型 谏君之 java教程javajvm开发语言编程
    Java标识符Java中的标识符是赋予变量、类、方法、包、接口等的名称。这些是唯一的名称，每个Java变量都必须使用唯一名称进行标识。例：publicclassTest{publicstaticvoidmain(String[]args){inta=20;}}在上面的Java代码中，我们有5个标识符，如下所示：测试：类名main：方法名称字符串：预定义的类名args：变量名称a：变量名称Java标
  • Docker 的基本概念和优势，以及在应用程序开发中的实际应用。 m0_65559335 计算机杂谈docker容器运维
    Docker是一个开源的容器化平台，可以将应用程序和所有其依赖的组件打包成一个容器。它的基本概念是镜像和容器。镜像是一个只读的文件，包含了需要运行的应用程序和其所需的操作系统、库文件和依赖项。镜像可以从DockerHub等公共或私有仓库中获取，也可以通过Dockerfile定义自己定制的镜像。容器是从镜像创建的运行实例，是可执行和可移植的。每个容器都是独立的，隔离的环境，可以在任何支持Docker
  • 管理存储堆栈 上邪o_O RedhatLinux知识点linux
    分别说明LVM中物理卷、物理区块、卷组、逻辑卷的概念以及它们之间的关系。物理卷是LVM的基础，它可以是整个物理磁盘，也可以是磁盘上的一个分区。物理卷是LVM管理的最小物理存储单元，它被初始化为LVM可以识别的格式，包含了LVM的元数据。物理区块是物理卷中可分配的最小存储单元。在创建卷组时，会指定物理区块的大小。物理卷被划分为多个大小相等的物理区块，这些物理区块可以被分配给逻辑卷使用。卷组是由一个或
  • Microsoft SQL Server 2012(附序列号) 曹瑞曹瑞
    MicrosoftSQLServer2012是微软发布的新一代数据平台产品。SQLServer2012不仅延续现有数据平台的强大能力，全面支持云技术与平台，并且能够快速构建相应的解决方案实现私有云与公有云之间数据的扩展与应用的迁移。SQLServer2012提供对企业基础架构最高级别的支持—专门针对关键业务应用的多种功能与解决方案可以提供最高级别的可用性及性能。在业界领先的商业智能领领域，SQLS
  • 软件测试工作的必要性分析 噔噔噔噔@ 压力测试功能测试
    软件测试是确保软件质量的关键步骤，它的必要性体现在以下几个方面：发现和修复缺陷：软件测试可以帮助发现软件中存在的缺陷和问题，及时修复这些问题可以提高软件的稳定性和可靠性，避免用户在使用过程中遇到意外情况。提高用户满意度：经过充分测试的软件往往具有更好的性能、稳定性和易用性，用户在使用时体验更加顺畅，从而提升用户的满意度和忠诚度。节省成本：在软件开发过程中发现和解决问题的成本要低于将软件发布后再修复
  • 高效备考策略：考研英语阅读理解深度剖析 闲虎考研 考研经验考研
    随着考研竞争日益激烈，英语作为考研的重要科目，其阅读理解部分成为了考生们的难点和重点，想要在考研英语中取得高分，必须对阅读理解部分进行深入剖析，掌握高效备考策略，本文将从考研英语阅读理解的特点、技巧和方法三个方面进行详细讲解，帮助考生提高阅读理解能力。考研英语阅读理解的特点1、题材广泛：考研英语阅读理解的题材涵盖多个领域，如经济、文化、科技、环保等，考生在备考过程中，需要广泛涉猎各类文章，提高自己
  • UVa10572 Black & White 惆怅客123 UVa部分题目解题报告动态规划插头dp染色模型轮廓线动态规划最小表示法
    UVa10572Black&White题目链接题意输入格式输出格式分析AC代码题目链接  UVa10572Black&White题意  在一个m行n列的网格中已经有一些格子涂上了黑色或者白色。你的任务是把其他格子也涂上黑色或者白色，使得任意2×2子网格不会全黑或者全白，且所有黑格四连通，所有白格也四连通。输出方案总数和其中一组方案。  比如，在下图所示的4幅图中，第一幅中黑格不连通，第三幅中存在2
  • 基于Arduino的ESP32开发环境搭建 惆怅客123 嵌入式开发单片机ArduinoESP32VSCode
    ESP32(Euno)购买链接串口驱动开发环境搭建参考自开发环境搭建_arduinoesp32_NaisuXu的博客-CSDN博客下载安装ArduinoIDE：https://www.arduino.cc/en/Main/SoftwareArduinoIDE中添加ESP32开发板数据：安装完成后选择：文件>首选项>附加开发板管理器网址中加入Arduinocoreforesp32的地址https:/
  • Kotlin D3 GH小杨 kotlin开发语言android
    KotlinD3面向对象一、课程目标本次课程旨在让学员全面且深入地了解面向对象编程的核心概念，透彻掌握类与对象之间的紧密关系，熟练运用Kotlin语言中各类常用类进行程序开发。通过理论知识的系统讲解、丰富多样的实际案例分析以及详细的代码解读，帮助学员将面向对象编程思想融入到Kotlin编程实践中，提升解决实际问题的能力，为后续开发复杂的Kotlin应用程序奠定坚实基础。二、面向对象的概念2.1什么
  • 网站总报SSL错误？常见原因及解决方案 WoTrusSSL sslhttps网络协议
    作为企业网站运营者，SSL证书就像“网络身份证”，它能加密数据、保护用户隐私，让客户放心下单。但一旦出现SSL错误，浏览器直接亮红警告，用户秒关页面，订单流失、品牌形象受损都可能发生！别慌！我们整理了企业最常见的几种SSL错误原因及解决方案，教你如何快速排查修复，让网站安全又稳定！1.证书装错了？检查配置细节！问题：SSL证书安装时，路径填错、私钥不匹配、参数设置漏了……一个小失误就能让证书“罢工
  • SpringBean的实例创建方式 LDM>W< Java学习javaspring
    说在前面：可能会疑惑之前不是学了两种方式吗：beanFactory和applicationContext。最根本来讲，就是通过工厂模式创建。是的，是工厂模式创建，但又分了两种方式：构造+工厂构造方法其中又分为了无参构造和有参构造。在默认情况下，工厂就是通过无参构造来创建bean的，如果我们提供的是有参构造的话，就需要在配置中添加参数publicServiceImpl(StringchineseNa
  • Java小白-Properties类 林深的林 java数据库
    Properties类表示了一个持久的属性集。Properties可保存在流中或从流中加载。属性列表中每个键及其对应值都是一个字符串。特点：1.继承于Hashtable，是线程安全的键值对存储结构继承自Hashtable：Properties类继承自Hashtable，而Hashtable是一个古老的线程安全的键值对存储结构。这意味着Properties也继承了线程安全的特性。线程安全：由于继承自
  • Nginx负载均衡 510888780 nginx应用服务器
    Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）       每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight       指定轮询几率，weight和访问比率成正比
  • RedHat 6.4 安装 rabbitmq bylijinnan erlangrabbitmqredhat
    在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功 机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
  • FilenameUtils工具类 eksliang FilenameUtilscommon-io
    转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述 这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。
  • xml文件解析SAX 不懂事的小屁孩 xml
    xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
  • 通过定时任务执行mysql的定期删除和新建分区，此处是按日分区 酷的飞上天空 mysql
    使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
  • 如何搭建数据湖架构？听听专家的意见 蓝儿唯美 架构
    Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据  “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
  • spring学习——控制反转与依赖注入 a-john spring
           控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。  
  • 用spool+unixshell生成文本文件的方法 aijuans xshell
    例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
  • 1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
    OOA:Object-Oriented Analysis（面向对象分析方法） 是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。 　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
  • 浅谈java转成json编码格式技术 百合不是茶 json编码java转成json编码
    json编码;是一个轻量级的数据存储和传输的语言       在java中需要引入json相关的包,引包方式在工程的lib下就可以了   JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非   常适合于服务器与 JavaScript 之间的数据的交
  • web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 javaweb.xmlSSIspring配置
    指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
  • Installing SonarQube（Fail to download libraries from server） sunjing InstallSonar
    1.  Download and unzip the SonarQube distribution 2.  Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
  • 【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
    一、创建复本集   假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令：   mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
  • Anychart图表系列二之执行Flash和HTML5渲染 白糖_ Flash
    今天介绍Anychart的Flash和HTML5渲染功能   HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。 这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
  • Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
    昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
  • 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
    import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析 问题： 有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头， 能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
  • lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引lunce
    import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
  • [IT与投资]坚持独立自主的研究核心技术 comsci it
           和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段.....        所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
  • flashback transaction闪回事务查询 daizj oraclesql闪回事务
       闪回事务查询有别于闪回查询的特点有以下3个： （1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。 （2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。 （3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
  • Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件 游其是你 FilenameFilter
    这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
  • C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
    # include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
  • 今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
    今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again   处理很简单，修改文件“/etc/yum.repos.d/epel.repo”， 将baseurl的注释取消， mirrorlist注释掉。即可。 &n
  • 单例模式 shuizhaosi888 单例模式
    单例模式      懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
  • Spring Security（09）——Filter 234390216 Spring Security
    Filter 目录 1.1     Filter顺序 1.2     添加Filter到FilterChain 1.3     DelegatingFilterProxy 1.4     FilterChainProxy 1.5
  • 公司项目NODEJS实践0.1 逐行分析JS源代码 mongodbnginxubuntunodejs
      一、前言         前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。         网上有很多nod
  • java.lang.Math liuhaibo_ljf javaMathlang
    System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
  • linux下时间同步 nonobaba ntp
    今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误  PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
  • ZooKeeper3.4.6的集群部署 roadrunners zookeeper集群部署
    ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。   1、准备工作 我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。   数据存储目录
  • Java高效读取大文件 tomcat_oracle java
    　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： 　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
  • 微信支付api返回的xml转换为Map的方法 xu3508620 xmlmap微信api
    举例如下： <xml>    <return_code><![CDATA[SUCCESS]]></return_code>    <return_msg><![CDATA[OK]]></return_msg>    <appid><
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他