塞爾魚
塞爾魚

HADOOP 3.0.0 之 HDFS RAID

author: fenqi@mogujie
date: 2016/05/19

背景

  • 场景1：实时访问冷数据存储

  • 场景2：归档数据库备份

    目标：降低存储成本，降低扩容难度

//: # (- 使用CDN发行版 hadoop-2.6.0-cdh5.7.0，3副本)
//: # (- JDK 1.7)

选型

现有方案

  1. Apache官方方案
    Hadoop with Erasure Code inside: 1, 2. 计划在Apcache Hadoop 3.0中发布，目前还未release，代码已经合并到trunk，java版本要求是JDK 1.8以上。

    Requirements:

* Unix System
* JDK 1.8+
* Maven 3.0 or later

由于目前是alpha版本，所以没有使用案例

  • Facebook方案
    HDFS RAID introduced by Facebook，github上的代码14年开始不再维护了，这个方案存在一些问题，对于我们需要使用的场景有影响的是：

    Secondly, when files are replicated across clusters, sometimes parity files are not moved together with their source files. This often leads to data loss.

    有两种编码：XOR and Reed-Solomon
    国内公司使用情况了解到的：豌豆荚在使用；腾讯从2014年开始使用，目前仍在大规模使用；之前淘宝使用过，但是云梯集群目前已下线。
    由于HDFS RAID是基于hadoop 0.20版本上做的更改，而且方案在一些场景下有问题，所以使用基本上都需要移植

  • USC方案
    Xorbas, from USC paper working with facebook. github上代码12年开始没有更新

  • 其它：usenix paper

初步倾向

选型关注点：方案的可重用性、可持续性，团队成长，项目周期
  1. 在hadoop稳定版本上移植HDFS RAID的功能，开发周期长，目前没有相关积累，且后面可能会面临升级到Hadoop3的问题；

  • 方案重用的意义不大，虽然有一些价值，但这个时间点和Hadoop3发布时间点太近；

  • 目前业务需求不是特别紧急，可以在hadoop 3.0.0上多做一些测试验证

  • 在hadoop 3.0.0的基础上做开发维护，方案更有可持续性，经验也可以重用到其它现有集群

    倾向于谨慎使用hadoop 3.0.0

Hadoop 3.0.0 安装

系统环境

    vps: bandwagon (Los Angeles)
    os: CentOS release 6.6 (Final)

软件版本

Repos: git://git.apache.org/hadoop.git
Revision: 1597630681c784a3d59f5605b87e96197b8139d7
Date:   Wed May 18 18:46:00 2016 -0700

安装过程

  1. clone source

git clone git://git.apache.org/hadoop.git


2. install [java8](http://tecadmin.net/install-java-8-on-centos-rhel-and-fedora/)
3. install packages 

    ```
sudo yum install autoconf automake libtool cmake zlib-devel gcc-c++ openssl-devel

  1. install protobuf2.5.0

  2. 编译

mvn package -Pdist,native -DskipTests -Dtar

6. 完成

    ```
Hadoop dist tar available at: /home/fenqi/code/hadoop/hadoop-dist/target/hadoop-3.0.0-alpha1-SNAPSHOT.tar.gz

部署

同hadoop-2.6.0-cdh5.7.0相同方式部署，namenode web ui端口从之前默认的50070变为9870


  dfs.namenode.http-address
  0.0.0.0:9870
  
    The address and the base port where the dfs namenode web ui will listen on.

从web上可以更改文件所属的用户、组和权限，但是操作会报错

$ hdfs erasurecode -setPolicy /
EC policy set successfully at hdfs://mogunode:9000/

$ hdfs erasurecode -getPolicy /
ErasureCodingPolicy=[Name=RS-DEFAULT-6-3-64k, Schema=[ECSchema=[Codec=rs-default, numDataUnits=6, numParityUnits=3]], CellSize=65536 ]

$ hdfs erasurecode -listPolicies
RS-DEFAULT-3-2-64k, RS-DEFAULT-6-3-64k, RS-LEGACY-6-3-64k

尝试用之前安装的hadoop-hdfs-fuse-2.6.0+cdh5.7.0写入文件，写入到128M就会报错：

$ dd if=/dev/zero bs=4096 count=1048576 of=file_4GB
dd: 正在写入"file_4GB": 输入/输出错误
记录了66823+0 的读入
记录了66822+0 的写出
273702912字节(274 MB)已复制，16.4314 秒，16.7 MB/秒

namenode上无ERROR级别日志，只有INFO级别异常：

org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException: Not replicated yet: /file_4GB
    at org.apache.hadoop.hdfs.server.namenode.FSDirWriteFileOp.validateAddBlock(FSDirWriteFileOp.java:200)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2484)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:844)

使用hadoop shell -copyFromLocal 写入，可以看到错误原因：

$ hadoop fs -copyFromLocal file_4GB /file_4GB
copyFromLocal: Failed to get 6 nodes from namenode: blockGroupSize= 9, blocks.length= 4

启动了7个节点之后，写入成功，但是有很多WARN级别日志：

$ hadoop fs -copyFromLocal file_4GB /file_4GB
16/05/19 20:12:08 WARN hdfs.DFSOutputStream: Failed to get block location for parity block, index=7
16/05/19 20:12:08 WARN hdfs.DFSOutputStream: Failed to get block location for parity block, index=8
16/05/19 20:12:34 INFO hdfs.DFSOutputStream: replacing previously failed streamer #7: failed, block==null
16/05/19 20:12:34 INFO hdfs.DFSOutputStream: replacing previously failed streamer #8: failed, block==null
……repeat……
16/05/19 20:14:02 WARN hdfs.DFSOutputStream: Block group <1> has 2 corrupt blocks.
16/05/19 20:14:02 WARN hdfs.DFSOutputStream: Block group <2> has 2 corrupt blocks.
16/05/19 20:14:02 WARN hdfs.DFSOutputStream: Block group <3> has 2 corrupt blocks.
16/05/19 20:14:02 WARN hdfs.DFSOutputStream: Block group <4> has 2 corrupt blocks.
16/05/19 20:14:02 WARN hdfs.DFSOutputStream: Block group <5> has 2 corrupt blocks.
16/05/19 20:14:02 WARN hdfs.DFSOutputStream: Block group <6> has 2 corrupt blocks.

最终：

DFS Used:   4.7 GB (0.12%)

副本因子变为：1.175 （RS-DEFAULT-6-3-64k的理论值是1.5，这里和预期不一致）

3副本的情况下写入之后占用空间是12GB

DFS Used:   12.09 GB (0.32%)

致谢

@涂旭东
@吴镝
@张友东
@姜博
@腾讯大数据

引用

[1]http://www.cnblogs.com/foxmailed/p/4336266.html
[2]http://jiangbo.me/blog/2013/06/05/setup-hdfs-raid/
[3]http://data.qq.com/article?id=815
[4]http://data.qq.com/article?id=2929
[5]https://wiki.apache.org/hadoop/HDFS-RAID
[6]https://www.usenix.org/node/188447
[7]http://www.csdn.net/article/2013-07-04/2816109-Hadoop_with_XOR_Erasure_Code_spare_bandwidth
[8]https://blog.cloudera.com/blog/2015/09/introduction-to-hdfs-erasure-coding-in-apache-hadoop/
[9]http://blog.cloudera.com/blog/2016/02/progress-report-bringing-erasure-coding-to-apache-hadoop/
[10]http://smahesh.com/HadoopUSC/
[11]https://code.facebook.com/posts/536638663113101/saving-capacity-with-hdfs-raid/

你可能感兴趣的:(HADOOP 3.0.0 之 HDFS RAID)

  • 集群间hive数仓迁移 one code database
    方式一：(此方法需要建库建表)第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get/user/hive/warehouse/dc_ods.db
  • node笔记05——Nodejs学习之Express中间件与接口的编写，GET和POST接口的编写和案例演示。 noahsark747 学习中间件前端
    认识expressexpress是基于Node.js平台的web开发框架作用和Node.js内置的http模块类似，是专门用来创建Web服务器的。本质上Express就是一个npm的第三方包提供了快速创建Web服务器的便捷方法。中文官网：expressjs.com.cnexpress的作用：快速方便的创建Web网站服务器和API接口服务器express的基本使用一、下载express包npmiex
  • Hive中没有超级管理员，如何进行权限控制 二进制_博客 大数据hivehadoop数据仓库
    Hive中没有超级管理员，任何用户都可以进行Grant/Revoke操作开发实现自己的权限控制类，确保某个用户为超级用户比如任何用户都可以grant权限给别的用户。grantselectontabletest2touserhadoop;如何开发一个超级管理员：创建一个项目，导入mavanjar包，然后开始编写hook类importcom.google.common.base.Joiner;impo
  • 记录 io.springfox 3.0.0 整合 spring boot 2.6.x 由于 springfox bug 引发问题 树懒_Zz Springspringbootbugwindows
    首先第一个问题就是不兼容：解决方案：@BeanpublicstaticBeanPostProcessorspringfoxHandlerProviderBeanPostProcessor(){returnnewBeanPostProcessor(){@OverridepublicObjectpostProcessAfterInitialization(Objectbean,StringbeanNa
  • 重生之我在异世界学编程之算法与数据结构：算法复杂度介绍篇 就爱学编程 数据结构与算法算法数据结构排序算法
    大家好，这里是小编的博客频道小编的博客：就爱学编程很高兴在CSDN这个大家庭与大家相识，希望能在这里与大家共同进步，共同收获更好的自己！！！本文目录引言正文一时间复杂度1.常数时间复杂度O(1)2.线性时间复杂度O(n)3.对数时间复杂度O(logn)4.平方时间复杂度O(n^2)5.指数时间复杂度O(2^n)二空间复杂度（1）空间复杂度的定义与重要性（2）常见的空间复杂度类型及介绍1.常数空间复
  • 重生之我在异世界学编程之算法与数据结构：深入静态顺序表篇 就爱学编程 数据结构与算法算法数据结构
    大家好，这里是小编的博客频道小编的博客：就爱学编程很高兴在CSDN这个大家庭与大家相识，希望能在这里与大家共同进步，共同收获更好的自己！！！本文目录引言正文一、顺序表的概念及结构1.顺序表的定义2.顺序表的结构3.顺序表的初始化二、顺序表的基本操作（静态）1.插入操作2.删除操作3.查找操作4.更新操作5.获取元素操作6.遍历操作7.求顺序表的长度8.判断顺序表是否为空快乐的时光总是短暂，咱们下篇
  • 重生之我在异世界学编程之C语言：深入动态内存管理篇 就爱学编程 C语言c语言网络android
    大家好，这里是小编的博客频道小编的博客：就爱学编程很高兴在CSDN这个大家庭与大家相识，希望能在这里与大家共同进步，共同收获更好的自己！！！本文目录引言正文一动态内存管理的必要性二动态内存管理的关键函数1.`malloc`函数2.`calloc`函数3.`realloc`函数4.`free`函数三动态内存管理中的错误和最佳实践1.内存泄漏2.野指针3.内存越界四动态内存管理的高级主题内存分配器内存
  • 重生之我在异世界学编程之C语言：深入指针篇（上） 就爱学编程 C语言c语言开发语言
    大家好，这里是小编的博客频道小编的博客：就爱学编程很高兴在CSDN这个大家庭与大家相识，希望能在这里与大家共同进步，共同收获更好的自己！！！本文目录引言正文（1）内置数据类型指针（2）自定义类型指针1.数组指针与指针数组2.结构体指针3.联合体指针（1）联合体指针的定义（2）联合体指针的使用（3）联合体指针的注意事项（3）函数指针1.函数指针的定义2.函数指针的赋值3.函数指针的使用4.函数指针作
  • 性能场景之异常场景 wfw123123 性能测试html5物联网java压力测试
    谈到异常场景，其实大家并不陌生，我们在做功能测试的时候，也要考虑异常用例，例如：切换网络，断网，中断使用等等。那么，性能中的异常场景，我们具体该怎么做呢？设计哪些问题才能将异常场景覆盖完整？这就需要我们明确两个关键点：一是异常场景的范围，二是异常场景的设计逻辑。异常场景的范围我理解的异常场景中，基本上采用的就是是宕主机、断网络、宕应用这几种测试手段。此外，从主机、网络、应用等角度出发，还会有一些细
  • qt/c++学习笔记之基于tcp的文件同步程序demo（第二部分） Bryce学亮 qtc++学习
    server服务器端头文件filebase.h#ifndefFILEBASE_H#defineFILEBASE_H#include#include#include#include#includeenumMsgType{MsgTypeInvaid=0,MsgTypeFile,MsgTypeDel,MsgTypeRename};classfilebase:publicQObject{Q_OBJECTp
  • 手摸手系列之---camel ftp监听接收解析xml报文并入库生成Java对象实战 码上艺术家 camelxmlcamel
    前言版本：SpringBoot2.4camel3.5.0最近在做跟一个第三方系统的对接，主要流程就是对方生成XML格式的报文，需要我方将其报文发送到海关申报，然后将申报完的数据再组装成XML报文格式发回到对方的FTP服务器。功能其实挺简单，用Apache的camel-ftp很容易就能实现，下面看看具体如何做吧。一、引入camel依赖：org.apache.camel.springbootcamel
  • 手摸手系列之---camel ftp监听本地报文目录，并在报文生成后上传到远程第三方ftp服务器实战 码上艺术家 camel服务器运维
    前言版本：SpringBoot2.4camel3.5.0上篇文章已经说过项目需求和主要流程，现在已经接收解析xml报文并入库生成Java对象。下一步就是处理完生成的数据生成XML报文，再返回给第三方ftp服务器了。下面看看怎么做。1.增加camel配置，本地监听目录和远程第三方ftp服务器URL。#camel配置camel:#camelftp服务路由地址route:id:XMLRouteftp:s
  • Spring-@Configuration注解简析
    大家好，我是半夏之沫一名金融科技领域的JAVA系统研发我希望将自己工作和学习中的经验以最朴实，最严谨的方式分享给大家，共同进步写作不易，期待大家的关注和点赞关注微信公众号【技术探界】前言Spring中的@Configuration注解修饰的类被称为配置类，通过配置类可以向容器注册bean以及导入其它配置类，本篇文章将结合例子和源码对@Configuration注解原理进行学习，并引出对Spring
  • 机器学习数据预处理preprocessing之KernelCenterer 一叶_障目 机器学习人工智能
    sklearn.preprocessing.KernelCenterer对矩阵XXX执行中心化操作，即使得核矩阵的行和列的均值为零给定二维矩阵XXX，可以下式得到其核变换矩阵KKK：K(X,X)=ϕ(X).ϕ(X)TK(X,X)=\phi(X).\phi(X)^TK(X,X)=ϕ(X).ϕ(X)T式中ϕ(X)\phi(X)ϕ(X)是一种将XXX从原始空间映射到希尔伯特空间的函数希尔伯特空间是一种完
  • 头歌C语言数据结构课程实验（链表及其应用） zzj_262610 头歌C语言数据结构数据结构c语言链表
    第1关：链表的实现之查找功能任务描述本关任务：实现链表的查找功能。相关知识为了完成本关任务，你需要掌握：1.链接存储，2.链表涉及的主要操作。链接存储线性表的存储也可以采用链接存储方式来实现。链接存储方式包括单链表、双链表和循环链表等形式。下面描述了一种基于单链表的线性表实现方案：为了讨论简单，假设数据元素的类型为整数：typedefintElemType;在链表中，每个数据元素为一个链表结点，结
  • PyTorch机器学习与深度学习技术方法 Teacher.chenchong 机器学习python开发语言
    近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受到越来越多科研人员的关注和喜爱。Python基础知识串讲1、Python环境搭建（Python软件下载、安装与版本选择；PyCharm下载、安装；Python之HelloW
  • 调试Hadoop源代码 一张假钞 hadoopeclipse大数据
    个人博客地址：调试Hadoop源代码|一张假钞的真实世界Hadoop版本Hadoop2.7.3调试模式下启动HadoopNameNode在${HADOOP_HOME}/etc/hadoop/hadoop-env.sh中设置NameNode启动的JVM参数，如下：exportHADOOP_NAMENODE_OPTS="-Xdebug-Xrunjdwp:transport=dt_socket,addr
  • 「C/C++」C++关键字 之 mutable 可变变量关键字 何曾参静谧 c语言c++java
    ✨博客主页何曾参静谧的博客（✅关注、点赞、⭐收藏、转发）全部专栏（专栏会有变化，以最新发布为准）「Win」Windows程序设计「IDE」集成开发环境「定制」定制开发集合「C/C++」C/C++程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「UG/NX」BlockUI集合「Py」Python程序设计「Math」探秘数学世界「PK」Paras
  • 大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构 武子康 大数据离线数仓大数据数据仓库java后端hadoophive
    点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已
  • 避坑指南：Element UI在Vue2项目开发中的那些坑与解 前端没钱 前端基础与进阶ui
    文章目录一、引言二、ElementUI初体验之坑（一）安装后不生效解决方案：（二）组件引入报错解决方案：三、表单组件的那些“小脾气”（一）重置表单后无法输入（二）表单自动校验“抽风”解决方案：四、日期组件的“时差”问题（一）DatePicker日期难改解决方案：（二）datetime类型报错解决方案：（三）IE11日期显示“失踪”解决方案：五、表格组件的“疑难杂症”（一）el-table列自适应“
  • Python AI教程之二十一：监督学习之支持向量机（SVM）算法 潜洋 人工智能Python中级支持向量机算法机器学习python
    支持向量机（SVM）算法支持向量机(SVM)是一种功能强大的机器学习算法，广泛用于线性和非线性分类以及回归和异常值检测任务。SVM具有很强的适应性，适用于各种应用，例如文本分类、图像分类、垃圾邮件检测、笔迹识别、基因表达分析、人脸检测和异常检测。SVM特别有效，因为它们专注于寻找目标特征中不同类别之间的最大分离超平面，从而使其对二分类和多分类都具有鲁棒性。在本大纲中，我们将探讨支持向量机(SVM)
  • pyspark 中删除hdfs的文件夹 TDengine （老段） 大数据sparkhadoophdfsmapreduce
    在pyspark中保存rdd的内存到文件的时候，会遇到文件夹已经存在而失败，所以如果文件夹已经存在，需要先删除。搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。后来通过查找hadoophdfs的源代码发现hdfs是通过java的包org.appache.had
  • 算法第十六期——动态规划(DP)之线性DP 小叶pyか 算法动态规划
    【概述】线性动态规划，是较常见的一类动态规划问题，其是在线性结构上进行状态转移，这类问题不像背包问题、区间DP等有固定的模板。线性动态规划的目标函数为特定变量的线性函数，约束是这些变量的线性不等式或等式，目的是求目标函数的最大值或最小值。因此，除了少量问题（如：LIS、LCS、LCIS等）有固定的模板外，大部分都要根据实际问题来推导得出答案。【例题】最长公共子序列(LCS)lanqiao0J题号1
  • Linux系统之配置Nginx负载均衡 江湖有缘 Linux技术学习linuxnginx负载均衡
    Linux系统之配置Nginx负载均衡一、Nginx介绍1.1Nginx简介1.2Nginx反向代理1.3相关概念二、本次实践介绍2.1本次实践简介2.2本次实践环境规划三、部署两台web服务器3.1运行两个Docker容器3.2编辑测试文件四、配置负载均衡4.1安装nginx软件4.2编辑nginx配置文件4.3启动Nginx服务4.4检查Nginx服务状态4.5设置防火墙和selinux4.6
  • 为AI聊天工具添加一个知识系统 之45 制约门上的蒙板：图层/通道/路径 之3 一水鉴天 人工语言软件智能智能制造人工智能
    本文要点要点前一篇给出了蒙板的定义：蒙板是一个空间“层”容器（平面），唯一的操作是“替换”，唯一的限制是有确定的源和目标。它对外(API)提供一个唯一操作“替换”，本身则是一个带四个操作符(类比、扩张、收缩和修订)的一阶理论格（lattice）。本项目提出的蒙板是作为问题解决方案的议案的一个临时自组网方案（adhoc）被提出来的，它为问题提出者和解题提案者提供通道、路径和图层。蒙版揭示出意识的知性
  • Python 爬虫：获取网页数据的 5 种方法 王子良. 经验分享pythonpython开发语言爬虫
    欢迎来到我的博客！非常高兴能在这里与您相遇。在这里，您不仅能获得有趣的技术分享，还能感受到轻松愉快的氛围。无论您是编程新手，还是资深开发者，都能在这里找到属于您的知识宝藏，学习和成长。博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
  • BOOST c++库学习 之 lockfree库入门实战指南 以及 使用lockfree库时对比普通队列、栈的测试例子 Narcotis c++学习开发语言系统架构arm开发LinuxBoost
    Boost.Lockfree库提供了一系列无锁数据结构，这些数据结构的主要优势在于高并发环境下的高效性和无锁操作的性能提升。无锁数据结构避免了传统的锁操作（如互斥锁）带来的性能瓶颈和复杂性，尤其在多核处理器系统中能够显著提高效率。核心组件1.无锁队列(boost::lockfree::queue)简介:boost::lockfree::queue是一个多生产者-多消费者（MPMC）的无锁队列，允许
  • Python进阶之-Enum（枚举） 夏天Aileft Pythonpython枚举
    ✨前言：什么是枚举？枚举（Enumeration）是一种数据类型，其中每个枚举值都是一个实例，都代表该数据类型的一个可能的值。在很多编程语言中，比如C、Java、C#和Python等，枚举都得到了支持，枚举成员常常用于代替一组硬编码的常量。枚举是一种编程模式，用于定义一组有限、固定且通常不可变的值的集合。这些值称为枚举的成员（或元素）。枚举的每个成员都有一个名称和一个相关联的数值（可以是整数、字符
  • Java数据结构的实现 绝域时空 Java语言（IDEA）链表数据结构java
    文章目录一、Java数据结构二、数据结构之数组和链表（Java语言描述）1、Java数组1.初始化数组2.直接赋值3.可变数组2、链表1.节点定义2.实例化节点三、数据结构之树和图（Java语言描述）1、树和图2、树1.树的节点创建2.创建树3、图1.邻接矩阵创建图2.邻接表创建图四、数据结构之散列表和堆（Java语言描述）1、散列表（hash表）和堆2、散列表（hash表）3、堆五、数据结构之栈
  • 链路测试tool之MTR详解 浅夏入秋^_^ 网络基础服务器网络运维
    背景当客户端访问服务端，使用ping命令出现不通或丢包时，可以使用mtr进行链路测试。测试方式正向链路测试（客户端-->服务端）反向链路测试（服务端-->客户端）工具简介MTR是一款网络诊断工具，它将ping和traceroute的功能合并，相对于traceroute只会做一次链路跟踪测试，mtr会对链路上的相关节点做持续探测并给出相应的统计信息。因此，mtr能避免节点波动对测试结果的影响，所以其
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他