xygan

使用bulkload时HBase Master退出

版本信息（注意不同版本之间的差异）：

HBase Version : 0.90.3, r1100350
Hadoop Version : 0.20.3-SNAPSHOT, r1057313

问题描述

在使用HFileOutputFormat.configureIncrementalLoad()时，MapReduce的job跑的时间在20分钟左右，经常发现Master自动退出，日志的部分信息后面贴上。日志显示的主要问题是zookeeper（简称ZK）会话过期，然后接着一堆的KeeperException异常。最终Master自己退出，regionserver和ZK还继续运行。

解决尝试过程

给hbase的邮件组发了邮件，描述了问题，很快得到了Stack的回答，Stack也确认了这个是ZK超时引起的Master故障。主要是两个方面可能引起超时，一是ZK节点上有MapReduce任务在跑，几乎占据了所有的IO（磁盘IO和网络IO）；二是Java GC运行占据了大多数资源。

的确，我的集群的ZK节点上同时是TaskTracker和DataNode，跑Job时会占据大量IO，但是GC的占据不大。试着将ZK节点和TaskTracker节点分开，然后将zookeeper.session.timeout时间设置更大一些，不过原先我的设置就比较大了，已经是300000毫秒了，现在设置为600000毫秒。

设置后继续尝试批量导入，跑了10几个批量导入的job没发现报告超时异常。也算用一种不优雅的方式暂时解决了这个问题。

不知道zookeeper的超时时间设置太大会带来什么影响，也不知道是否有更好的办法。不断尝试，也许能有更进一步的理解，发现新的解决方法。

如果有谁有更好的方法，可以告诉我；如果文中有问题，还请指正。

附Master退出情况下的一些日志片段：

2011-06-29 02:26:40,454 INFO org.apache.zookeeper.ClientCnxn: Client
session timed out, have not heard from server in 200000ms for
sessionid 0x130d6fba3cc0001, closing socket connection and attempting
reconnect
2011-06-29 02:26:40,557 WARN org.apache.hadoop.hbase.zookeeper.ZKUtil:
master:60000-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001
Unable to get data of znode
/hbase/unassigned/3624b719752997d87cbba6529edcd2a7
org.apache.zookeeper.KeeperException$ConnectionLossException:
KeeperErrorCode = ConnectionLoss for
/hbase/unassigned/3624b719752997d87cbba6529edcd2a7
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
 at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
 at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:586)
 at org.apache.hadoop.hbase.zookeeper.ZKAssign.getDataNoWatch(ZKAssign.java:770)
 at org.apache.hadoop.hbase.master.AssignmentManager$TimeoutMonitor.chore(AssignmentManager.java:1709)
 at org.apache.hadoop.hbase.Chore.run(Chore.java:66)
2011-06-29 02:26:40,557 FATAL org.apache.hadoop.hbase.master.HMaster:
Unexpected ZK exception creating/setting node OFFLINE
org.apache.zookeeper.KeeperException$ConnectionLossException:
KeeperErrorCode = ConnectionLoss for
/hbase/unassigned/f3523f7dd3eeaae3bb3c66907227e8b0
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
 at org.apache.zookeeper.ZooKeeper.create(ZooKeeper.java:637)
 at org.apache.hadoop.hbase.zookeeper.ZKUtil.createAndWatch(ZKUtil.java:856)
 at org.apache.hadoop.hbase.zookeeper.ZKAssign.createOrForceNodeOffline(ZKAssign.java:246)
 at org.apache.hadoop.hbase.master.AssignmentManager.setOfflineInZooKeeper(AssignmentManager.java:967)
 at org.apache.hadoop.hbase.master.AssignmentManager.assign(AssignmentManager.java:918)
 at org.apache.hadoop.hbase.master.AssignmentManager.assign(AssignmentManager.java:746)
 at org.apache.hadoop.hbase.master.AssignmentManager.assign(AssignmentManager.java:726)
 at org.apache.hadoop.hbase.master.handler.ServerShutdownHandler.process(ServerShutdownHandler.java:154)
 at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:156)
 at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
 at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
 at java.lang.Thread.run(Thread.java:662)
2011-06-29 02:26:40,557 INFO org.apache.hadoop.hbase.master.HMaster: Aborting
2011-06-29 02:26:40,557 ERROR
org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher:
master:60000-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001
Received unexpected KeeperException, re-throwing exception
org.apache.zookeeper.KeeperException$ConnectionLossException:
KeeperErrorCode = ConnectionLoss for
/hbase/unassigned/3624b719752997d87cbba6529edcd2a7
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
 at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
 at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:586)
 at org.apache.hadoop.hbase.zookeeper.ZKAssign.getDataNoWatch(ZKAssign.java:770)
 at org.apache.hadoop.hbase.master.AssignmentManager$TimeoutMonitor.chore(AssignmentManager.java:1709)
 at org.apache.hadoop.hbase.Chore.run(Chore.java:66)
2011-06-29 02:26:40,558 ERROR
org.apache.hadoop.hbase.master.AssignmentManager: Unexpected ZK
exception timing out CLOSING region
org.apache.zookeeper.KeeperException$ConnectionLossException:
KeeperErrorCode = ConnectionLoss for
/hbase/unassigned/3624b719752997d87cbba6529edcd2a7
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
 at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:921)
 at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataNoWatch(ZKUtil.java:586)
 at org.apache.hadoop.hbase.zookeeper.ZKAssign.getDataNoWatch(ZKAssign.java:770)
 at org.apache.hadoop.hbase.master.AssignmentManager$TimeoutMonitor.chore(AssignmentManager.java:1709)
 at org.apache.hadoop.hbase.Chore.run(Chore.java:66)
2011-06-29 02:26:40,558 INFO
org.apache.hadoop.hbase.master.AssignmentManager: Regions in
transition timed out:
BaseLog,C110,1309156850234.bfcc3150f5b6ebd169de3266ce49e764.
state=OPENING, ts=1309285400162
2011-06-29 02:26:40,558 INFO
org.apache.hadoop.hbase.master.AssignmentManager: Region has been
OPENING for too long, reassigning
region=BaseLog,C110,1309156850234.bfcc3150f5b6ebd169de3266ce49e764.
2011-06-29 02:26:41,063 DEBUG org.apache.hadoop.hbase.master.HMaster:
Stopping service threads
2011-06-29 02:26:41,064 INFO org.apache.hadoop.ipc.HBaseServer:
Stopping server on 60000
2011-06-29 02:26:41,064 INFO org.apache.hadoop.hbase.master.HMaster$1:
dev-199-121:60000-BalancerChore exiting
2011-06-29 02:26:41,064 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 3 on 60000: exiting
2011-06-29 02:26:41,064 INFO
org.apache.hadoop.hbase.master.CatalogJanitor:
dev-199-121:60000-CatalogJanitor exiting
2011-06-29 02:26:41,066 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 7 on 60000: exiting
2011-06-29 02:26:41,066 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 6 on 60000: exiting
2011-06-29 02:26:41,066 INFO org.apache.hadoop.ipc.HBaseServer:
Stopping IPC Server listener on 60000
2011-06-29 02:26:41,066 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 9 on 60000: exiting
2011-06-29 02:26:41,066 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 1 on 60000: exiting
2011-06-29 02:26:41,066 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 4 on 60000: exiting
2011-06-29 02:26:41,066 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 0 on 60000: exiting
2011-06-29 02:26:41,065 INFO
org.apache.hadoop.hbase.master.LogCleaner:
master-dev-199-121:60000.oldLogCleaner exiting
2011-06-29 02:26:41,065 INFO org.apache.hadoop.hbase.master.HMaster:
Stopping infoServer
2011-06-29 02:26:41,065 INFO org.apache.hadoop.ipc.HBaseServer:
Stopping IPC Server Responder
2011-06-29 02:26:41,065 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 5 on 60000: exiting
2011-06-29 02:26:41,064 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 2 on 60000: exiting
2011-06-29 02:26:41,066 INFO org.apache.hadoop.ipc.HBaseServer: IPC
Server handler 8 on 60000: exiting
2011-06-29 02:26:41,073 INFO org.mortbay.log: Stopped
[email protected]:60010
2011-06-29 02:26:41,390 INFO org.apache.zookeeper.ClientCnxn: Opening
socket connection to server dev-197-149/10.249.197.149:61000
2011-06-29 02:26:41,391 INFO org.apache.zookeeper.ClientCnxn: Socket
connection established to dev-197-149/10.249.197.149:61000, initiating
session
2011-06-29 02:26:41,394 INFO org.apache.zookeeper.ClientCnxn: Session
establishment complete on server dev-197-149/10.249.197.149:61000,
sessionid = 0x130d6fba3cc0001, negotiated timeout = 300000
2011-06-29 02:27:21,996 DEBUG
org.apache.hadoop.hbase.catalog.CatalogTracker: Stopping catalog
tracker org.apache.hadoop.hbase.catalog.CatalogTracker@7bd33a6b
2011-06-29 02:27:21,997 WARN org.apache.hadoop.hbase.zookeeper.ZKUtil:
master:60000-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001
Unable to get data of znode
/hbase/unassigned/bfcc3150f5b6ebd169de3266ce49e764
java.lang.InterruptedException
 at java.lang.Object.wait(Native Method)
 at java.lang.Object.wait(Object.java:485)
 at org.apache.zookeeper.ClientCnxn.submitRequest(ClientCnxn.java:1317)
 at org.apache.zookeeper.ZooKeeper.getData(ZooKeeper.java:919)
 at org.apache.hadoop.hbase.zookeeper.ZKUtil.getDataAndWatch(ZKUtil.java:549)
 at org.apache.hadoop.hbase.master.AssignmentManager$TimeoutMonitor.chore(AssignmentManager.java:1734)
 at org.apache.hadoop.hbase.Chore.run(Chore.java:66)
2011-06-29 02:27:21,997 INFO
org.apache.hadoop.hbase.master.AssignmentManager: Successfully
transitioned region=BaseLog,C110,1309156850234.bfcc3150f5b6ebd169de3266ce49e764.
into OFFLINE and forcing a new assignment
2011-06-29 02:27:21,997 INFO
org.apache.hadoop.hbase.master.AssignmentManager: Regions in
transition timed out:
BaseLog,C2,1309156850235.f3523f7dd3eeaae3bb3c66907227e8b0.
state=OFFLINE, ts=1309285399926
2011-06-29 02:27:21,997 INFO
org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation:
Closed zookeeper sessionid=0x30d6fc37f40006
2011-06-29 02:27:21,997 INFO
org.apache.hadoop.hbase.master.AssignmentManager: Region has been
OFFLINE for too long, reassigning
BaseLog,C2,1309156850235.f3523f7dd3eeaae3bb3c66907227e8b0. to a random
server
2011-06-29 02:27:22,001 DEBUG
org.apache.hadoop.hbase.master.AssignmentManager: Handling
transition=RS_ZK_REGION_OPENING,
server=dev-195-151,60020,1309276923241,
region=6aec4056cb58be626bc1686cb77b5557, which is more than 15 seconds
late
2011-06-29 02:27:22,001 INFO org.apache.zookeeper.ZooKeeper: Session:
0x30d6fc37f40006 closed
2011-06-29 02:27:22,002 INFO org.apache.zookeeper.ClientCnxn:
EventThread shut down
2011-06-29 02:27:22,200 INFO
org.apache.hadoop.hbase.zookeeper.RegionServerTracker: RegionServer
ephemeral node deleted, processing expiration
[dev-192-19,60020,1309277114541]
2011-06-29 02:27:22,200 DEBUG
org.apache.hadoop.hbase.zookeeper.ZKAssign:
master:60000-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001
Creating (or updating) unassigned node for
4510ea062f3aee7fea9c8c034e6085af with OFFLINE state
2011-06-29 02:27:22,200 DEBUG
org.apache.hadoop.hbase.master.AssignmentManager: Forcing OFFLINE;
was=BaseLog,C110,1309156850234.bfcc3150f5b6ebd169de3266ce49e764.
state=OPENING, ts=1309285400162
2011-06-29 02:27:22,201 DEBUG
org.apache.hadoop.hbase.master.AssignmentManager: Server stopped;
skipping assign of
BaseLog,C110,1309156850234.bfcc3150f5b6ebd169de3266ce49e764.
state=OFFLINE, ts=1309285642201
2011-06-29 02:27:22,201 DEBUG
org.apache.hadoop.hbase.master.AssignmentManager: Forcing OFFLINE;
was=BaseLog,C2,1309156850235.f3523f7dd3eeaae3bb3c66907227e8b0.
state=OFFLINE, ts=1309285399926
2011-06-29 02:27:22,201 WARN org.apache.hadoop.hbase.zookeeper.ZKUtil:
master:60000-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001
Unable to set watcher on znode
(/hbase/unassigned/4510ea062f3aee7fea9c8c034e6085af)
org.apache.zookeeper.KeeperException$ConnectionLossException:
KeeperErrorCode = ConnectionLoss for
/hbase/unassigned/4510ea062f3aee7fea9c8c034e6085af
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
 at org.apache.zookeeper.ZooKeeper.exists(ZooKeeper.java:809)
 at org.apache.hadoop.hbase.zookeeper.ZKUtil.checkExists(ZKUtil.java:260)
 at org.apache.hadoop.hbase.zookeeper.ZKAssign.createOrForceNodeOffline(ZKAssign.java:244)
 at org.apache.hadoop.hbase.master.AssignmentManager.setOfflineInZooKeeper(AssignmentManager.java:967)
 at org.apache.hadoop.hbase.master.AssignmentManager.assign(AssignmentManager.java:918)
 at org.apache.hadoop.hbase.master.AssignmentManager.assign(AssignmentManager.java:746)
 at org.apache.hadoop.hbase.master.AssignmentManager.assign(AssignmentManager.java:726)
 at org.apache.hadoop.hbase.master.handler.ServerShutdownHandler.process(ServerShutdownHandler.java:154)
 at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:156)
 at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
 at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
 at java.lang.Thread.run(Thread.java:662)
2011-06-29 02:27:22,201 ERROR
org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher:
master:60000-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001-0x130d6fba3cc0001
Received unexpected KeeperException, re-throwing exception
org.apache.zookeeper.KeeperException$ConnectionLossException:
KeeperErrorCode = ConnectionLoss for
/hbase/unassigned/4510ea062f3aee7fea9c8c034e6085af
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:90)
 at org.apache.zookeeper.KeeperException.create(KeeperException.java:42)
 at org.apache.zookeeper.ZooKeeper.exists(ZooKeeper.java:809)
 at org.apache.hadoop.hbase.zookeeper.ZKUtil.checkExists(ZKUtil.java:260)
 at org.apache.hadoop.hbase.zookeeper.ZKAssign.createOrForceNodeOffline(ZKAssign.java:244)
 at org.apache.hadoop.hbase.master.AssignmentManager.setOfflineInZooKeeper(AssignmentManager.java:967)
 at org.apache.hadoop.hbase.master.AssignmentManager.assign(AssignmentManager.java:918)
 at org.apache.hadoop.hbase.master.AssignmentManager.assign(AssignmentManager.java:746)
 at org.apache.hadoop.hbase.master.AssignmentManager.assign(AssignmentManager.java:726)
 at org.apache.hadoop.hbase.master.handler.ServerShutdownHandler.process(ServerShutdownHandler.java:154)
 at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:156)
 at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
 at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)

Day_11 ROC_bird.. 算法
面试题16.15.珠玑妙算-力扣（LeetCode）/***Note:Thereturnedarraymustbemalloced,assumecallercallsfree().*///下标和对应位置的值都一样，answer[0]+1,对应位置的值猜对了，但是下标不对，answer[1]+1int*masterMind(char*solution,char*guess,int*returnSiz
Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell） May--J--Oldhu HBase HBase shell hbase物理架构 hbase逻辑架构 hbase
NoSQL综述及ApacheHBase基础一.HBase1.HBase概述2.HBase发展历史3.HBase应用场景3.1增量数据-时间序列数据3.2信息交换-消息传递3.3内容服务-Web后端应用程序3.4HBase应用场景示例4.ApacheHBase生态圈5.HBase物理架构5.1HMaster5.2RegionServer5.3Region和Table6.HBase逻辑架构-Row7.
MySQL MHA pokemon.. mysql 数据库
一、MySQLMHA高可用环境概述1.什么是MHAMHA（MasterHighAvailability）是一款用于MySQL数据库集群的高可用解决方案，主要解决MySQL单点故障问题。在MySQL集群的主服务器发生故障时，MHA可以自动执行故障切换，将一个从服务器提升为新的主服务器，最大限度地保证数据的一致性。MHA的切换时间通常在0-30秒之间，极大提高了MySQL集群的可用性。2.MHA的组成
【K8S】kubernetes集群架构与组件奇奇怪怪^ 云 Linux IT 运维服务器 linux
文章目录【K8S】kubernetes集群架构与组件kubernetes组件**master组件**node组件整体流程POD终止过程【K8S】kubernetes集群架构与组件kubernetes组件K8S是属于主从设备模型(Master-slave架构)，即有Master节点负责集群的调度、管理和运维，Slave节点是集群中的运算工作负载节点在K8S中，主节点一般被称为Master节点，而从节
Kubernetes——组件窒息う Kubernetes kubernetes 容器
文章目录K8S的优势核心架构角色与功能集群图例K8S的优势能管理大量跨主机容器快速部署应用快速扩展应用无缝对接新的应用节省资源，优化硬件资源的使用核心架构master（管理节点）node（计算节点）images（镜像节点）角色与功能Master功能提供集群的控制对集群进行全局决策检测和响应集群事件Master节点核心组件APIServer是整个系统的对外接口，提供客户端和其他组件调用后端元数据存储
Redis 集群確定饿的猫 redis linux
目录Redis主从复制Redis主从复制简介Redis主从复制的作用Redis主从复制流程搭建Redis主从复制master节点slave节点验证哨兵故障转移机制部署哨兵Redis集群作用数据分区高可用Redis集群Redis高可用实现的方式有持久化、主从复制、哨兵、集群，与持久化不同，另外三种方式都是属于集群，之前已经分析了解过两种持久化模式了，现在了解另外几种方式Redis主从复制Redis主
Ansible自动化部署kubernetes集群 theo.wu kubernetes ansible 自动化
机器环境介绍1.1.机器信息介绍IPhostnameapplicationCPUMemory192.168.204.129k8s-master01etcd，kube-apiserver，kube-controller-manager，kube-scheduler,kubelet,kube-proxy,containerd2C4G192.168.204.130k8s-worker01etcd，kub
linux生成keystore文件,使用keytool生成keystore签名文件并在android studio中配置系统签名简单记录... Indian Rose
我的是放在桌面下，目录如下。C:\Users\lei\Desktop\keytool-importkeypair-master\keytool-importkeypair-masterimage.png由于这个工具需要在linux中运行，但是我没有那个环境，因此使用MinGW代替。打开D:\MinGW\msys\1.0目录下的msys.bat，进入环境(类似win中的cmd)。然后输入命令进入ke
linux查看git log目录,Git 操作常用命令 weixin_39670545 linux查看git log目录
Git使用1.gitpull更新服务器代码到本地a).gitpulloriginmaster是将origin这个版本库的代码更新到本地的master主分支2.gitpush将本地代码提交到服务器3.gitlog查看提交信息a).gitlog-p查看历次的log信息及更改情况b).gitlog-p-4查看距现在最近的4次的log信息及更改情况c).gitlogframeworks/查看关于frame
linux查看git log目录,git得一些常用命令！廖宝华 linux查看git log目录
.Git基本操作查看状态：1.gitstatus：查看工作区、暂存区的状态1.1.Onbranchmaster#默认在master(主干)分支上1.2Nocommitsyet#当前没有任何的提交1.3nothingtocommit(create/copyfilesanduse"gitadd"totrack)没有什么需要提交的(创建/复制文件，使用“gitadd”命令可追踪，也就是用git去管理文件
Redis哨兵模式(Sentinel)详解水木渔樵 Redis redis
目录文章目录一、Sentinel1.何为Sentinel2.Sentinel启动流程当一个Sentinel启动时，它需要执行以下步骤：2.1初始化服务器2.2使用Sentinel专用代码2.3初始化Sentinel状态2.4初始化Sentinel状态的masters属性2.5创建连向主服务器的网络连接3.Sentinel获取主服务器信息4.Sentinel获取从服务器信息5.Sentinel与主从
Redis Sentinel（哨兵）详解 dlwlrma ⥳ Java八股框架 redis sentinel 数据库
目录一：什么是Sentinel（哨兵）二：Sentinel有什么用1.监控2.故障转移3通知4.配置提供三：Sentinel如何检测master节点宕机1.主观下线2.客观下线四：Sentinel是如何选举出新的master1.slave的优先级2.复制进度3.runid五：如何在sentinel集群中选择出Leader前言：有关Redis的基础知识可以参照我之前写的文章Redis必知必会的知识在
【2023年】云计算金砖牛刀小试4 geekgold 云计算 linux 容器 jenkins kubernetes
容器云问题1.Kubernetes集群支持Pod优先级抢占，通过抢占式调度策略来实现同一个Node节点内部的Pod对象抢占。在master节点/root目录下编写YAML文件schedule.yaml创建一个抢占式调度策略，具体要求如下：（1）抢占式调度策略名称：high-scheduling；（2）优先级为1000000；（3）不要将该调度策略设置为默认优先调度策略。vischedule.yam
常用的十种架构 G星雪架构
常用的十种架构1、分层模式（Layeredpattern）四个层次：表示层（UI层）应用层（服务层）业务逻辑层（领域层）数据访问层（持久化层）使用场景：通用桌面应用程序电子商务web应用2、客户端/服务器模式（Client-serverpattern）使用场景：电子邮件、文件共享及银行业务等在线应用3、主/从模式（Master-slavepattern）使用场景：数据库复制总线互联的各种设备4、管
spark常用命令我是浣熊的微笑 spark
查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME目录，输入bin/spark-submit--help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
打卡第13天：《利用python进行数据分析》学习笔记且不了了
第7章——数据规整化：清理、转换、合并、重塑数据变换http://nbviewer.jupyter.org/github/qiebuliaoliao/data_analysis_python/blob/master/ch7/20180405.ipynb
spark常见面试题爱敲代码的小黑 spark 大数据分布式
文章目录1.Spark的运行流程？2.Spark中的RDD机制理解吗？3.RDD的宽窄依赖4.DAG中为什么要划分Stage？5.Spark程序执行，有时候默认为什么会产生很多task，怎么修改默认task执行个数？6.RDD中reduceBykey与groupByKey哪个性能好，为什么？7.SparkMasterHA主从切换过程不会影响到集群已有作业的运行，为什么？8.SparkMaster使
mac的基本配置奋起的菜鸟想暴富 macos
安装Homebrew通常情况下我们选择使用brew作为macOS上的包依赖管理工具，安装brew请在shell中执行：/bin/bash-c"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/install/master/install.sh)"在安装完成brew之后，我们可以可以随时通过brewinstall命令来安装各式各样的软件包。若
【多线程服务器】多线程下网络编程 gma999 c++服务器
目录多线程模型-非阻塞IO+oneloopperthreadoneloopperthread线程池oneloopperthread与线程池结合目前主流多线程模型Reactor模式+线程池Proactor模式Master-Worker模型多线程编程的实现线程抢占问题Happens-Before关系Linux下多线程编程常用函数线程的创建线程销毁多线程下的I/ORAII与文件描述符管理RAII与for
9.11-kubeadm方式安装k8s 堕入温柔~ kubernetes docker 容器
一、安装环境编号主机名称ip地址1k8s-master192.168.2.662k8s-node01192.168.2.773k8s-node02192.168.2.88二、前期准备1.设置免密登录[root@k8s-master~]#ssh-keygen[root@k8s-master~]#[email protected][root@k8s-master~]#ssh-co
一些机器学习不错的书籍 jimmyleeee 机器学习人工智能
最近，在学习一些机器学习的相关知识，在Github上居然找到了一个可以下载一些不错的介绍机器学习和大数据挖掘和分析的书籍。具体的书籍的信息可以参考一下链接：Books/DataSciencefromScratch.pdfatmaster·varunkashyapks/Books·GitHub
Python 对话框 houyanhua1 Python python
#coding=utf-8#对话框fromtkinterimport*importtkinter.messageboxasmb#给导入的包指定一个别名classApp:def__init__(self,master):frame=Frame(master)frame.pack()button=Button(frame,text='点击',command=self.info)button.grid(
08-web3j过滤器与事件 jection
文章是本人学习过程翻译，原文来自官方文档：https://web3j.readthedocs.io/en/latest/#官网：https://web3j.io/官方GitHub：https://github.com/web3j/web3j官方demo：https://github.com/web3j/web3j/tree/master/integration-tests文档版本v3.4.0。过滤
Spark运行时架构 tooolik spark 架构大数据
目录一，Spark运行时架构二，YARN集群架构（一）YARN集群主要组件1、ResourceManager-资源管理器2、NodeManager-节点管理器3、Task-任务4、Container-容器5、ApplicationMaster-应用程序管理器6，总结（二）YARN集群中应用程序的执行流程三、SparkStandalone架构（一）client提交方式（二）cluster提交方式四、
Kubeadm 部署 k8s 集群 liupeng_blog kubernetes docker 运维
文章目录个人知识库Kubernetes介绍环境要求Docker环境服务器初始化添加阿里云yum软件源查看docker驱动安装kubeadm、kubelet和kubectl初始化KubernetesMaster安装kubectl工具加入KubernetesNodeKubectl查看Node状态部署CNI网络插件测试kubernetes集群Kubeclt常用命令更多知识平台个人知识库云网站：http:
k8s基础 doutery Linux k8s kubernetes
一、master组件：1etcd是集群的主数据库，保存了整个集群的状态。2apiserver提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制。3controllermanager负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。4scheduler资源调度，按照预定的调度策略将Pod调度到相应的机器上。5Containerruntime负责镜像管理以及Pod和容器
90、k8s之secret+configMap ly1435678619 kubernetes linux 容器
一、secret配置管理配置管理：加密配置：保存密码，token，其他敏感信息的k8s资源应用配置：我们需要定制化的给应用进行配置，我们需要把定制好的配置文件同步到pod当中容器1.1、加密配置：secret：[root@master01~]#kubectlgetsecrets##查看加密配置[root@master01~]#kubectlgetsecrets-nkube-system##查看加密
mysql 双主脑裂_mysql双主+keepalived weixin_39789206 mysql 双主脑裂
环境OS：centos7Mysql版本：mysql5.7Keepalived:keepalived-1.2.20Mysql-vip:192.168.41.100Mysql-master1:192.168.41.10Mysql-master2:192.168.41.11实验环境关闭防火墙规则firewall-cmd一、配置两台mysql互为主从该过程的第一部分就是master记录二进制日志。在每个事
mac安装多个版本的python 出人头弟 macos python 开发语言
方法一(亲测有效)、通过brew安装pyenv，再用pyenv安装管理Python电脑需要先安装homebrew,安装办法详见:Homebrew中文网/bin/bash-c"$(curl-fsSLhttps://gitee.com/ineo6/homebrew-install/raw/master/install.sh)"安装pyenv：$brewinstallpyenv$pyenv-vpyenv
ActiveMQ集群、负载均衡、消息回流星星都没我亮 ActiveMQ activemq
文章目录集群配置主备集群SharedFileSystemMasterSlavefailover故障转移协议TransportOptions负载均衡静态网络配置可配置属性URI的几个属性NetworkConnectorProperties动态网络配置消息回流消息副本集群配置官方文档http://activemq.apache.org/clustering主备集群http://activemq.apa
java线程Thread和Runnable区别和联系 zx_code java jvm thread 多线程 Runnable
我们都晓得java实现线程2种方式，一个是继承Thread，另一个是实现Runnable。模拟窗口买票，第一例子继承thread，代码如下 package thread; public class ThreadTest { public static void main(String[] args) { Thread1 t1 = new Thread1(
【转】JSON与XML的区别比较丁_新 json xml
1.定义介绍 (1).XML定义扩展标记语言 (Extensible Markup Language, XML) ，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML使用DTD(document type definition)文档类型定义来组织数据;格式统一，跨平台和语言，早已成为业界公认的标准。 XML是标
c++ 实现五种基础的排序算法 CrazyMizzz C++c 算法
#include<iostream> using namespace std; //辅助函数，交换两数之值 template<class T> void mySwap(T &x, T &y){ T temp = x; x = y; y = temp; } const int size = 10; //一、用直接插入排
我的软件麦田的设计者我的软件音乐类娱乐放松
这是我写的一款app软件，耗时三个月，是一个根据央视节目开门大吉改变的，提供音调，猜歌曲名。1、手机拥有者在android手机市场下载本APP，同意权限，安装到手机上。2、游客初次进入时会有引导页面提醒用户注册。（同时软件自动播放背景音乐）。3、用户登录到主页后，会有五个模块。a、点击不胫而走，用户得到开门大吉首页部分新闻，点击进入有新闻详情。b、
linux awk命令详解被触发 linux awk
awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v]大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=val
各种语言比较 _wy_ 编程语言
Java Ruby PHP 擅长领域
oracle 中数据类型为clob的编辑知了ing oracle clob
public void updateKpiStatus(String kpiStatus,String taskId){ Connection dbc=null; Statement stmt=null; PreparedStatement ps=null; try { dbc = new DBConn().getNewConnection(); //stmt = db
分布式服务框架 Zookeeper -- 管理分布式环境中的数据矮蛋蛋 zookeeper
原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两
tomcat数据源 alafqq tomcat
数据库 JNDI(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。没有使用JNDI时我用要这样连接数据库： 03. Class.forName("com.mysql.jdbc.Driver"); 04. conn
遍历的方法百合不是茶遍历
遍历在java的泛
linux查看硬件信息的命令 bijian1013 linux
linux查看硬件信息的命令一.查看CPU： cat /proc/cpuinfo 二.查看内存： free 三.查看硬盘： df linux下查看硬件信息 1、lspci 列出所有PCI 设备； lspci - list all PCI devices:列出机器中的PCI设备（声卡、显卡、Modem、网卡、USB、主板集成设备也能
java常见的ClassNotFoundException bijian1013 java
1.java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory 添加包common-logging.jar2.java.lang.ClassNotFoundException: javax.transaction.Synchronization
【Gson五】日期对象的序列化和反序列化 bit1129 反序列化
对日期类型的数据进行序列化和反序列化时，需要考虑如下问题： 1. 序列化时，Date对象序列化的字符串日期格式如何 2. 反序列化时，把日期字符串序列化为Date对象，也需要考虑日期格式问题 3. Date A -> str -> Date B,A和B对象是否equals 默认序列化和反序列化 import com
【Spark八十六】Spark Streaming之DStream vs. InputDStream bit1129 Stream
1. DStream的类说明文档： /** * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs (of the same type) representing a continuous st
通过nginx获取header信息 ronin47 nginx header
1. 提取整个的Cookies内容到一个变量，然后可以在需要时引用，比如记录到日志里面， if ( $http_cookie ~* "(.*)$") { set $all_cookie $1; } 变量$all_cookie就获得了cookie的值，可以用于运算了
java-65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 bylijinnan java
参考了网上的http://blog.csdn.net/peasking_dd/article/details/6342984 写了个java版的： public class Print_1_To_NDigit { /** * Q65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 * 1.使用字符串
Netty源码学习-ReplayingDecoder bylijinnan java netty
ReplayingDecoder是FrameDecoder的子类，不熟悉FrameDecoder的，可以先看看 http://bylijinnan.iteye.com/blog/1982618 API说，ReplayingDecoder简化了操作，比如： FrameDecoder在decode时，需要判断数据是否接收完全： public class IntegerH
js特殊字符过滤 cngolon js特殊字符 js特殊字符过滤
1.js中用正则表达式过滤特殊字符, 校验所有输入域是否含有特殊符号function stripscript(s) { var pattern = new RegExp("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）——|{}【】‘；：”“'。，、？]"
hibernate使用sql查询 ctrain Hibernate
import java.util.Iterator; import java.util.List; import java.util.Map; import org.hibernate.Hibernate; import org.hibernate.SQLQuery; import org.hibernate.Session; import org.hibernate.Transa
linux shell脚本中切换用户执行命令方法 daizj linux shell 命令切换用户
经常在写shell脚本时，会碰到要以另外一个用户来执行相关命令，其方法简单记下： 1、执行单个命令：su - user -c "command" 如：下面命令是以test用户在/data目录下创建test123目录 [root@slave19 /data]# su - test -c "mkdir /data/test123"
好的代码里只要一个 return 语句 dcj3sjt126com return
别再这样写了：public boolean foo() { if (true) { return true; } else { return false;
Android动画效果学习 dcj3sjt126com android
1、透明动画效果方法一：代码实现 public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState) { View rootView = inflater.inflate(R.layout.fragment_main, container, fals
linux复习笔记之bash shell (4)管道命令 eksliang linux管道命令汇总 linux管道命令 linux常用管道命令
转载请出自出处： http://eksliang.iteye.com/blog/2105461 bash命令执行的完毕以后，通常这个命令都会有返回结果，怎么对这个返回的结果做一些操作呢？那就得用管道命令‘|’。上面那段话，简单说了下管道命令的作用，那什么事管道命令呢？答：非常的经典的一句话，记住了，何为管
Android系统中自定义按键的短按、双击、长按事件 gqdy365 android
在项目中碰到这样的问题：由于系统中的按键在底层做了重新定义或者新增了按键，此时需要在APP层对按键事件（keyevent）做分解处理，模拟Android系统做法，把keyevent分解成： 1、单击事件：就是普通key的单击； 2、双击事件：500ms内同一按键单击两次； 3、长按事件：同一按键长按超过1000ms（系统中长按事件为500ms）； 4、组合按键：两个以上按键同时按住；
asp.net获取站点根目录下子目录的名称 hvt .net C#asp.net hovertree Web Forms
使用Visual Studio建立一个.aspx文件(Web Forms)，例如hovertree.aspx,在页面上加入一个ListBox代码如下： <asp:ListBox runat="server" ID="lbKeleyiFolder" /> 那么在页面上显示根目录子文件夹的代码如下： string[] m_sub
Eclipse程序员要掌握的常用快捷键 justjavac java eclipse 快捷键 ide
判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。曾有人在豆瓣评《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个程序员图书列表，目的也就是通过读书，让程序员变懒。写道程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可
c++编程随记 lx.asymmetric C++笔记
为了字体更好看，改变了格式…… &&运算符： #include<iostream> using namespace std; int main(){ int a=-1,b=4,k; k=(++a<0)&&!(b--
linux标准IO缓冲机制研究音频数据 linux
一、什么是缓存I/O(Buffered I/O)缓存I/O又被称作标准I/O,大多数文件系统默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存(page cache)中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。1.缓存I/O有以下优点:A.缓存I/O使用了操作系统内核缓冲区，
随想生活暗黑小菠萝生活
其实账户之前就申请了，但是决定要自己更新一些东西看也是最近。从毕业到现在已经一年了。没有进步是假的，但是有多大的进步可能只有我自己知道。毕业的时候班里12个女生，真正最后做到软件开发的只要两个包括我，PS：我不是说测试不好。当时因为考研完全放弃找工作，考研失败，我想这只是我的借口。那个时候才想到为什么大学的时候不能好好的学习技术，增强自己的实战能力，以至于后来找工作比较费劲。我
我认为POJO是一个错误的概念 windshome java POJO 编程 J2EE 设计
这篇内容其实没有经过太多的深思熟虑，只是个人一时的感觉。从个人风格上来讲，我倾向简单质朴的设计开发理念；从方法论上，我更加倾向自顶向下的设计；从做事情的目标上来看，我追求质量优先，更愿意使用较为保守和稳妥的理念和方法。 &

使用bulkload时HBase Master退出

你可能感兴趣的:(master)