Hbase集群管理与实践

一、HBase集群搭建实战

1.1 环境规划建议

硬件配置基准(以10节点集群为例):

角色 CPU 内存 磁盘 网络
HMaster 4核 16GB SSD 200GB(系统盘) 10Gbps
RegionServer 16核 64GB 12×4TB HDD(JBOD) 25Gbps
ZooKeeper 4核 8GB SSD 500GB 10Gbps

1.2 关键配置项示例(hbase-site.xml)

<configuration>
  
  <property>
    <name>hbase.rootdirname>
    <value>hdfs://cdh-prod/hbasevalue>
  property>

  
  <property>
    <name>hbase.zookeeper.quorumname>
    <value>zk1,zk2,zk3value>
  property>

  
  <property>
    <name>hbase.regionserver.codecsname>
    <value>snappy,lzovalue>
  property>

  
  <property>
    <name>hbase.regionserver.global.memstore.sizename>
    <value>0.4value>
  property>
configuration>

初始化步骤

# 启动HDFS和ZooKeeper
hdfs dfs -mkdir /hbase
sudo systemctl start zookeeper-server

# 初始化HBase
start-hbase.sh
hbase shell <<< "create 'test_table', 'cf'"

二、HBase核心原理精讲

2.1 数据存储模型

逻辑视图

Table → RowKey → Column Family → Column Qualifier → Version → Value

物理存储

Region → Store → MemStore + HFile

2.2 读写流程解析

写入过程

Client → ZooKeeper → RegionServer → WAL → MemStore

读取路径

你可能感兴趣的:(大数据学习,hbase)