Hbase 基于HDFS分布式列存储Nosql数据库(二) 概念及原理介绍

列存储

• 概念：

  1. 区别于rdbms的行式存储格式，nosql使用列式存储格式

• 优点：

  1. 行式存储操作实时行级别的，列式存储操作是列级别的。所以粒度更细
  2. 行式存储一行中的列都是一样的（结构化），列式存储每一行中的列可以不一样（半结构化）。所以支持的数据格式更广泛，半结构化可以支持结构化数据，结构化数据不可以支持半结构化数据
  3. 性能更优化，读写速度更快

DDL

1. namespace
    list_namespace
    create_namespace
    drop_namespace
    describe_namespace
    list_namespace_tables

2. ddl
备注：只有管理员admin才能操作
    list
    create： 创建表时只需要给定表名和列簇名称，两种方式：配置列簇属性和不配置列簇属性
        create 'test_table',{NAME=>'cf1'},{NAME=>'cf2'}
    describe/desc
    drop： hbase中表是enable状态的话，不允许对表结构进行修改和删除，需要先disable禁用
    disable
    enable

DML

1.dml
    put： hbase中没有更新和删除操作，所有的更新都是插入
        put 'test_table','rowkey_1234','cf1:name','zhangsan'
    scan：用于查询一行或多行，或全表扫描
        scan 'test_table',{limit=10}
    get： 用于查询某一行，就是某一个rowkey的数据
        get 'test_table','rokey_1234'
    delete: 删除
        delete 'test_table','rowkey_1234','cf1:cm1'
        delete 'teste_table','rowkey_1234'

热点问题与数据倾斜

• 概念：
  热点问题： 客户端的请求大量集中在某一个节点，导致该节点上的负载非常高，而其他节点负载过低的-

• 现象
  数据倾斜： 由于计算任务大量集中在某一个节点，导致该节点上的负载非常高，而其他节点负载过低的现象

• 区别：
  热点问题： 请求层面，热点问题可能会造成数据倾斜
  数据倾斜： 计算层面，数据倾斜不一定由热点问题造成

• 原因：
  热点问题在很多场景中都会发生，在hbase中表现造成热点问题的原因是
  1.客户端大量请求的rowkey连续集中在某一个region上
  2.表中只有一个分区，所有的请求都集中在这个region上
  3.表没有预分区，也没有开启均衡，所有的分区都集中在某个节点

• 解决：
  1.需要设计好表的分区region范围，避免分区范围不均衡，通过分区范围解决
  2.需要创建预分区，多分区，通过分区个数解决

预分区

• 背景： 在创建表的时候，默认只有一个分区，此时容易操作服务端热点问题

• 概念： 在创建表的时候，根据rowkey的分布来设计一张表刚开始就有多个分区，分区需要根据rowkey的前缀或者完整的rowkey来设计，因为region的分配就是根据rowkey来划分分区的

• 意义：
  1.增加数据读写效率
  2.负载均衡，防止数据倾斜
  3.方便集群容灾调度region
  4.优化Map 数量

• 方式：
  1.指定分区范围 create 'ns1:t1', 'f1', SPLITS => ['10', '20', '30', '40']
  2.适用于分区较多场景 指定规则文件 create 'ns1:t2', 'f1', SPLITS_FILE => '/export/datas/splits.txt'
  3.通过java API 来划分分区admin.createTable(HtableDescriptor desc，byte splitKeys)

RowKey的设计规则

• 原因：

  • 为什么rowkey设计至关重要？
    1. 所有数据在存储时都是根据rowkey来读写对应分区的，即分区是根据rowkey来划分的
    2. rowkey是hbase中的唯一索引
    3. rowkey在查询时是前缀匹配的

• 后果：rowkey设计不好会产生什么后果？

  1. 会造成热点问题
  2. 会造成全表扫描

• 设计规则：

  1. 唯一原则：
     任何一个rowkey，必须唯一标记一行，类似于主键的唯一性
  2. 散列原则：
     构建rowkey的随机散列，不允许rowkey是连续的，避免热点问题
     若rowkey前缀是一个固定的字段，且会产生连续，如何解决呢？
     1. 编码，通过md5/crc32等方式来将固定字段进行编码然后作为rowkey
     2. 反转，rowkey是按照ascii码的字典顺序，固定字段反转之后，就不连续
     3. 随机数，将固定字段加随机数，不推荐，因为不便于维护
  3. 业务原则： 根据业务维度来设计rowkey，例如将经常作为查询条件的维度
  4. 组合原则： 将各个业务维度组合来设计rowkey
  5. 长度原则： 一般rowkey的长度不要超过100个字节，可以使用十六进制或三十二进制压缩长度

JavaAPI

介绍：
    1.hbase中 hbase shell 一般用来封装脚本，执行ddl操作，一般用来封装做ddl操作通过hbase shell  xxx.query指定，脚本操作结尾要加exit
    2.javaapi则是实际使用场景，一般用来执行dml操作，和分布式框架使用，做中间件技术，提供程序访问hbase的接口

API方法：
    1.HBaseConfiguration; 创建hbase的初始化对象
    2.HBaseAdmin;hbase的管理员对象，需要进行ddl操作时需要的对象
        1.tableExists
        2.disableTable
        3.deleteTable
        4.deleteNamespace
        5.listNamespaceDescriptors
    3.HTableDescriptor;hbase的表描述对象
        1.addFamily
        2.createTable
        3.getTableName
    4.TableName;表名称对象
        1.getNameAsString
    5.HColumnDescriptor;hbase的列簇描述对象
        1.setMaxVersions
        2.setBlockCacheEnabled
        3.
    6.NamespaceDescriptor;hbase的名称空间描述对象
        1.createNamespace
        2.create
    7.Get;get命令获取数据
    8.Result;一个result代表一个rowkey的所有数据
        1.rawCells
    9.Cell;一个cell就是一列的数据
    10.Table;表对象
        1.get
        2.put
        3.delete
        4.getScanner
    11.Put;
        1.addColumn
    12.Delete;
        1.addColumn
    13.ResultScanner;result对象的集合

读取

1.驱动类，封装了mr程序中的参数集合，调用方法TableMapReduceUtil.inittablemapper(输入和map的参数);
2.mapper类，需要继承TableMapper类，默认input输入的key和value为ImmutableBytesWritable和Result

实现：
    底层通过tableinpputformat实现；sqoop底层通过dbinputformat实现
    
<解释>
    因为mr读取hbase数据，只是做了数据的读取，并不做数据的聚合，所有不需要reduce

写入

1.驱动类，封装了mr程序中的参数集合，调用方法TableMapReduceUtil.inittablereduce(reduce和输出的参数);
2.reducer类，需要继承TableReducer类，默认output输出的value为put对象

实现：
    底层通过TableOutputFormat实现；sqoop底层通过dboutputformat实现
    
<解释>
    需要在reduce类中构建put对象，用于存储数据，所以需要reduce