Hbase 基于HDFS分布式列存储Nosql数据库(三) 概念及原理介绍

Filter 过滤器

• 背景知识：
  1. 在hbase中，所有数据在存储时按照rowkey的ASCII码表字典顺序进行排序的
  2. 在hbase中，rowkey的查询都是前缀匹配
  3. rowkey是hbase中的唯一索引，所有数据的读写要么通过rowkey查询，要么就是全表扫描
  4. hbase底层没有数据类型，数据全部都是按照字节数组存储，
  5. 按照keyvalue对格式存储每一列数据，key=ns+tb+cf+c+ts，value=value
  6. 一般搭配scan来使用

 shell过滤器种类：
    1. TimestampsFilter，时间戳过滤器
    2. QualifierFilter，列名过滤器，需要指定比较参数和比较值 QualifierFilter (>=, 'binary:xyz')
    3. ROWPREFIXFILTER，rowkey前缀过滤器

 javaapi过滤器种类：
       第一类：比较过滤器;通过比较的工具类，来实现过滤,返回符合的rowkey所有的数据
            1.RowFilter
            2.FamilyFilter
            3.QualifierFilter
            4.ValueFilter
       第二类：专有过滤器;用的比较多，封装好的方法来实现
             1.prexfixFilter：rowkey前缀过滤器
             2.singleColumnValueFilter/singleColumnValueExcludeFilter：单列值过滤器
             3.MultipleColumnPrefixFilter：多列过滤器
             4.pageFilter：分页过滤器，一般在工作中，必须指定对应的起始位置，一般搭配startrow来使用
      第三类：组合过滤器，就是各种过滤器组合在一起，FilterList
      
如何使用过滤器：
    1.shell中使用"{列属性}"指定,例如：
        {COLUMNS => ''};{STARTROW => '闭区间',STOPROW => '开区间'}
        {ROWPREFIXFILTER => '',FILTER => ''}

Hbase:ns/Hbase:meta

• 内容：

  1. "hbase:namespace"表，这张表会记录hbase中所有namespace的信息，当用户进行请求时，会读取这张表的信息来判断用户访问的namespace是否存在

  2. "hbase:meta"表，hbase表中的元数据表，meta表中记录了：

     1. meta表中的rowkey包含了regioninfo和server两个部分，其中包含regioninfo的rowkey，记录了region的名称，startkey和stopkey。包含server的rowkey记录了这个region所在的regionserver的地址和端口
     2. meta表记录了除了自己之外所有的在hbase中的表的region的名称；其中“region名称”的构成：表名称+region的起始范围+region的时间+region的唯一id

• 补充：
  1.数据读写请求，客户端如何找到对应的region的region的？
  A：zk记录了meta表的"region信息"，"region信息"包括region的名称，startkey和stopkey，还包含了这个region所在的节点地址和端口，通过这些去对应regionserver上找到的meta表的数据，然后meta表中记录了除了自己之外的hbase中所有表的"region信息",这些"region信息"也包括region的名称，startkey和stopkey，还包含了这个region所在的节点地址和端口。然后通过这些信息再去找到对应regionserver上的region

Hbase的存储原理：

• 读写请求概述：

  1. 客户端第一次请求时，本地没有记录region信息，先去请求zk，获取meta表的region信息
  2. 然后再跟据region信息请求对应的regionserver，获取meta表的数据，得到要查询表中rowkey对应的region信息
  3. 客户端再次跟据返回的表中rowkey对应的region信息去请求regionserver提交读写请求，并缓存本地请求的地址及region信息，供下次使用，直接请求regionserver获取表数据
  4. regionserver跟据请求来操作region，跟据列簇来判断读写哪个store

• 读请求：

  5. 请求会优先读取内存中数据，即memstore，若数据没有在内存中，就读缓存，然后读hdfs

• 写请求：

  5. 请求会先写入内存memstore中，当memstore满足条件时，触发flush刷写，将memstore中的数据变成storefile文件
  6. 通过hbase底层封装的hdfs客户端，将文件生成在以hfile的文件类型存储在hdfs上

Hbase读写请求流程

写请求流程

1. 客户端提交一条写的命令，根据这个请求的rowkey来获取对应的region信息，来请求对应的regionserver，以此来对rowkey进行操作
2. 将请求提交给对应的regionserver，regionserver根据请求写入的region的名称来操作
3. 根据请求中的列簇来判断要写入该region中的哪个store
4. 将数据以keyvalue形式写入memstore
5. memstore达到一定条件以后，会触发flush，内存中数据会写入hdfs，
6. hdfs中的storefile达到一定条件以后，会触发compaction，将storefile文件归并排序进行合并
7. 当整个region的数据大小达到一定条件以后，会触发split，一个region会分裂成两个region，原来的region被销毁

读请求流程

1. 客户端请求zk，从zk获取meta表的地址
2. 客户端读取meta表的数据，根据读命令中的表名来获取表所有的reigon信息，
3. 找到要读取的region以及对应的regionserver地址
   如果是get请求，指定了rowkey，则返回这个rowkey对应的region信息
   如果是scan请求，则返回这张表对应的所有的region信息
4. 根据返回的reigon地址，请求对应的regionserver，
5. regionserver根据region名称来找到对应的region，并进行读操作
6. 若请求中指定了列，则读取列簇对应的store，若请求中没有指定列，则读取所有store的数据
7. 请求在读取store时，优先读取内存中的store，即memstore，若memstore中没有找到，若开启了缓存，则取memcache缓存中找，若没有开启缓存，则直接去hdfs上找storefile，若hdfs上也没有，就是数据不存在，直接返回，若是hdfs上有，就将这条数据返回，若开启了缓存，还需要将数据添加到memcache中，方便下次使用

    查询内存：
        有： 返回
        没有： 缓存：
                有： 返回
                没有：hdfs
                     有： 返回并添加缓存
                     没有：返回

• 解释:
  1. 经实践分析，新写入的数据在请求访问是命中率最高，所以保存在内存中
  2. 根据LRU最近最少使用算法，将访问频率高的数据添加到缓存中，提高缓存访问的命中率