HBase 2.3.7中snappy压缩配置
本文将介绍如何在HBase 2.3.7中配置snappy压缩。snappy是一种快速的数据压缩和解压缩算法，可以提高HBase的存储空间利用率和读写性能。本文将使用HBase 2.3.7版本，运行在三个Ubuntu系统的虚拟机中，分别作为master和slave节点。
主要步骤如下：
- 安装snappy，并检查是否成功。
- 配置Hadoop，添加snappy的相关配置。
- 配置HBase，添加snappy的相关配置。
- 重启Hadoop和HBase服务。
- 验证snappy压缩，使用CompressionTest工具和HBase Shell命令。
本文使用了HBase 2.3.7版本，运行在三个Ubuntu系统的虚拟机中，分别作为master和slave节点。也可以使用其他版本的HBase和其他操作系统，只要保证snappy的安装和配置正确
一、安装snappy
- 在每个节点上，下载snappy的源码包，并解压。例如：
wget https://github.com/google/snappy/releases/download/1.1.9/snappy-1.1.9.tar.gz
tar -zxvf snappy-1.1.9.tar.gz
- 进入解压后的目录，编译并安装snappy。例如：
cd snappy-1.1.9
./configure
make
sudo make install
- 检查是否安装成功，可以使用ldconfig命令查看是否有libsnappy.so的链接。例如：
sudo ldconfig -p | grep libsnappy.so
- 如果输出类似如下内容，说明安装成功：
libsnappy.so.1 (libc6,x86-64) => /usr/local/lib/libsnappy.so.1
libsnappy.so (libc6,x86-64) => /usr/local/lib/libsnappy.so
二、配置Hadoop
- 在每个节点上，编辑Hadoop的配置文件core-site.xml，添加以下内容：
io.compression.codecs
org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec
io.compression.codec.snappy.native
true
-
这些配置指定了Hadoop支持的压缩编码器，并启用了snappy的本地库。
-
在每个节点上，编辑Hadoop的配置文件hadoop-env.sh，添加以下内容：
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
- 这个配置指定了Hadoop加载本地库的路径。
三、配置HBase
- 在每个节点上，编辑HBase的配置文件hbase-env.sh，添加以下内容：
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
- 这个配置指定了HBase加载本地库的路径。
四、重启Hadoop和HBase
- 在每个节点上，重启Hadoop和HBase服务。例如：
stop-dfs.sh
stop-yarn.sh
stop-hbase.sh
start-dfs.sh
start-yarn.sh
start-hbase.sh
五、验证snappy压缩
- 在任意一个节点上，进入HBase Shell，使用CompressionTest工具验证snappy支持是否启用，并且本地库是否可以加载。例如：
hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://host/path/to/hbase snappy
- 如果输出类似如下内容，说明验证成功：
2023-5-28 10:23:45,123 INFO [main] Configuration.deprecation: io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum
2023-5-28 10:23:45,124 INFO [main] hfile.CacheConfig: CacheConfig:disabled
2023-5-28 10:23:45,125 INFO [main] hfile.CacheConfig: CacheConfig:disabled
SUCCESS
- 在HBase Shell中，创建一个使用snappy压缩的表，并查看表的描述信息。例如：
create 't1', { NAME => 'cf1', COMPRESSION => 'SNAPPY' }
describe 't1'
- 如果输出类似如下内容，说明创建成功：
Table t1 is ENABLED
t1, {TABLE_ATTRIBUTES => {coprocessor$1 => '|org.apache.hadoop.hbase.coprocessor.MultiRowMutationEndpoint|536870911|'}
COLUMN FAMILIES DESCRIPTION
{NAME => 'cf1', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
1 row(s)
Took 0.0179 seconds- 压缩测试
在HBase shell中将rawdata表转为压缩并整理，该表在创建时未设置压缩格式
alter 'rawdata', NAME => 'f1', COMPRESSION => 'snappy'
major_compact 'rawdata'得到前后存储空间占用情况对比，效果显著，最上面有COMPRESSION压缩格式设置
前：
后：
