NoSql数据库之 ：HBase
NoSql数据库简介
Hbase也是一种主从式的架构
HA
和传统的关系型数据库的表结构不一样
Nosql数据库比较重要，和我们的大数据紧密相连的。
什么是nosql，写全not only sql，直译不仅仅是sql。
关系型数据库是基于关系模型所提出来的一种数据库，叫关系型数据库，而关系模型最终是以一张二维表
就是行和列的方式来保存数据的模型。
oracle和mysql最终都是存在表中的行和列，这就是关系型数据库。
Nosql就不是关系型的。
HBase
Redis:基于内存的NoSql数据库，Redis的前身是MemCached，因为它存在不足，就有了redis
，它主要的缺点是不支持持久化。在Memcached里只能把数据存在内存中，如果内存发生了崩溃，内存中所有数据就丢了。redis就是支持持久化的，
持久化：RDB 、AOF。Condis是Redis分布式的解决方案，Codis属于redis的一部分，它单分出来了，也是基于内存的nosql数据库。
MongoDB：基于文档型（bson文档）的Nosql数据库，
collection：集合
（电影id：001，
名称：xxxxx，
演员：xxxx，短评：[{内容：xxx，作者：时间：xxxx}]）
从MongoDB4.0开始：支持事物，目前不是很成熟。如果发展比较成熟，最终关系型数据库会被替代！！！！！
如果说以后Nosql数据库支持事物，就有可能替代关系型数据库。
MongoDB支持分布式存储，也支持MapReduce，但是他的MapReduce是个javascript程序。
关系型数据库，多表查询就会产生笛卡尔积 列数相加 行数相乘，就会影响性能。
Cassndra：和hbase类似，里面的概念就非常类似。
hadoop的生态体系圈
HBase是基于hdfs之上的NoSql数据库
zookeeper
分布式协调服务
实现HA功能
二：HBase的体系结构（主从结构）和表结构
1、hadoop的生态体系圈
2、HBase
（*）基于HDFS之上的NoSql数据库
HBase HDFS
表---->目录
数据 ----》（HFILE :大小：128）
（*）HBase的体系架构
HMaser要是死掉了，就会导致整个HBase无法使用。
客户端可以是命令行，或者是程序。
通过命令行可以查询数据，保存数据，等等操作。。通过客户端连接上来的时候，最终连接的是HMaster
客户端不能直接获取到HMater的地址信息，它必须要通过一个中间人（zookeeper），就是说我的客户端要首先去问一下这个中间人
HMater在哪里呢？中间人告诉客户端HMater在那里。
zookeeper相当于是一个数据库，我们就可以把一些信息存到里面去，我们可以把HMaster的节点信息存到里面去，方便实现ha的功能，
HA就是解决单点故障的解决方案。
HA的思想就是多搞几个主节点
可以有两个HMaster，但是只有一个状态是active ，另一个是standby不可用，处于一个等待的状态，都是存在zookeeper里面去，
然后由zookeeper返回给客户端，到底哪个是真正活着的主节点，从而实现HA的功能，我们就组成了HBase的主题架构。
把其中一个region放大下，
region数据最终是保存在里面，为了加快保存数据或者查询数据的效率，可以把region理解成一个逻辑结构，region中会有一块内存
，内存大小可以通过参数设置，这块内存名字叫memstore。
从HBase查询数据的时候，首先就回到内存memstore中查询数据，如果已经有了数据，就直接返回数据，这个叫做 （一次命中）
我们查询的数据直接在内存中可以找到就叫做一次命中，就不需要去读取文件了，文件是存在我们的数据节点上。如果这块内存存满了，他就会使用LRU算法，
最近最少使用算法，把内存的数据写到一个一个的文件上。写入文件，文件叫做 Store(对应一个列族) File.
store file存到Hfile，因为store file可能没有128M，先把store file 做处理，处理完得到一个一个Hfile，Hfile的大小是128M，我在把HFile存到DataNode上。
概念：region有一个名字叫做menstore的内存和一个store file组成，怎么理解store呢，对应一个列族，如果这个store存不下，他可能会有多个store。
一会再补充列族。HBase表结构时候再讲。
三：搭建环境
通过远程工具把habse-1.3.1.tar.gz上传到linux tools目录上。
1：解压
2：设置环境变量
3：安装模式，
本地模式:特点是不需要HDFS，直接把数据存在操作系统linux上。
hadoop的本地模式没有hdfs，是只能测试mapreduce的程序。那么mapreduce处理的就是linux操作系统上的数据。
配置：hbase-env.sh
28 export JAVA_HOME=/root/training/jdk1.8.0_144
hbase-site.xml
本地模式:
file:///root/training/hbase-1.3.1/data
启动hbase：start-hbase.sh 是会制动hmaster，在本地模式上只有HMaster没有从节点regionServer
现在我们可以操作hbase，现在来创建一张表。现在使用hbase 为我们提供的命令行工具
hbase shell，hbase shell相当于oracle中的sqlplus，或者mysql命令号，现在我们启动他的客户端，它默认连到本机。
创建学生表：
create 'student','info','grade'
插入数据：
put 'student','stu001','info:name','Tom'
查询数据:
scan 'student'
接下来进入刚才创建的data目录中，看到列族也是一个目录，如果在hdfs上他最终也是一个hdfs的目录
伪分布模式
hbase的伪分布模式，和hadoop的伪分布模式是一样的，都是在单机的环境上去模拟一个分布式的环境，在这个情况下会存在一个zk，和master，regionserver，他们三个运行在同一个机器上，
这个hadoop的伪分布是一个道理。
配置：
hbase-env.sh
JAVA_HOME /root/training/jdk1.8.0_144
HBASE_MANAGES_ZK true
hbase-site.xml
伪分布模式：
hdfs://192.168.80.116:9000/hbase
zookeeper连接的端口就是2181，
四：操作HBase,使用webconsole和命令行。
1：web console
端口号：新版本16010，老版本：60010
http://192.168.80.116:16010/master-status
2:命令行，举例子（不充点，sql的知识）
(*) 创建表
查看表：list，把hbase当中已经创建的表都给列出来
MySQL:show tables;
Oracle:select * from tab;
查看表结构：desc 'student'
describe 'student'
SQL中(Oracle):desc 和 describe有什么区别，都是查看表结构？
(*)descshi SQL*PLUS语句，可以缩写。
(*)describe是SQL语句，不能缩写。
(*)插入数据：put
(*)查询语句：
scan 相当于 select * from 'student'
get 相当于select * from 'student' where rowkey =sty001,这条语句会返回和stu001相关的所有记录
海量数据时候，为了加快查询的速度，可以建立HBase的二级索引，索引会提成查询的效率，HBase本身会有一个索引信息，就是元信息，二级索引的索引信息不需要HBASE来维护，需要借助别人来维护索引信息，它不属于HBase本身。
(*)清空数据 :truncate
日志：
补充数据：delete和truncate有什么区别（以Oracle为例）？
1：最根本的区别，delete语句是一个DML语句,DML可以回滚，truncate是一个DDL(Data Definition Language数据库定义语言)语句，DDL不可以回滚。
DML:Data Manipulation Language
DDL:Data Definition Language
2：delete 语句会产生碎片，truncate不会，碎片产生多了必然会影响性能。
3：delete不会释放空间，truncate会。如果表里面有10M的数据，用delete语句把数据删掉，这表还是10M，truncate会把空间释放掉
4：delete可以闪回(flashback)，truncate不可以，针对oracle数据库。
(*)删除表：drop
先 disable 'student'
drop 'student'
-----------------------------------------------------------------------------
hbase表：在每个cell(单元格)上，可以保存多条数据。·
VERSIONS=1:解释
表示这个单元格上可以存一条数据，
怎么区分这个单元格里面的多条数据呢，是用时间戳来查询，那么查询的时候是查询时间最新的数据。
IN_MEMORY :把他缓存到内存当中，默认值是false，如果想得到更高的性能，就把值改成true，但是不建议改成true，
除非内存够用，又必须要实现这样的功能就把它改成true，为什么默认值是false呢？
hbase是基于hdfs之上，他也是存储海量数据，海量数据改成true的话，就会吧数据存在内存当中，当然前提是内存足够大。
，全分布式模式