Windows安装Hbase单机版

最近在学习一个项目，里面用到了Hbase，传说优点很多，用替代的方案不太好，同时也是开启大数据学习的一扇门，所以自己也尝试搭建一个本地的调试环境，奈何对Windows系统不太友好，同时又不太想开远程主机搭建，毕竟本地运行能让我对整体有个印象，网上多方摸索，终于实践成功，特写下过程和心得

环境

• Windows 64位
• JDK8

参考文章

• https://blog.csdn.net/tornadojava/article/details/56013420
• https://blog.csdn.net/tornadojava/article/details/56479651
• https://www.bbsmax.com/A/kvJ3LyD5gM/
  以下过程极大部分搬运自前两篇文章

过程

• 准备
  1：安装JDK1.8。
  2：环境变量中添加JAVA_HOME。
  3：下载hadoop2.7.3。
  4：解压到D盘，路径为D:\hadoop2.7.3。
  5：环境变量中添加HADOOP_HOME=D:\hadoop2.7.3
  6：将D:\hadoop2.7.3\bin和D:\hadoop2.7.3\sbin添加到path中。
  7：下载一个重要的东西。

hadooponwindows
地址：https://github.com/sardetushar/hadooponwindows

8：删除hadoop下的etc和bin。
9：将hadooponwindows里的etc和bin拷贝到D:\hadoop2.7.1\下。

准备工作完成。

补充：如果Windows上面的解压软件解压以上下载的文件有问题的话，就下载cywin，然后再cywin当中使用 tar -zxvf XXXX.tar.gz命令进行解压就好

修改配置文件

• etc/hadoop/core-site.xml

   
       fs.defaultFS
       hdfs://localhost:9000
   

• etc/hadoop/mapred-site.xml

   
       mapreduce.framework.name
       yarn
   

• etc/hadoop/hdfs-site.xml

   
       dfs.replication
       1
   
   
       dfs.namenode.name.dir
       file:/hadoop-2.7.3/data/namenode
   
   
       dfs.datanode.data.dir
     file:/hadoop-2.7.3/data/datanode
   

• etc\hadoop\yarn-site.xml

    
       yarn.nodemanager.aux-services
       mapreduce_shuffle
    
    
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
       org.apache.hadoop.mapred.ShuffleHandler
    

• etc/hadoop/hadoop-env.cmd

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

这个视自己本机的JDK安装目录而定

执行命令

• 格式化namenode

hdfs namenode -format 

• 启动Hadoop
  sbin目录下执行

start-all
　
启动了4个窗口，namenode,datanode,yarn resourcemanager,yarn nodemanager.

• 停止Hadoop
  sbin下执行

stop-all
Hadoop都停止了。

其他

Resourcemanager GUI address - http://localhost:8088

Namenode GUI address – http://localhost:50070

至此windows下Hadoop安装成功！

插曲

HBase现在可以在windows下安装，而且不需要cygwin。虽然是单节点，但是作为开发研究是够用的。

开始

• 下载HBase，由于我的Hadoop是2.7.3，所以我HBase选择1.3.0。
  版本对照表：

  
  
  图片.png

部署

修改配置

• conf/hbase-site.xml

     
         
        hbase.master 
        localhost:6000 
     
     
        hbase.master.maxclockskew 
        180000 
     
     
         
        hbase.rootdir 
        hdfs://localhost:9000/hbase 
     
     
        hbase.cluster.distributed 
        false 
     
     
         
        hbase.zookeeper.quorum 
        localhost 
     
     
         
        hbase.zookeeper.property.dataDir 
        /hbase 
     
     
        dfs.replication 
        1 
    

• 修改环境配置指令
  修改 conf/hbase-env.cmd
  设置JAVA_HOME，类似于部署hadoop。

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

还是视自己的JDK安装目录而定

• 停止hadoop

sbin>stop-all.cmd

• 格式化Hadoop命名节点

bin>hdfs namenode -format

• 启动hadoop

sbin>start-all.cmd

• 启动hbase

bin>start-hbase.cmd

• 启动 HBase的rest服务

bin>hbase rest start -p 6000

访问：http://localhost:8085

• 启动HBase Shell

bin>hbase shell

通过shell操作hbase

创建表

创建一个名为 test 的表，这个表只有一个 列族 为 cf。可以列出所有的表来检查创建情况，然后插入些值。

create 'test','cf'

插入记录

put 'test','row1','cf:a','value1'

查询

scan 'test'

结果我就不演示了，因为，，我把命令窗口关闭了。。。。