java连接Hbase操作数据库的全过程---搭建伪分布式hadoop环境

1.环境准备

1.centos7+jdk8.0

安装环境前先来了解下hbase与jdk和hadoop的版本兼容性问题：http://hbase.apache.org/book.html#basic.prerequisites，http://hbase.apache.org/book.html#hadoop

本文选择hadoop-2.6.5.tar.gz和hbase-2.0.5-bin.tar.gz进行演示。可以到官网自行选择版本。

开始前我们进行hosts文件配置，指定一个服务器名指向虚拟机ip：

修改hosts后，重启服务器！！！！
配置ssh免密登录：

1.SSH设置和密钥生成

$ ssh-keygen -t rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ chmod 0600 ~/.ssh/authorized_keys

一路回车即可。

2.验证ssh免密设置：

[root@localhost /]# ssh localhost
Last login: Thu May  9 09:45:00 2019 from localhost
[root@localhost ~]#

2.安装hadoop（伪分布式环境）

1. tar -zxvf hadoop-2.6.5.tar.gz解压。

2.mv hadoop-2.6.5 hadoop将hadoop文件夹名称重命名下，方便后面使用。

3.配置hadoop环境变量：

vi ~/.bashrc  在文件末尾加上下面几行：

export HADOOP_HOME=/usr/local/javaworkspace/hadoop

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

export HADOOP_INSTALL=$HADOOP_HOME

 source ~/.bashrc 使配置生效。

3.配置几个配置文件：配置都用hbasehost服务地址，这个在后面启动hbase那里很重要。

etc/hadoop/core-site.xml:

    
        fs.defaultFS
        hdfs://hbasehost:9000
    

etc/hadoop/hdfs-site.xml:

 
     
        dfs.replication 
        1 
     

配置完后，对hdfs节点进行格式化：

 bin/hdfs namenode -format

格式化正常可看到如下图：

启动hadoop的hdfs：

启动前先配置先给hadoop指定JAVA_HOME:

vi etc/hadoop/hadoop-env.sh

修改：export JAVA_HOME=/usr/java/jdk1.8.0

配置好后启动hadoop：

start-dfs.sh

jps可查看启动的进程：

启动hdfs可能会有个警告"util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable",解决方案：在hadoop-env.sh中设置：export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"  。

重新启动hadoop：stop-dfs.sh   start-dfs.sh

浏览器访问 http://hbasehost:50070 可以看到下面页面：

接下来配置YARN：

 cp mapred-site.xml.template mapred-site.xml

etc/hadoop/mapred-site.xml:

 
     
        mapreduce.framework.name 
        yarn 
     

etc/hadoop/yarn-site.xml:

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

配置好后，启动yarn：start-yarn.sh

浏览器访问：http://hbasehost:8088

至此hadoop伪分布式环境搭建完成。

hbase环境搭建：https://blog.csdn.net/qq1049545450/article/details/90023386

java api操作hbase：https://blog.csdn.net/qq1049545450/article/details/90025401

 

Hbase 下载地址：https://pan.baidu.com/s/102IcdzaajGUiJbqpf1gXWg 提取码：coh7