hadoop与hbase的伪分布式代码测试环境的搭建

前言

献给想学习MapReduce和HBase却不知道怎么做的小伙伴们，说实话，你学习这些东西只看书那简直痴人说梦，所以，一个测试环境必不可少。

安装包下载

我用的是hadoop2.6.0，Hbase0.90.4（用这么老的版本的Hbase都是因为nutch）。

hadoop的安装与配置

我的hadoop的安装路径是/usr/local/hadoop
将hadoop解压并配置环境变量sudo gedit /etc/profile,添加如下内容：

#HADOOP VARIABLES START
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

运行source /etc/profile，使环境变量生效。（写这么细好烦）。
配置文件的路径都在/usr/local/hadoop/etc/hadoop/

配置core-site.xml

    
        fs.default.name
        hdfs://localhost:9000
    
        
    
        hadoop.tmp.dir
        /usr/local/hadoop/tmp
    

配置jdk路径

修改hadoop-env.sh,yarn-env.sh,mapred -env.sh的JAVA_HOME为自己的jdk安装路径

配置hadf

配置hdfs-site.xml

   
        dfs.replication
        1
    
    
    
        dfs.namenode.name.dir
        /usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        /usr/local/hadoop/tmp/dfs/data
    

配置yarn

配置yarn-site.xml

        
    
　　      yarn.resourcemanager.hostname
　　      youth
    

     
        yarn.nodemanager.aux-services 
        mapreduce_shuffle 
       

配置mapred

配置mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

到了这里所有的配置都已经完成了，进入/usr/local/hadoop/bin执行./hadoop namenode -format,之后进入/usr/local/hadoop/sbin，执行./start-all.sh,如图：

图一

执行jps，如图二，发现namenode和datanode都起来了说明hadoop安装与配置完成

图二

Hbase安装

安装路径/usr/local/hbase
进入/usr/local/hbase/bin
执行./start-hbase.sh,如图三

图三

然后执行./habse shell

图四

结束语

入门不易，且行且珍惜。