Hadoop/hbase单机安装

转载自：https://www.cnblogs.com/ypsy/p/9969276.html

1.Hadoop 环境配置

编辑 /etc/profile 文件
输入:

vim /etc/profile

整体的配置文件:

export HADOOP_HOME=/home/hadoop/hadoop2.7

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效

2.新建文件夹

在修改配置文件之前，现在root目录下建立一些文件夹。
输入:

mkdir  /root/hadoop 

mkdir  /root/hadoop/tmp 

mkdir  /root/hadoop/var 

mkdir  /root/hadoop/dfs 

mkdir  /root/hadoop/dfs/name 

mkdir  /root/hadoop/dfs/data

注:在root目录下新建文件夹是防止被莫名的删除。

首先切换到 /home/hadoop/hadoop2.7/etc/hadoop/ 目录下

3.修改 core-site.xml

输入:

vim core-site.xml

在添加:





        hadoop.tmp.dir

        /root/hadoop/tmp

        Abase for other temporary directories.

   

   

        fs.default.name

        hdfs://test1:9000

   




说明: test1 可以替换为主机的ip。

4.修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为自己的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为：

export   JAVA_HOME=/home/java/jdk1.8

5.修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:



   dfs.name.dir

   /root/hadoop/dfs/name

   Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.





   dfs.data.dir

   /root/hadoop/dfs/data

   Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.





   dfs.replication

   2





      dfs.permissions

      false

      need not permissions



 

说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

6.修改mapred-site.xml

如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件，在节点内加入配置:



    mapred.job.tracker

    test1:9001





      mapred.local.dir

       /root/hadoop/var





       mapreduce.framework.name

       yarn


说明: test1 可以替换为主机的ip。

到此 Hadoop 的单机模式的配置就完成了。

hadoop启动

第一次启动Hadoop需要初始化
切换到 /home/hadoop/hadoop2.7/bin目录下输入

  ./hadoop  namenode  -format




初始化成功后，可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置，并新建了该文件夹)新增了一个current 目录以及一些文件。


启动Hadoop 主要是启动HDFS和YARN
切换到/home/hadoop/hadoop2.7/sbin目录
启动HDFS
输入:

start-dfs.sh

登录会询问是否连接，输入yes ，然后输入密码就可以了


启动YARN
输入:

start-yarn.sh

 

可以输入 jps 查看是否成功启动

HDFS测试地址在浏览器输入:
http://虚拟机IP:8088/cluster (http://192.168.8.161:8088/cluster)


YARN测试地址在浏览器输入(单机服务下Namenode和JobTrack没有打开访问不了):
http://虚拟机IP:50070/ (http://192.168.8.161:50070)

安装hbase

1.下载hbase-0.94.3.tar.gz并解压
2.修改conf/hbase-env.sh:

　　①去掉JAVA_HOME一句的#并且指定自己的jdk路径

　　②找到 export HBASE_MANAGES_ZK=true 这一句，去掉#

3.修改conf/hbase-site.xml,修改为:(XXX替换过为自己的ubuntu用户名)    ("/home/XXX/hbase_data/hbase"这个路径可以自定义为其他路径，但是一定要确认当前用户有访问权限)

 







   hbase.rootdir
   hdfs://ip:port/hbase--Hadoop配置core-site.xml中fs.default.name中的ip和端口
  
  
    hbase.zookeeper.quorum
    ip--默认为本机ip
  
  
    hbase.unsafe.stream.capability.enforce
    false
  



 

4.进入bin目录执行start-hbase.sh启动HBase,安装启动完成。
stop-hbase.sh 关闭hbase
hbase shell进入hbase服务

5.检验HBase是否正常启动:
		浏览器输入：http://ip:16010

　　①在bin目录执行hbase shell，正常的话会进入hbase命令行模式，即  hbase(main):001:0> 

　　②输入 create 'user' ,'personalinfo',正常的话会出现类似   0 row(s) in 1.3200 seconds   这样的结果

　　③继续输入 list,正常的话会列出我们刚刚创建的user表