大数据分布式环境搭建文档

分布式环境搭建文档

Hadoop2.7.4+hbase1.3.1+jdk1.8+zookeeper3.4.9

1. 分布式和伪分布式的区别
2. 简单的一句话概括一下，就是一台机器和多台机器的区别，加了一个zookeeper的配置，zookeeper就是为了进行集群间信息同步协助框架，把相关进程启动就可以了。

 

1. 首先搭建一个伪分布式的环境

 

1. 首先修改主机名、关闭防火墙、配置主机名和ip间的映射关系
2. 配置ssh免密码登录

ssh-keygen -t rsa

1. 修改hadoop的配置信息
2. 安装合适版本的jdk。如果版本不一致，也会有错哦！
3. 要保证伪分布式能够运行起来哟！！！
4. 克隆虚拟机、利用修改相关配置文件
5. 克隆两台虚拟机（完整克隆）
6. 修改hostname、修改ip、修改完以后重启机器。
7. 修改主机映射关系（/etc/hosts文件）

192.168.159.4 hadoop

192.158.159.5 hadoop1

192.158.159.6 hadoop2

添加到该文件中。

1. 配置三天机器免密码登录操作。

ssh-keygen -t rsa   生成公钥文件

cp id_rsa.pub authorized_keys  copy 生成文件

ssh-copy-id -i  + 主机名  把本机的公钥copy到主机名对应的机器里面

最终结果：

 

如果配置完成一个像上述结果一样的话，其他的直接风发就可以了。

 scp authorized_keys hadoop1:/root/.ssh/authorized_keys

 scp + 本机文件地址 远程主机名：+ 远程主机名地址

 

1. 免密码登录、主机名映射关系，hadoop伪分布式都ok以后。
2. Hadoop分布式搭建。修改俩文件  

一个是 hdfs-site.xml 修改副本数

第二个修改slaves文件：

     1、配置完成后，用scp分发到另外两个节点里面

     2、然后 格式化namenode，启动hadoop

hdfs namenode -format

start-dfs.sh start-yarn.sh  == start-all.sh

1. 然后分布式hadoop完毕！！！

 

1. 配置zookeeper集群

1. 首先修改ZK_HOME/conf/zoo_sample.cfg  改成 zoo.cfg
2. 修改内容：

server.0=hadoop:2888:3888

server.1=hadoop1:2888:3888

server.2=hadoop2:2888:3888

 

dataDir=/opt/zookeeper-3.4.9/data

 

1. 然后在/opt/zookeeper-3.4.9/data 下面创建  myid 文件，分别是0,1，2

 

效果如下图：

启动zookeeper集群

1. zkServer.sh start
2. zkServer.sh status 查看状态 一个leader，两个follwer，就对了

1. 配置hbase集群
2. 修改配置文件  conf/hbase-env.sh

export HBASE_MANAGES_ZK=false

export JAVA_HOME=/opt/jdk1.8.0_191

1. 修改hbase-site.xml 文件

        hbase.rootdir

        hdfs://hadoop:9000/hbase

        hbase.zookeeper.property.clientPort

        2181

        zookeeper.session.timeout

        120000

        hbase.zookeeper.quorum

        hadoop,hadoop1,hadoop2

        hbase.tmp.dir

        /opt/hbase-1.3.1/hbasedata

        hbase.cluster.distributed

        true

具体解释可参考连接：

http://www.cnblogs.com/bookwed/p/5336508.html

 

1. 然后修改regionserver

       

1. 然后配置完毕以后，将Hbase分发到另外两个节点

scp -r /opt/hbase-1.3.1 hadoop1:/opt/

 

     2、确认zookeeper集群是否启动成功，如果成功，那就启动hbase。

     3、start-hbase.sh

 

1. 启动验证
2. http://192.168.159.4:50070
3. http://192.168.159.4:8088
4. http://192.168.159.4:16010
5. 你学会了吗？