Hadoop+Hbase+ZooKeeper集群安装方法

hadoop的下载地址
hbase的下载地址
zookeeper的下载地址

1、 主机配置如下:
(添加到/etc/hosts文件里面)

192.168.0.211 master  
#(用于集群主机提供hmaster namenode jobtasker服务 )  
192.168.0.212 s1      
#(用于集群丛机提供regionsrever datanode tasktacuter服务)  
192.168.0.213 s2

2、安装jdk1.6.2.X
3、添加java环境变量
/etc/profile),后执行source /etc/profile ,使环境变量立即生效

export JAVA_HOME=/usr/java/jdk1.6.0_26/  #java 的目录
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin  
export HADOOP_HOME=/home/hadoop/hadoop  
export HBASE_HOME=/home/hadoop/hbase  
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin

4、在三台电脑上添加hadoop用户

useradd hadoop

5、在/home/hadoop/.bashrc添加变量 
(将hadoop hbase的配置文件放到hadoop安装包根目录文件下,目的在于以后升级hadoop和hbase的时候不用重新导入配置文件)

export HADOOP_CONF_DIR=/home/hadoop/hadoop-config  
export HBASE_CONF_DIR=/home/hadoop/hbase-config

6、将hadoop hbase zookepper的安装包解压
/home/hadoop/下,并重命名为hadoop hbase zookepper,在home/hadoop/下建立hadoop-confighbase-config文件夹,并且将home/hadoop/hadoop/conf下的masters、slaves、core-site、mapred-sit、hdfs-site、hadoop-env拷贝到此文件夹,将home/hadoop/hbase/conf下的hbase-sitehbase-env.sh拷贝到次文件夹。
7、修改masters、slaves文件:
分别为 master 和s1s2
8、修改hadoop-env.sh的变量:

export JAVA_HOME=/usr/java/jdk1.6.0_26/  
export HADOOP_PID_DIR=/home/hadoop/hadoop/tmp

9、修改core-site.xml

 
 
fs.default.name 
hdfs://master:9000 
 

修改mapred-site.xml

 
 
   mapred.job.tracker 
   hdfs://master:9001/ 
  

修改`hdfs-site.xml(name和data文件夹不要手动建立)

 
 
dfs.name.dir 
/home/hadoop/hadoop/name 
 
 
dfs.data.dir 
/home/hadoop/hadoop/data/ 
 
 
   dfs.replication 
   3 
 

10、设置master, s1, s2机几台器之间无密码访问:
**11、复制目录至集群丛机

scp -r /home/hadoop/hadoop s1:/home/hadoop
scp -r /home/hadoop/hadoop s2:/home/hadoop

12、切换到/home/hadoop/hadoop目录下
执行

bin/hadoop namenode -format

(格式化master主机生成name data tmp等文件夹)
13、启动namenode
执行

bin/start-dfs.sh

使用jps命令查看namenode、secondnamenode是否正常启动:
ie里面输入http://master:50070 查看namenode的相关配置信息、运行状态和日志文件
14、启动mapred
执行

bin/start-mapred.sh

使用jps命令查看nomenode、secondnamenode是否正常启动:
ie里面输入http://master:50030 查看jobtasker的相关配置信息、运行状态和日志文件

hbase+zookeeper集群搭建:

1、复制目录修改文件

/home/hadoop/hadoop/conf/目录下的hbase-site.xml、regionserver和hbase-env.sh拷贝到/home/hadoop/hbase-config/目录下;
编辑hbase-site.xml配置文件,如下:

 
hbase.rootdir 
hdfs://master:9000/hbase 
 
 
hbase.cluster.distributed 
true 
 
 
hbase.master 
master 
 
 
hbase.zookeeper.quorum 
s1,s2 
 
 
zookeeper.session.timeout 
60000000 
 
 
hbase.zookeeper.property.clientport 
2222 

2、编辑regionserver文件

S1 
S2

3、编辑hbase-env.xml文件

export JAVA_HOME=/usr/java/jdk1.6.0_26/  
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin  
export HADOOP_HOME=/home/hadoop/hadoop  
export HBASE_HOME=/home/hadoop/hbase  
export HBASE_MANAGES_ZK=true 
export PATH=$PATH:/home/hadoop/hbase/bin

4、复制文件到集群丛机

scp -r /home/hadoop/hbase s1:/home/hadoop 
scp -r /home/hadoop/hbase s2:/home/hadoop

5、进入/home/hadoop/zookeeper/conf/

(1)
cp zoo_sample.cfg zoo.cfg
(2)

vim zoo.cfg

如下:

# The number of milliseconds of each tick  
tickTime=2000 
# The number of ticks that the initial  
# synchronization phase can take  
initLimit=10 
# The number of ticks that can pass between  
# sending a request and getting an acknowledgement  
syncLimit=5 
# the directory where the snapshot is stored.  
dataDir=/home/hadoop/zookeeper/data  
# the port at which the clients will connect  
clientPort=2181 
server.1=s1:2888:3888  
server.2=s2:2888:3888

(3)

touch myid

*编辑:1(此序号设置和zoo.cfg里面的server设置要对应)

scp -r /home/hadoop/zookeeper s1:/home/hadoop 
scp -r /home/hadoop/zookeeper s2:/home/hadoop

(4)在所有的节点执行

chown -R hadoop.hadoop /home/hadoop

启动hbase集群:
(1)/home/hadoop/hbase/bin/start-base.sh
(2)执行jps显示Hmaster是否启动
(3)执行bin/hbase shell
(4)

create 't1' t2'' 't3'#(测试利用hmaster插入数据) 
list #(显示已经插入的数据) 
t1+t2+t3

输入:http://master:60010

延伸:Hadoop 页面监控信息网址列表
将Hadoop中可能用到的网页地址list到下面,方便查阅:

  1. http://master:50030
    查看MapReduce上的jobtracker(在启动了hdfs和MapReduce之后查阅)
  2. http://master:50060
    查看MapReduce上的tasktracker(在启动了hdfs和MapReduce之后查阅)
  3. http://master:50070
    查看HDFS上的节点信息(在启动了HDFS之后查阅)
  4. http://master:60010/master.jsp
    查看master连点信息 (在启动了HDFS、MapReduce、ZooKeeper和HBase之后查阅)
  5. http://master:60030/regionserver.jsp
    查看regionserver信息(在启动了HDFS、MapReduce、ZooKeeper和HBase之后查阅)
  6. http://master:60010/zk.jsp
    查看zookeeper信息(在启动了HDFS、MapReduce、ZooKeeper和HBase之后查阅)

转载于:https://my.oschina.net/u/1416978/blog/730835

你可能感兴趣的:(大数据,java,shell)