hadoop集群批量快速安装

今天是我生日,在博客里放送出2份非常实用的文档。hadoop、hbase批量安装和ganglia安装配置详解。首先第一篇。

hadoop批量安装前先将namenode,Hmaster机器安装完毕。然后准备以下文件

1、hadoop-0.20.2-CDH3B4.tar.gz

2、hbase-0.90.1-CDH3B4.tar.gz

3、hosts

4、profile

5、hbaseconf(这个是hbase中的conf文件夹的拷贝)

6、hadoopconf(这个是hadoop中conf文件夹的拷贝)\

将这些打包成cdh3beta4.tar.gz

以hadoop用户来运行脚本。

脚本一:作用是配置ssh免登陆

confSSH.sh

#!/bin/bash

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

for((i=100;i<115;i++))
do
scp ~/.ssh/id_dsa.pub [email protected].$i:~/
ssh 192.168.4.$i 'mkdir .ssh;
chmod 755 .ssh;
cat id_dsa.pub >>.ssh/authorized_keys;
chmod 644 .ssh/authorized_keys;'
done

脚本二:拷贝安装hadoop,hbase

installHadoop.sh

#!/bin/bash
for((i=102;i<115;i++))
do
scp /home/hadoop/cdh3beta4.tar.gz  [email protected].$i:/home/hadoop/
ssh 192.168.4.$i 'tar zxvf cdh3beta4.tar.gz;
cd cdh3beta4;
tar zxzf hadoop-0.20.2-CDH3B4.tar.gz -C /home/hadoop;
tar zxvf hbase-0.90.1-CDH3B4.tar.gz -C /home/hadoop;
ln -s /home/hadoop/hadoop-0.20.2-CDH3B4 /home/hadoop/hadoop;
ln -s /home/hadoop/hbase-0.90.1-CDH3B4 /home/hadoop/hbase;
cp hadoopconf/* /home/hadoop/hadoop/conf/;
cp hbaseconf/* /home/hadoop/hadoop/conf/;'
done

脚本三:安装jdk1.6,配置环境变量,需要以root用户运行

#!bin/bash
for((i=102;i<115;i++))
do
#scp /etc/hosts  [email protected].$i:/etc/hosts
#scp /etc/profile  [email protected].$i:/etc/profile
ssh 192.168.4.$i 'cp /home/hadoop/cdh3beta4/profile /etc/profile;
source /etc/profile;'
#./jdk-6u24-linux-x64-64bit-rpm.bin
#echo -e "/n"
#rm /usr/lib/jdk
#ln /usr/java/jdk1.6.0_24 /usr/lib/jdk
#cp /home/hadoop/cdh3beta4/hosts /etc/hosts
done

我是采用cdh3版本来完成的批量安装,第一个脚本执行时需要每台机器输入密码,后两个脚本就不需要了,在大量安装hadoop节点时应该很实用。

你可能感兴趣的:(hbase,hadoop,hadoop,集群,脚本,ssh,文档)