Linux 集群搭建

apache集群的搭建

 

一.克隆、设置IP、主机名、网卡,重启后尝试联网(不多说了)

1.vi /etc/sysconfig/network-scripts/ifcfg-eth0
2.vi /etc/sysconfig/network
3.vi /etc/udev/rules.d/70-persistent-net.rules
二.防火墙
1.查看状态:service iptables status
2.关闭: service iptables stop
3.查看启动:chkconfig iptables --list
4.禁止启动:chkconfig iptables off
三.修改主机名和IP映射:
1.vi /etc/hosts
四.免登陆
1.生成ssh免登陆密钥:ssh-keygen -t rsa (四个回车)---生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
2.公钥授权:ssh-copy-id 其他机器 或者把公钥追加到授权的key中---cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

注:如果没有expect服务会有expect no found 错误,添加expect                 yum list | grep expect              yum install expect(包名)

 

五.hadoop安装与profile:
1.解压: tar -zxvf centos6.6-hadoop-2.6.4\(64bit\).tar.gz  ==\为反编译。。。。把每个括号以引号包起来也可以如:“)”

2.配置环境变量:1.vi /etc/profile
3.增加配置:
export HADOOP_HOME=/hadoop/hadoop-2.6.4/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
4.刷新配置使环境变量生效:
source /etc/profile
5.拷贝profile 到其他机器:scp -r /etc/profile root@mini11:/etc

 

 

 

 


六. 5个配置:
1---------vi hadoop-env.sh
export JAVA_HOME=/hadoop/jdk1.7.0_75/
Linux 集群搭建_第1张图片



2---------vi core-site.xml

   
   
           fs.default.name
           hdfs://mini111:9000
   

   
   
           hadoop.tmp.dir
           /hadoop/data
   


Linux 集群搭建_第2张图片



3------------vi hdfs-site.xml


dfs.namenode.name.dir
/hadoop/data/name


dfs.datanode.data.dir
/hadoop/data/data




dfs.replication
3




dfs.secondary.http.address
hadoop01:50090


Linux 集群搭建_第3张图片



4:在这里是没有mapred-site.xm 的。需要先 mv  mapred-site.xml.template  mapred-site.xml  修改一下
----------vi mapred-site.xml

   
       mapreduce.framework.name
       yarn
   



Linux 集群搭建_第4张图片




5-----------vi yarn-site.xml

   
   
       yarn.resourcemanager.hostname
       hadoop01
   

   
   
       yarn.nodemanager.aux-services
       mapreduce_shuffle
   

 

 

 

 

 

仔细看箭头哦

Linux 集群搭建_第5张图片

 

七.其他配置:
  1.vi salves
mini111
mini112

mini113

Linux 集群搭建_第6张图片

2.复制hadoop到其它节点
scp -r /hadoop/hadoop-2.6.4 root@mini111:/hadoop
scp -r /hadoop/hadoop-2.6.4 root@mini112:/hadoop
scp -r /hadoop/hadoop-2.6.4 root@mini113:/hadoop

八.启动集群:
1.初始化HDFS:hadoop namenode -format
2.启动HDFS:sbin/目录下   sh start-dfs.sh
3.启动YARN:sbin/目录下   sh start-yarn.sh
九.验证:
1.jps:查看服务启动
2、http://mini111:50070
3、http://moni111:8088
十.测试:

1.上传文件到HDFS:hadoop fs -mkdir -p /wordcount/input     hadoop fs -put /hadoop/words.txt /wordcount/input

买一赠一

============

JDK自动安装脚本:

============(可以看可以不看)5.JDK脚本1:   install_jdk.sh:
#!/bin/bash
#切换到hadoop的目录
cd /hadoop
#解压jdk到/usr/local目录
tar -zxvf jdk-7u75-linux-x64.gz -C /usr/local
#追加java环境变量到/etc/profile
#这样的写法,是遇到EOF就停止写入
cat >> /etc/profile << EOF
export JAVA_HOME=/usr/local/jdk1.7.0_75

export HADOOP_HOME=/hadoop/hadoop-2.6.4

#hadoop环境

export PATH=\$PATH:\$JAVA_HOME/bin:\$HADOOP_HOME
EOF


============(可以看可以不看)6.JDK脚本2:auto-stup.sh:
#!/bin/bash
#基础server,将在这台服务器上执行安装的脚本
#所有资源文件先上传到这个服务器上,做安装准备
BASE_SERVER=hadoop2
#需要安装jdk的服务器节点
SERVER="hadoop3 hadoop4"
PASSWD=123456


#定义一个ssh免登录的方法
#它是通过一个无人值守的模式人机交互的命令来实现的
ssh_copy_id(){
#就是将后面""里面的内容,当作指令来执行
expect -c "set timeout -1;
        spawn ssh-copy-id $1;
expect {
*(yes/no)* {send -- yes\r;exp_continue}
*password* {send -- $PASSWD\r;exp_continue}
 eof {exit 0;}
}"
}


#循环目标服务器节点列表,然后调用ssh_copy_id的方法
#进行ssh免密码登录的配置
for server in $SERVER
do
ssh_copy_id $server
done


#循环服务器节点列表,将安装脚本和资源远程复制过去,然后执行安装
for server in $SERVER 
do
#判断远程服务器的目录是否存在,不存在就创建
ssh $server "if [ ! -d /hadoop ]; then mkdir /hadoop;fi"
#复制安装文件到远程服务器
scp install_jdk.sh root@$server:/root
#复制java安装文件到远程服务器
scp /hadoop/jdk-7u75-linux-x64.gz root@$server:/hadoop
scp /hadoop/centos6.6-hadoop-2.6.4(64bit).tar.gz root@$server:/hadoop
#登录到远程服务器,执行安装脚本
ssh root@$server sh /root/install_jdk.sh
done


 

boom !!!GAME OVER ----------

你可能感兴趣的:(集群搭建,hadoop)