Linux 集群搭建

apache集群的搭建

 

一.克隆、设置IP、主机名、网卡，重启后尝试联网(不多说了)

1.vi /etc/sysconfig/network-scripts/ifcfg-eth0
2.vi /etc/sysconfig/network
3.vi /etc/udev/rules.d/70-persistent-net.rules
二.防火墙
1.查看状态：service iptables status
2.关闭： service iptables stop
3.查看启动：chkconfig iptables --list
4.禁止启动：chkconfig iptables off
三.修改主机名和IP映射：
1.vi /etc/hosts
四.免登陆
1.生成ssh免登陆密钥：ssh-keygen -t rsa （四个回车）---生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
2.公钥授权：ssh-copy-id 其他机器 或者把公钥追加到授权的key中---cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

注：如果没有expect服务会有expect no found 错误，添加expect                 yum list | grep expect              yum install expect（包名）

 

五.hadoop安装与profile:
1.解压： tar -zxvf centos6.6-hadoop-2.6.4\(64bit\).tar.gz  ==\为反编译。。。。把每个括号以引号包起来也可以如：“）”

2.配置环境变量：1.vi /etc/profile
3.增加配置：
export HADOOP_HOME=/hadoop/hadoop-2.6.4/
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
4.刷新配置使环境变量生效：
source /etc/profile
5.拷贝profile 到其他机器：scp -r /etc/profile root@mini11:/etc

 

 

 

 

六. 5个配置：
1---------vi hadoop-env.sh
export JAVA_HOME=/hadoop/jdk1.7.0_75/




2---------vi core-site.xml

   
   
           fs.default.name
           hdfs://mini111:9000
   
   
   
           hadoop.tmp.dir
           /hadoop/data
   





3------------vi hdfs-site.xml


dfs.namenode.name.dir
/hadoop/data/name


dfs.datanode.data.dir
/hadoop/data/data




dfs.replication
3




dfs.secondary.http.address
hadoop01:50090






4：在这里是没有mapred-site.xm 的。需要先 mv  mapred-site.xml.template  mapred-site.xml  修改一下
----------vi mapred-site.xml

   
       mapreduce.framework.name
       yarn
   







5-----------vi yarn-site.xml

   
   
       yarn.resourcemanager.hostname
       hadoop01
   
   
   
       yarn.nodemanager.aux-services
       mapreduce_shuffle
   

 

 

 

 

 

仔细看箭头哦

 

七.其他配置：
  1.vi salves
mini111
mini112

mini113

2.复制hadoop到其它节点
scp -r /hadoop/hadoop-2.6.4 root@mini111:/hadoop
scp -r /hadoop/hadoop-2.6.4 root@mini112:/hadoop
scp -r /hadoop/hadoop-2.6.4 root@mini113:/hadoop

八.启动集群：
1.初始化HDFS：hadoop namenode -format
2.启动HDFS：sbin/目录下   sh start-dfs.sh
3.启动YARN:sbin/目录下   sh start-yarn.sh
九.验证：
1.jps：查看服务启动
2、http://mini111:50070
3、http://moni111:8088
十.测试：

1.上传文件到HDFS：hadoop fs -mkdir -p /wordcount/input     hadoop fs -put /hadoop/words.txt /wordcount/input

买一赠一

============

JDK自动安装脚本：

============（可以看可以不看）5.JDK脚本1：   install_jdk.sh:
#!/bin/bash
#切换到hadoop的目录
cd /hadoop
#解压jdk到/usr/local目录
tar -zxvf jdk-7u75-linux-x64.gz -C /usr/local
#追加java环境变量到/etc/profile
#这样的写法，是遇到EOF就停止写入
cat >> /etc/profile << EOF
export JAVA_HOME=/usr/local/jdk1.7.0_75

export HADOOP_HOME=/hadoop/hadoop-2.6.4

#hadoop环境

export PATH=\$PATH:\$JAVA_HOME/bin:\$HADOOP_HOME
EOF


============（可以看可以不看）6.JDK脚本2：auto-stup.sh:
#!/bin/bash
#基础server，将在这台服务器上执行安装的脚本
#所有资源文件先上传到这个服务器上，做安装准备
BASE_SERVER=hadoop2
#需要安装jdk的服务器节点
SERVER="hadoop3 hadoop4"
PASSWD=123456


#定义一个ssh免登录的方法
#它是通过一个无人值守的模式人机交互的命令来实现的
ssh_copy_id(){
#就是将后面""里面的内容，当作指令来执行
expect -c "set timeout -1;
        spawn ssh-copy-id $1;
expect {
*(yes/no)* {send -- yes\r;exp_continue}
*password* {send -- $PASSWD\r;exp_continue}
 eof {exit 0;}
}"
}


#循环目标服务器节点列表,然后调用ssh_copy_id的方法
#进行ssh免密码登录的配置
for server in $SERVER
do
ssh_copy_id $server
done


#循环服务器节点列表，将安装脚本和资源远程复制过去,然后执行安装
for server in $SERVER 
do
#判断远程服务器的目录是否存在，不存在就创建
ssh $server "if [ ! -d /hadoop ]; then mkdir /hadoop;fi"
#复制安装文件到远程服务器
scp install_jdk.sh root@$server:/root
#复制java安装文件到远程服务器
scp /hadoop/jdk-7u75-linux-x64.gz root@$server:/hadoop
scp /hadoop/centos6.6-hadoop-2.6.4(64bit).tar.gz root@$server:/hadoop
#登录到远程服务器，执行安装脚本
ssh root@$server sh /root/install_jdk.sh
done


 

boom !!!GAME OVER ----------