hadoop环境搭建（三）

0.配置java环境，主机名和ip的映射，ssh免密登录，关闭防火墙

1.上传hadoop包至apps下，然后解压缩:tar -zxvf hadoop.tar.gz

2.配置hadoop-env.sh:
  export JAVA_HOME=/usr/java/jdk1.7.0_45
3.配置core-site.xml:
 
 
fs.defaultFS
hdfs://linux1:9000
 
 
 
hadoop.tmp.dir
/home/hadoop/hdpdata
   
4.配置hdfs-site.xml
   
   
dfs.replication
2
   
5.配置mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
  mv mapred-site.xml.template mapred-site.xml
  vi mapred-site.xml
 
 
  mapreduce.framework.name
yarn
   
6.配置yarn-site.xml
 
 
yarn.resourcemanager.hostname
linux1
 
 
 
yarn.nodemanager.aux-services
mapreduce_shuffle
 
7.将配置好的hadoop复制到其他机器中:
  scp -r apps linux2:/home/hadoops/ 
8.配置hadoop环境变量:
  vi /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_45
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

9.将hadoop配置文件拷贝到其他机器:
  sudo scp /etc/profile linux2:/etc/
10.格式化namenode（是对namenode进行初始化）
   hadoop namenode -format
11.启动namenode:
   进入sbin目录下，hadoop-daemon.sh start namenode,打开页面:linux1:50070查看是否启动成功
   关闭namenode:hadoop-daemon.sh stop namenode
12.启动datanode:
   进入sbin目录下，hadoop-daemon.sh start datanode
   关闭datanode:hadoop-daemon.sh stop datanode
13.将主机名添加到slaves文件中
14.脚本一次性启动hdfs:start-dfs.sh

15.脚本一次性启动yarn:start-yarn.sh

16.namenode的工作目录默认是在${hadoop.tmp.dir}/dfs/name下，在hdfs-site.xml配置，而hadoop.tmp.dir是在core-site.xml配置的
   如果更改namenode的工作目录，则修改linux1中的hdfs-site.xml:
   
      dfs.name.dir
      /home/hadoop/name1,/home/hadoop/name2
   
   name1和name2中的内容完全一样，最好将name1和name2配置在不同的服务器中