hadoop大数据环境部署--linux centos虚拟机

需要版本：
jdk:jdk-7u79-linux-x64.tar.gz
hadoop:hadoop-2.5.0-cdh5.3.6.tar.gz

1.创建hadoop用户
useradd -m hadoop -G root -s /bin/bash
2.赋予hadoop用户最高权限
chmod 777 hadoop
--记得给hadoop设置密码
passwd hadoop
hadoop
3.切换hadoop用户
su hadoop
4.查看主机名 
hostname 
如果不是当前的主机名，则需要修改:   vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=king
5.ping king看是否链接通
6.密钥公钥-  
ssh-keygen -t rsa 
一路回车，出现如下图示时候：成功
The key's randomart image is:
+--[ RSA 2048]----+
|    .=. . .o*o   |
|    . o. = ...   |
|       .+..o     |
|       ...+.     |
|        S.+ . .  |
|       o o . . . |
|      .     . .  |
|           . .   |
|          E      |
+-----------------+
7.cd
pwd
ls-al
找到.ssh隐藏文件
8.
[hadoop@king ~]$ cd .ssh/
[hadoop@king .ssh]$ ls
id_rsa  id_rsa.pub
其中有两个文件
9.
cat id_rsa.pub > authorized_keys
ls
现有三个文件
10.
sudo chmod 600 authorized_keys
输入hadoop用户密码即可
11.尝试免密码登陆
ssh king
12.生成的konw_hosts其中保存的是登陆ip地址的信息
13.如果是有多态分布是机器
密钥需要追加到authorized_keys中；
cp id_rsa.pub id.rsa.king2.pub
cat id_rsa.king2.pub>>authorized_keys

#安装jdk
7U79-linux-x64
1.home/hadoop/bigdater/softs
其中softs用来存放压缩包 :jdk-7u79-linux-x64.tar.gz  hadoop-2.5.0-cdh5.3.6.tar.gz
cd 到bigdater目录
tar -zxvf softs/jdk-7u79-linux-x64.tar.gz
创建软连接：
sudo ln -s /home/hadoop/bigdater/jdk1.7.0_79/ /usr/local/jdk

2.设置环境变量
vim ~/.bash_profile
添加：
#jdk
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

source ~/.bash_profile

3.查看是否安装成功
java -version

#hadoop安装
1.
tar -zxvf softs/hadoop路径

cd hadoop文件路径
mkdir hdfs

2.开始配置文件 都在etc/hadoop中
2.1 vim hadoop-env.sh
#把原来的注释掉
export JAVA_HOME=/usr/local/jdk
export HADOOP_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp
#进程id的保存路径，一般生产环境需要修改
#保存 esc --shift zz
#查看是否报错
cd /home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/etc/hadoop

2.2 vim mapred-env.sh
export HADOOP_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp

2.3 vim yarn-env.sh
export YARN_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp

2.4 vim core-site.xml

     
             fs.defaultFS
             hdfs://king
     
      
     
             hadoop.tmp.dir
             /home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp
     

2.5 vim hdfs-site.xml

     
             dfs.replication
             1
#参数因子
     
      
     
             dfs.namenode.name.dir
             /home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/name
     
      
     
             dfs.namenode.data.dir
             /home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/data
     
#非必须，权限验证     
     
             dfs.permission.enabled
             false
     
      
      
2.6 vim mapred-site.xml--如果没有 先创建 cp mapred-site.xml.template mapred-site.xml

     
             mapreduce.framework.name
             yarn
#默认是local
     
      
2.7 vim yarn-site.xml

     
             yarn.nodemanager.aux-services
             #给定服务名称
             mapreduce_shuffle
     
      
     
             yarn.nodemanager.aux-services.mapreduce_shuffle.class
             org.apache.hadoop.mapred.ShuffleHandler
     
      
     
             yarn.log-aggregation-enable
             #打印日志
             true
     
      
      
2.8 vim slaves 
存放datanode的节点的主机名
修改为king

2.9 配置hadoop环境变量
vim ~/.bash_profile

#hadoop
export HADOOP_HOME=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.10 source ~/.bash_profile

2.11 hadoop version
看是否安装成功