Hadoop2.6.5伪分布式环境配置

Java配置

rpm -i jdk-7u67-linux-x64.rpm      #安装Java7
vi + /etc/profile                     #配置环境变量

在文件末尾追加环境

export JAVA_HOME=/usr/java/jdk1.7.0_67
PATH=$PATH:$JAVA_HOME/bin

激活环境

source /etc/profile

ssh配置

检查ssh是否能免密登录本机

ssh localhost

配置秘钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

配置Hadoop

创建文件夹，解压文件

mkdir -p /opt/ran
tar xf hadoop-2.6.5.tar.gz -C /opt/ran/

配置激活Hadoop环境变量，

export HADOOP_HOME=/opt/ran/hadoop-2.6.5
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

进入/opt/ran/hadoop.2.6.5/etc/hadoop修改配置文件
为避免找不到Java路径，进入hadoop-env.sh，mapred-env.sh，yarn-env.sh改为Java绝对路径
配置主节点文件信息core-site.xml，默认配置节点信息保存在了临时目录，为防止信息丢失，修改节点信息存在路径

    
        fs.defaultFS
        hdfs://node06:9000
    
    
        hadoop.tmp.dir
        /var/ran/hadoop/pseudo
    

配置副本数，secondarynamenode，hdfs.site.xml

    
        dfs.replication
        1
    
    
        dfs.namenode.secondary.http-address
        node06:50090
    

配置datanode，vi slaves

格式化

格式化后，配置文件信息会保存在设定的路径
format过程中，在pseudo/dfs/name/current中会产生VERSION文件，其中包含集群的唯一ID，为集群中所有集群共享
注意格式化的次数，每次格式化，该结点的集群ID发生变化，其他结点ID没有变化，导致一些操作错误。慎重多次格式化！

hdfs namenode -format

启动集群

start-dfs.sh

关闭集群

stop-dfs.sh