Ubuntu14.0.4下部署Hadoop2.7.2伪分布模式

一、安装运行软件环境【以下都是用root帐户】

1、更新软件源索引列表，这样才可以下载到最新的软件：apt-get update

2、安装ssh工具：

    1）、开始安装：apt-get install ssh

    2）、重启后，查看系统进程： ps -e |grep ssh

    3）、设置ssh免密码登录：

        （1）、生成密钥：  ssh-keygen -t rsa -P ""

        （2）、把公钥信息追加到证书文件中：cat  /root/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

        （3）、测试成功免密码登录本机： ssh localhost

    

3、安装JDK：jdk-8u60-linux-x64.gz

    1）、创建jdk安装目录

        （1）、cd /opt

        （2）、mkdir java

    2）、解压文件到刚才新建的/opt/java目录中

         tar -xzvf jdk-8u60-linux-x64.gz -C /opt/java

    3）、配置java的系统环境变量

        （1）、gedit /etc/profile    #添加下面的jdk环境变量

也可通过修改~/.bashrc文件，同样也是有效的。

             # JDK evironment configs

            JAVA_HOME=/opt/java/jdk1.8.0_60

            JRE_HOME=${JAVA_HOME}/jre

            CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

            PATH=$PATH:${JAVA_HOME}/bin

        （2）、source /etc/profile    #配置文件生效

        （3）、检验jdk配置成功：    java -version

        

二、安装hadoop【以下都是用root帐户】

    1）、解压文件到/opt目录下：

         tar -xzvf hadoop-2.7.2.tar.gz -C /opt

    2）、配置hadoop的系统环境变量：

        （1）、gedit /etc/profile    #添加下面的hadoop环境变量

             # Hadoop evironment configs

            PATH=$PATH:/opt/hadoop-2.7.2/bin

        （2）、source /etc/profile    #配置文件生效

    3）、配置hadoop自身的环境变量：

        gedit /opt/hadoop-2.7.2/etc/hadoop/hadoop-env.sh    #把原来的JAVA_HOME替换成新的；

    4）、检验hadoop配置成功：    hadoop version

    

    5）、配置core-site.xml     gedit core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
    <span style="white-space:pre">	</span><name>hadoop.tmp.dir</name>
    <span style="white-space:pre">	</span><value>/usr/local/hadoop-2.7.2/hadoop_tmp</value>
    <span style="white-space:pre">	</span><description>A base for other temporary directories.</description>
    </property>
</configuration>

特别需要注意：hadoop.tmp.dir属性必须指定，因为Hadoop的许多配置默认都是采用hadoop.tmp.dir这个路径（如NameNode的存储目录等），而在用户没有指定的情况下，hadoop.tmp.dir默认是放在/tmp目录下的，一旦重启操作系统，则所有的hadoop文件将全部不见。

    6）、配置hdfs-site.xml     gedit hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

由于是伪分布模式，说白了就是一台机器上运行NameNode和DataNode，所以设置文件的复制备份为1份就可以了，配置再多份也没有效果。

    

    7）、启动Hadoop文件系统（在Hadoop安装根目录下运行）：./sbin/start-dfs.sh。

    8）、查看Hadoop伪分布模式是否安装成功：

    在浏览器中输入： http://localhost:50070，如果能看到以下站点，则说明安装成功。