hadoop1.x伪分布式环境安装（单机）

1.x伪分布式环境安装（单机）：

    1.前置准备：配置主机名（不要使用ip），安装jdk及下载hadoop的gz包，配置java和hadoop的环境变量，（openjdk可通过yum安装，但按照官网的方式install后，只有jre环境，没有jdk，此时需要下载java-1.X.X-openjdk-devel这个包，通过yum list |grep jdk-devel来查询）， vi /etc/profile:

     export JAVA_HOME=/usr/java/jdk1.7.0_67

    export HADOOP_PREFIX=/opt/sxt/hadoop-2.6.5

    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

    设置本机的免密钥登录：

    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    2.配置：修改*-env.sh (在/hadoop-2.7.2/etc/hadoop/ 下)，将刚才配置的JAVA_HOME配置进去，(hadoop-env.sh,yarn-env.sh,mapred-env.sh)

    3.修改core-site.xml，加入配置：

    

        fs.defaultFS

        hdfs://node01:9000

   

   

        hadoop.tmp.dir

        /var/sxt/hadoop/local

   

    4.修改hdfs-site.xml，加入配置：

    

        dfs.replication

        1

   

   

        dfs.namenode.secondary.http-address

        node01:50090

   

    5.修改slaves，将内容写为当前主机名即可：vi slaves   node01

    6.初始化hdfs，hdfs namenode -format

    7.启动：start-dfs.sh； jps查看是否启动三个进程DataNode，NameNode，SecondaryNameNode ； 可在浏览器上查看http://172.168.1.108:50070

    8.测试：

        创建目录：hdfs dfs -mkdir /user

        查看目录：hdfs dfs -ls /user

        上传文件：hdfs dfs -put file /   （file指本地文件绝对路径，/指hdfs的文件路径，例子： hdfs dfs -put /opt/sxt/hadoop-2.7.2.tar.gz /user/root）

        上传文件并指定block大小：hdfs dfs -D dfs.blocksize=1048576 -put test2 /user