hadoop安装02

Hadoop伪分布式安装

step1 完成单机模式安装

参考Hadoop单机安装 ， 文章没有特殊说明当前操作的目录 ，都是在$HADOOP_PREFIX下面进行操作 。

step2 设置环境变量

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_PREFIX/lib

vim /opt/hadoop-2.6.4/etc/hadoop/hadoop-env.sh ,替换export JAVA_HOME=${JAVA_HOME}为以下内容

export JAVA_HOME=/usr/local/jdk1.7.0_79

step3 配置

vim $HADOOP_PREFIX/etc/hadoop/hdfs-site.xml ，打开hdfs-site.xml ，配置一下内容

    
        dfs.replication
        1
    

vim $HADOOP_PREFIX/etc/hadoop/core-site.xml ，打开core-site.xml ，配置一下内容

    
        fs.defaultFS
        hdfs://0.0.0.0:9000
    

step4 设置ssh无密码登陆

执行一下命令 ，配置ssh无密码登陆

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证ssh无密码登陆

ssh localhost

step5 启动停止dfs

1. 格式化文件

   
   # bin/hdfs namenode -format
   

2. 启动 NameNode后台进程和DataNode后台进程

   
   # sbin/start-dfs.sh
   

3. 通过浏览器访问nameNode ，默认地址 http://{ip}:50070/
4. 在HDFS上创建目录执行MapReduce作业
   
# bin/hdfs dfs -mkdir /user
# bin/hdfs dfs -mkdir /user/root
# bin/hdfs dfs -mkdir /user/hadoop
# bin/hdfs dfs -ls /user

5. 把本地文件系统中etc/hadoop文件夹下面的文件拷贝到HDFS下 ， 如果hdfs指定路劲不是绝对路径， 默认拷贝到/user//下制定的文件夹中
   
# bin/hdfs dfs -put etc/hadoop input
# bin/hdfs dfs -ls /user/root/input
# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'


6. 查看mapreduce执行结果 ,把output文件夹从分布式文件系统拷贝到本地文件并查看他们的内容 ：或者直接在hdfs中查看内容

   
   # bin/hdfs dfs -get output output 
   
   
   # cat output/*
   
   
   # bin/hdfs dfs -cat output/*
   
   

7. 有始有终， 停止NameNode,DataNode等所有的进程

   
   # sbin/stop-dfs.sh