linux Hadoop安装及命令行使用

阅读更多

Hadoop安装

1、确认系统配置了jdk 及环境变量

2、下载Hadoop安装包
     http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz

3、下载完成后 解压该文件
   
   

 cd /user/local
     tar xzf hadoop-2.8.4.tar.gz
     mkdir hadoop
     mv hadoop-2.8.4/* hadoop/

    修改配置

    

vim /etc/profile
       添加：export HADOOP_HOME=/usr/local/hadoop/
             export PATH=$PATH:$HADOOP_HOME/bin
     source /etc/profile
     cd /usr/local/hadoop/etc/hadoop
     

       vim mapred-site.xml
      

       
  
    fs.default.name
    hdfs://localhost:9000
  
  
    mapred.job.tracker
    hdfs://localhost:9001
  
  
    dfs.replication
    1
  
 
       

   vim hadoop-env.sh

  

     export JAVA_HOME=/etc/alternatives/java_sdk_1.8.0
   

  4、配置完毕，进行启动
    

cd /usr/local/hadoop/sbin
     ./start-all.sh

  5、Hadoop之HDFS文件操作

     1 添加文件和目录
      

hadoop fs -mkdir  /test

     2、使用Hadoop的命令put将本地文件README.txt送到HDFS。

       

hadoop fs -put README.txt  /test

     3、查看某个目录下的信息

       

hadoop fs -ls /test

     4、将hdfs中的文件下载到本地：
      

 hadoop fs -get /test/index.html ./incloude/

     5、删除文件
       
       

hadoop fs -rm /test/index.html

     6、查看文件内容

       

hadoop fs -cat /test/index.html