hadoop单机版的搭建

从debian8升级到debian9后，一不小心把原来的hadoop环境给搞没了，只能重新搭建。

hadoop版本2.6.5

hdfs存储路径为/data/hdfs, 里面创建了对应的tmp和name文件夹。

首先配置hadoop-2.6.5/etc/hadoop/路径下的core-site.xml:

    
        fs.defaultFS
        hdfs://localhost:9000
    
    
        hadoop.tmp.dir
        /data/hdfs/tmp
    

再配置hdfs-site.xml:

    
        dfs.replication
        1
    
    
        dfs.name.dir
        /data/hdfs/name
    
    
        dfs.data.dir
        /data/hdfs/data
    

最后配置mapred-site.xml：

    
        mapred.job.tracker
        localhost:9001
    

这样单机版的hadoop就基本配置好了。

然后格式化hdfs:

 bin/hdfs namenode -format

完成后就直接启动hadoop：

sbin/start-all.sh

如果启动没有错误，就可以通过web ui来查看hadoop的运行情况:

http://localhost:50070

运行命令，就能看到hdfs的实际使用情况：

bin/hadoop fs -df /