快速在Window本地运行hadoop(包括hadoop的hdfs，mapreduce)

window下运行HDFS

第一步：设置hadoop的在Window下运行配置

A、将hadoop（windows平台下编译的hadoop）安装包解压一份到windows的任意一个目录下（安装包见下面链接）（注意我的安装包下

已经有winutils.exe这个重要文件了，这个文件是我主动放进去的，必需的）

安装包连接   https://pan.baidu.com/s/1skB28aT

B、在window系统中配置HADOOP_HOME指向你解压的安装包目录

C、在windows系统的path变量中加入HADOOP_HOME的bin目录

D、重启电脑

第二步：引入hdfs的pom依赖

    org.apache.hadoop
    hadoop-common
    2.6.1



    org.apache.hadoop
    hadoop-hdfs
    2.6.1

第三步：hdfs的小程序

public class HdfsTest {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        //注意这个地方是设置fs.defaultFS不是dfs.defaultFS
        conf.set("fs.defaultFS","hdfs://hadoop01:9000");
        //设置副本数
        conf.set("dfs.replication", "3");
        FileSystem fs = FileSystem.get(conf);
        fs.copyFromLocalFile(new Path("E:\\bigDataDevelop-all-software\\testData\\wordCount.txt"),new Path("/aaa"));
//        conf.set("dfs.defaultFS", args[0]);
        //这种方式不用设置dfs.defaultFs默认文件地址
//        FileSystem hadoop = FileSystem.get(new URI("hdfs://hadoop01:9000"), conf, "root");
        //上传文件,args[1]本地路径，args[2]hdfs路径
//        fs.copyFromLocalFile(new Path(args[1]),new Path(args[2]));
        fs.close();
    }
}

第四步：在idea中的 VM options 中设置

-DHADOOP_USER_NAME=root

让用户以root身份运行

（也可以在程序中写死，例如：

FileSystem hadoop = FileSystem.get(new URI("hdfs://hadoop01:9000"), conf, "root");

）