win安装部署hadoop3.0.0并启动上传文件到HDFS

1.下载工具包（下载不方便的留邮箱）

hadoop-3.0.0.tar.gz

winutils-master.zip

2.正式上手

1.解压文件 hadoop-3.0.0.tar.gz   winutils-master.zip

2.配置环境变量

Path最前面添加：;%HADOOP_HOME%\bin;

配置完cmd-> hadoop version 测试一下

下来就修改配置文件进入解压后的hadoop3.0.0->etc->hadoop目录

修改core-site.xml文件添加

fs.default.name
hdfs://localhost:9000

修改hdfs-site.xml文件 添加

     
   
        dfs.replication
        1
   
   
     dfs.permissions
     false
 
   
       dfs.namenode.name.dir
       /D:/hadoop-DATA/hadoop-3.0.0/data/namenode
   
   
        fs.checkpoint.dir
        /D:/hadoop-DATA/hadoop-3.0.0/data/snn
   
   
        fs.checkpoint.edits.dir
        /D:/hadoop-DATA/hadoop-3.0.0/data/snn
   
       
       dfs.datanode.data.dir
       /D:/hadoop-DATA/hadoop-3.0.0/data/datanode
   

修改yarn-site.xml文件添加

 
 
     
        yarn.nodemanager.aux-services  
        mapreduce_shuffle  
     
     
         yarn.nodemanager.auxservices.mapreduce.shuffle.class    
        org.apache.hadoop.mapred.ShuffleHandler  
     

修改 mapred-site.xml文件添加

   
       mapreduce.framework.name
       yarn
   

下来将解压的winutils-master中的hadoop-3.0.0 bin目录下的hadoop.dll和winutils.exe拷贝到 

hadoop-3.0.0下的bin目录覆盖掉原来的。

启动hadoop

cmd 进入hadoop-3.0.0 bin目录执行hdfs namenode -format

进入sbin目录执行start-all.cmd 启动hadoop会弹出多个win窗口

创建file目录

还是在sbin目录：hadoop fs -mkdir /file

上传文件到HDFS:hadoop dfs -put /E:/125.gif /file

Hadoop自带了web UI管理页面 可以看看结果：

①资源管理（localhost:8088）

②节点管理（localhost:9870）

下来用代码实现文件操作

pom.xml

    junit
    junit
    RELEASE


    org.apache.logging.log4j
    log4j-core
    2.8.2


    org.apache.hadoop
    hadoop-common
    3.0.0


    org.apache.hadoop
    hadoop-client
    3.0.0


    org.apache.hadoop
    hadoop-hdfs
    3.0.0

java代码