使用java对HDFS文件的新建上传下载

1.步骤：在Windows下安装：1.安装JDK→2.安装Idea→3.安装Maven→4. IDEA里配置Maven

1.安装配置JDK

①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
②运行安装包，第一次选择JDK安装路径，第二次选择JRE安装路径，开始安装。
③配置JDK的环境变量，Path添加JDK的\bin的安装路径，cmd命令行运行javac，查看是否成功安装配置。

2.安装Idea

https://www.jetbrains.com/idea/

3.安装Maven（配合maven可以参考其他文章）

① Maven官网http://maven.apache.org/download.cgi，选择最近的镜像，选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。
②解压Maven压缩包apache-maven-3.6.0-bin.tar.gz，解压后的文件夹\apache-maven-3.6.0，将其考入自定义路径，如C:\eclipse\apache-maven-3.6.0。
③配置Maven的环境变量，Path添加Maven的\bin的安装路径，cmd命令行运行mvn -v，查看是否成功安装配置。

4.idea里面配置maven

在idea里面的porm文件里面增加如下代码

<dependencies>
  <dependency>
      <groupId>org.apache.hadoopgroupId>
      <artifactId>hadoop-hdfsartifactId>
      <version>2.7.3version>
  dependency>
  <dependency>  
      <groupId>org.apache.hadoopgroupId>  
      <artifactId>hadoop-clientartifactId>  
      <version>2.7.3version>  
  dependency> 
  <dependency>
      <groupId>org.apache.hadoopgroupId>
      <artifactId>hadoop-commonartifactId>
      <version>2.7.3version>
  dependency>
dependencies>

安装配置成功后，Maven项目树显示如下两项：
在文件夹java下创建如下目录

目录里面的程序代码：
HDFSDownload的代码

package HDFS.file;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSDownload {
    private static InputStream input;
    private static OutputStream output;
    public  void main(String[] args) throws IOException {
        System.setProperty("HADOOP_USER_NAME", "root");
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.217.129:9000");
        FileSystem client=FileSystem.get(conf);
        output=new FileOutputStream("E:/BigData_Other/file");
        input =client.open(new Path("/addir/aaout.txt"));
        byte[] buffer=new byte[1024];
        int len=0;
        while((len=input.read(buffer))!=-1){

            output.write(buffer,0,len);
        }
        output.flush();
        input.close();
        output.close();
        System.out.print("succeed");

    }

}

检测文件是否存在的代码

package HDFS.file;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSFileIfExist {


    public static void main(String[] args) throws IOException
    {
        System.setProperty("HADOOP_USER_NAME", "root");
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.217.129:9000");
        FileSystem client=FileSystem.get(conf);
        String fileName="/output";
        if(client.exists(new Path(fileName))) {

            System.out.print("文件存在");
        }
        else {

            System.out.println("文件不存在！");
        }

    }
}

创建新文件的代码

package HDFS.file;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HDFSMKdir {

    public static void main(String[]  args) throws IOException{

        System.setProperty("HADOOP_USER_NAME", "root");
        Configuration conf= new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.217.129:9000");
        FileSystem client=FileSystem.get(conf);
        client.mkdirs(new Path("/demo"));
        client.close();
        System.out.println("successfully");

    }

}

上传文件的代码

package HDFS.file;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSUpload {
    private static InputStream input;
    private static OutputStream output;

    public static void main(String[] args) throws IOException {
        System.setProperty("HADOOP_USER_NAME", "root");
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.217.129:9000");
        FileSystem client=FileSystem.get(conf);
        input=new FileInputStream("E:\\BigData_Other\\file\\aa.txt");
        output=client.create(new Path("/addir/aaout.txt"));
        byte[] buffer=new byte[1024];
        int len=0;
        while((len=input.read(buffer))!=-1)
        {

            output.write(buffer,0,len);
        }
        output.flush();
        input.close();
        output.close();
        System.out.println("succeccd");

    }

}

远行结果

远行必须在Hadoop启动的状态下，注意代码中的ip地址问题
常见错误，如果代码没报错但远行有问题请注意jdk的版本，这里使用的jdk1.8版本

补充

Linux的shell命令
常用的linux的shell命令：
cd /aa          转到/aa目录
pws            显示当前目录
ll /aa           显示/aa目录
mkdir /aa       新建/aa目录
rm /aa/out.txt   删除/aa目录下的out.txt文件
cat /aa/out.txt   查看/aa目录下的out.txt文件的内容
vi /aa/out.txt    编辑/aa目录下的out.txt文件的内容
ifconfig         查看IP地址
ip addr         查看IP地址
hdfs的shell命令
hdfs的shell命令，有三种形式，用前面两个。
hdfs dfs    √
hadoop fs  √
hadoop dfs  ×

常用的hdfs的shell命令：
hdfs dfs -ls /  查看hdfs根目录下文件和目录
hdfs dfs -ls -R /      查看hdfs根目录下包括子目录在内的所有文件和目录
hdfs dfs -mkdir /aa/bb  在hdfs的/aa目录下新建/bb目录
hdfs dfs -rm -r /aa/bb   删除hdfs的/aa目录下的/bb目录
hdfs dfs -rm /aa/out.txt  删除hdfs的/aa目录下的out.txt文件

hdfs dfs -put anaconda-ks.cfg /aa        把本地文件上传到hdfs 
hdfs dfs -copyFromLocal a.txt /          把本地文件上传到hdfs
hdfs dfs -get /bb.txt bbcopy.txt          从hdfs下载文件到本地
hdfs dfs -copyToLocal /bb.txt bbcopy.txt   从hdfs下载文件到本地