HDFS环境准备

1.配置Maven

2.修改本地仓库位置

3.配置镜像地址

4.pom文件配置

            org.apache.hadoop

            hadoop-common

            2.8.4

       

       

            org.apache.hadoop

            hadoop-hdfs

            2.8.4

       

       

            org.apache.hadoop

            hadoop-client

            2.8.4

       

       

            org.projectlombok

            lombok

            1.16.10

       

       

            log4j

            log4j

            1.2.17

            下载插件

       

       

            org.slf4j

            slf4j-api

            1.7.7

       

       

       

            junit

            junit

            4.12

            test

       

 

编写使用Hadoop

public class HdfsClientDemo1 {

public static void main(String[] args) throws Exception {

// 1 获取文件系统

Configuration configuration = new Configuration();

// 配置在集群上运行

configuration.set("fs.defaultFS", "hdfs://bigdata111:9000");

FileSystem fileSystem = FileSystem.get(configuration);

// 直接配置访问集群的路径和访问集群的用户名称

// FileSystem fileSystem = FileSystem.get(new URI("hdfs://bigdata111:9000"),configuration, "itstar");

// 2 把本地文件上传到文件系统中

fileSystem.copyFromLocalFile(new Path("f:/hello.txt"), new Path("/hello1.copy.txt"));

// 3 关闭资源

fileSystem.close();

System.out.println("over");}}