Hadoop学习记录4--Maven、HDFS API编程

目录

1.Windows下安装hadoop

2. Maven

2.1 Maven简介

2.2 Maven安装与配置

2.3 通过pom文件下载hadoop的客户端依赖

3.API之文件操作 

 3.1 API之文件系统对象

3.3 API之文件下载 

3.4 API之创建目录 

3.5 API之删除目录 

3.6 API之文件状态 

---

1.Windows下安装hadoop

①解压到本地磁盘

② 配置环境变量

③添加winutils.exe和hadoop.dll

Hadoop本身对Windows的支持并不友好，如果需要完整使用，需要将winutils.exe和hadoop.dll两个文件移动到%HADOOP_HOME%\bin目录

 ④修改hadoop-env.cmd

@rem 这个是注释的内容
@rem 设置JAVA_HOME，使用PROGRA~1表示Program Files文件夹
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_152

2. Maven

2.1 Maven简介

        Maven主要用于解决导入依赖于Java类的jar和编译Java项目的主要问题（最早手动导入jar包，可能一个又依赖于另一个）。依赖的jar包由pom.xml文件中的dependency属性管理，并且jar包包含类文件和一些必要的资源文件。 

        Maven是基于项目对象模型的软件项目管理工具，可以通过一小段描述信息来管理项目的构造，报告和文档。Maven可以轻松地帮助您管理项目报告，生成站点，管理jar文件等。例如：项目开发中的第三方jar引用。在开发过程中，合作成员引用的jar版本可能会有所不同，并且同一jar的不同版本可能会重复引用。可以通过使用Maven关联jar来配置引用的jar的版本，以避免冲突。

2.2 Maven安装与配置

①解压maven-3.6.1.zip到你的安装目录。

②提前在D盘创建一个mavenRepo目录

③修改解压目录下的conf下的settings.xml中的第55行，将路径修改为D:\\mavenRepo，保存即可。

④配置maven的环境变量(配置环境变量)：

搜索环境变量--->系统环境变量---> MVN_HOME=maven解压目录--->将%MVN_HOME%\bin追加到path中--->一步一步确定返回即可。

⑤检测maven环境变量是否配置好。在cmd命令行中输入：mvn -version

⑥IDEA创建Maven项目

打开IDEA--->左上角--->file--->new--->project--->弹框如下：

 选择Next如下：

选择Finish如下图：

⑦IDEA和Maven的整合(Maven下载有三个仓库，默认是中央服务器(下载特别慢)，另外一个是私服，最后就是从localc仓库下载，这就需要我们在本地好Maven,然后配置在IDEA中配置好Maven)

 打开IDEA--->settings--->弹框如下：

Maven项目的标识是创建完后有一个pom.xml -->向该文件中添加项目名字，包，版本，项目依赖jar，项目构建。

maven项目优先从本地仓库加载jar包(D:\\mavenRepo)-->没有将从自己配置的maven源下载-->没有配置或没有相应的jar将从中央服务器下载。

D:\mavenRepo\maven-3.6.1\conf\settings.xml中配置了私服(阿里云的服务器)

2.3 通过pom文件下载hadoop的客户端依赖

在hadoop的pom文件的标签对中添加以下内容

    
        
        
            org.apache.hadoop
            hadoop-client
            3.3.1
        
    

依赖下载后如下图 

下载后jar包保存在：D:\mavenRepo\org\apache\hadoop\hadoop-client

始终下载不下来，去上面的目录删掉对应下载的文件夹，重新下载

3.API之文件操作 

在java文件下新建一个package，在package下新建java class

 3.1 API之文件系统对象

@Test
public void testGetFileSystem() throws IOException {
    //创建配置对象，用于加载配置信息（四个默认的配置文件：core-default.xml,hdfs-default.xml,mapred-default.xml,yarn-default.xml）
    Configuration conf = new Configuration();
    //修改fs.defaultFS属性的值
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    //使用FileSystem类的静态方法get(Configuration conf);返回fs.defaultFS定义的文件系统
    FileSystem fs = FileSystem.get(conf);
    System.out.println("文件系统对象的类型名："+fs.getClass().getName());
}

3.2 API之文件上传

@Test
public void testFileUpload() throws IOException {
    // 在修改HDFS的文件的时候，如果出现权限不足的情况，可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    FileSystem fs = FileSystem.get(conf);
    //将本地的一个文件D:/file1,上传到HDFS上 /file1
    //1. 使用Path描述两个文件
    Path localPath = new Path("D:/file1");
    Path hdfsPath = new Path("/file1");
    //2.调用上传方法
    fs.copyFromLocalFile(localPath,hdfsPath);
    //3.关闭
    fs.close();
    System.out.println("上传成功");
}

3.3 API之文件下载 

@Test
public void testFileDownload() throws IOException {
    // 在修改HDFS的文件的时候，如果出现权限不足的情况，可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:8020");
    FileSystem fs = FileSystem.get(conf);
    //从HDFS上下载一个文件/file1,下载到本地 D:/file2
    //1. 使用Path描述两个文件
    Path hdfsfile = new Path("/file1");
    Path local = new Path("D:/file2");
    //2. 调用下载方法进行下载
    fs.copyToLocalFile(hdfsfile,local);
    fs.close();
    System.out.println("下载成功");
}

3.4 API之创建目录 

@Test
public void testMkdir() throws IOException {
    // 在修改HDFS的文件的时候，如果出现权限不足的情况，可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    FileSystem fs = FileSystem.get(conf);

    //1. 测试创建目录，描述一个目录
    Path hdfsfile = new Path("/dir1");
    //2. 调用创建目录的方法
    fs.mkdirs(hdfsfile);
    fs.close();
    System.out.println("创建成功");
}

3.5 API之删除目录 

@Test
public void testDelete() throws IOException {
    // 在修改HDFS的文件的时候，如果出现权限不足的情况，可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    FileSystem fs = FileSystem.get(conf);

    //1. 测试删除目录，描述一个目录
    Path hdfsfile = new Path("/dir1");
    //2. 调用创建目录的方法
    fs.delete(hdfsfile,true);
    fs.close();
    System.out.println("删除成功");
}

3.6 API之文件状态 

@Test
public void testFileStatus() throws IOException {
    // 在修改HDFS的文件的时候，如果出现权限不足的情况，可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    FileSystem fs = FileSystem.get(conf);
    //1. 描述你要读取的文件 /file02
    Path path = new Path("/file02");
    //获取文件的状态信息
    RemoteIterator it = fs.listLocatedStatus(path);
    while(it.hasNext()){
        // 取出对象
        LocatedFileStatus status = it.next();
        System.out.println("name:"+status.getPath());
        //获取位置
        BlockLocation[] locate = status.getBlockLocations();
        for(BlockLocation bl:locate){
            System.out.println("当前块的所有副本位置："+Arrays.toString(bl.getHosts()));
            System.out.println("当前块大小："+bl.getLength());
            System.out.println("当前块的副本的ip地址信息："+Arrays.toString(bl.getNames()));
        }
        System.out.println("系统的块大小："+status.getBlockSize());
        System.out.println("文件总长度："+status.getLen());
    }
}