Hadoop学习记录4--Maven、HDFS API编程

目录

1.Windows下安装hadoop

2. Maven

2.1 Maven简介

2.2 Maven安装与配置

2.3 通过pom文件下载hadoop的客户端依赖

3.API之文件操作 

 3.1 API之文件系统对象

3.3 API之文件下载 

3.4 API之创建目录 

3.5 API之删除目录 

3.6 API之文件状态 


1.Windows下安装hadoop

①解压到本地磁盘

Hadoop学习记录4--Maven、HDFS API编程_第1张图片

② 配置环境变量

Hadoop学习记录4--Maven、HDFS API编程_第2张图片

③添加winutils.exe和hadoop.dll

Hadoop本身对Windows的支持并不友好,如果需要完整使用,需要将winutils.exe和hadoop.dll两个文件移动到%HADOOP_HOME%\bin目录

 ④修改hadoop-env.cmd

@rem 这个是注释的内容
@rem 设置JAVA_HOME,使用PROGRA~1表示Program Files文件夹
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_152

2. Maven

2.1 Maven简介

        Maven主要用于解决导入依赖于Java类的jar和编译Java项目的主要问题(最早手动导入jar包,可能一个又依赖于另一个)。依赖的jar包由pom.xml文件中的dependency属性管理,并且jar包包含类文件和一些必要的资源文件。 

        Maven是基于项目对象模型的软件项目管理工具,可以通过一小段描述信息来管理项目的构造,报告和文档。Maven可以轻松地帮助您管理项目报告,生成站点,管理jar文件等。例如:项目开发中的第三方jar引用。在开发过程中,合作成员引用的jar版本可能会有所不同,并且同一jar的不同版本可能会重复引用。可以通过使用Maven关联jar来配置引用的jar的版本,以避免冲突。

2.2 Maven安装与配置

①解压maven-3.6.1.zip到你的安装目录。

②提前在D盘创建一个mavenRepo目录

③修改解压目录下的conf下的settings.xml中的第55行,将路径修改为D:\\mavenRepo,保存即可。

④配置maven的环境变量(配置环境变量):

搜索环境变量--->系统环境变量---> MVN_HOME=maven解压目录--->将%MVN_HOME%\bin追加到path中--->一步一步确定返回即可。

⑤检测maven环境变量是否配置好。在cmd命令行中输入:mvn -version

⑥IDEA创建Maven项目

打开IDEA--->左上角--->file--->new--->project--->弹框如下:

Hadoop学习记录4--Maven、HDFS API编程_第3张图片

 选择Next如下:

Hadoop学习记录4--Maven、HDFS API编程_第4张图片

选择Finish如下图:

Hadoop学习记录4--Maven、HDFS API编程_第5张图片⑦IDEA和Maven的整合(Maven下载有三个仓库,默认是中央服务器(下载特别慢),另外一个是私服,最后就是从localc仓库下载,这就需要我们在本地好Maven,然后配置在IDEA中配置好Maven)

 打开IDEA--->settings--->弹框如下:

Hadoop学习记录4--Maven、HDFS API编程_第6张图片

Maven项目的标识是创建完后有一个pom.xml -->向该文件中添加项目名字,包,版本,项目依赖jar,项目构建。

maven项目优先从本地仓库加载jar包(D:\\mavenRepo)-->没有将从自己配置的maven源下载-->没有配置或没有相应的jar将从中央服务器下载。

D:\mavenRepo\maven-3.6.1\conf\settings.xml中配置了私服(阿里云的服务器)

Hadoop学习记录4--Maven、HDFS API编程_第7张图片

2.3 通过pom文件下载hadoop的客户端依赖

在hadoop的pom文件的标签对中添加以下内容

    
        
        
            org.apache.hadoop
            hadoop-client
            3.3.1
        
    

依赖下载后如下图 

下载后jar包保存在:D:\mavenRepo\org\apache\hadoop\hadoop-client

始终下载不下来,去上面的目录删掉对应下载的文件夹,重新下载

3.API之文件操作 

在java文件下新建一个package,在package下新建java class

 3.1 API之文件系统对象

@Test
public void testGetFileSystem() throws IOException {
    //创建配置对象,用于加载配置信息(四个默认的配置文件:core-default.xml,hdfs-default.xml,mapred-default.xml,yarn-default.xml)
    Configuration conf = new Configuration();
    //修改fs.defaultFS属性的值
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    //使用FileSystem类的静态方法get(Configuration conf);返回fs.defaultFS定义的文件系统
    FileSystem fs = FileSystem.get(conf);
    System.out.println("文件系统对象的类型名:"+fs.getClass().getName());
}

3.2 API之文件上传

@Test
public void testFileUpload() throws IOException {
    // 在修改HDFS的文件的时候,如果出现权限不足的情况,可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    FileSystem fs = FileSystem.get(conf);
    //将本地的一个文件D:/file1,上传到HDFS上 /file1
    //1. 使用Path描述两个文件
    Path localPath = new Path("D:/file1");
    Path hdfsPath = new Path("/file1");
    //2.调用上传方法
    fs.copyFromLocalFile(localPath,hdfsPath);
    //3.关闭
    fs.close();
    System.out.println("上传成功");
}

3.3 API之文件下载 

@Test
public void testFileDownload() throws IOException {
    // 在修改HDFS的文件的时候,如果出现权限不足的情况,可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:8020");
    FileSystem fs = FileSystem.get(conf);
    //从HDFS上下载一个文件/file1,下载到本地 D:/file2
    //1. 使用Path描述两个文件
    Path hdfsfile = new Path("/file1");
    Path local = new Path("D:/file2");
    //2. 调用下载方法进行下载
    fs.copyToLocalFile(hdfsfile,local);
    fs.close();
    System.out.println("下载成功");
}

3.4 API之创建目录 

@Test
public void testMkdir() throws IOException {
    // 在修改HDFS的文件的时候,如果出现权限不足的情况,可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    FileSystem fs = FileSystem.get(conf);

    //1. 测试创建目录,描述一个目录
    Path hdfsfile = new Path("/dir1");
    //2. 调用创建目录的方法
    fs.mkdirs(hdfsfile);
    fs.close();
    System.out.println("创建成功");
}

3.5 API之删除目录 

@Test
public void testDelete() throws IOException {
    // 在修改HDFS的文件的时候,如果出现权限不足的情况,可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    FileSystem fs = FileSystem.get(conf);

    //1. 测试删除目录,描述一个目录
    Path hdfsfile = new Path("/dir1");
    //2. 调用创建目录的方法
    fs.delete(hdfsfile,true);
    fs.close();
    System.out.println("删除成功");
}

3.6 API之文件状态 

@Test
public void testFileStatus() throws IOException {
    // 在修改HDFS的文件的时候,如果出现权限不足的情况,可以修改操作HDFS的用户
    System.setProperty("HADOOP_USER_NAME", "root");
    
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS","hdfs://192.167.10.101:9820");
    FileSystem fs = FileSystem.get(conf);
    //1. 描述你要读取的文件 /file02
    Path path = new Path("/file02");
    //获取文件的状态信息
    RemoteIterator it = fs.listLocatedStatus(path);
    while(it.hasNext()){
        // 取出对象
        LocatedFileStatus status = it.next();
        System.out.println("name:"+status.getPath());
        //获取位置
        BlockLocation[] locate = status.getBlockLocations();
        for(BlockLocation bl:locate){
            System.out.println("当前块的所有副本位置:"+Arrays.toString(bl.getHosts()));
            System.out.println("当前块大小:"+bl.getLength());
            System.out.println("当前块的副本的ip地址信息:"+Arrays.toString(bl.getNames()));
        }
        System.out.println("系统的块大小:"+status.getBlockSize());
        System.out.println("文件总长度:"+status.getLen());
    }
}



 

你可能感兴趣的:(大数据,学习,大数据,maven)