小白不懂程序
小白不懂程序

使用Java API操作HDFS

目录

一、导入新课

二、新课讲解

（一）了解HDFS Java API

1、HDFS常见类与接口

2、FileSystem的常用方法

（二）编写Java程序访问HDFS

1、创建Maven项目

2、添加相关依赖

3、创建日志属性文件

4、启动集群HDFS服务

5、在HDFS上创建文件

6、写入HDFS文件

（1）将数据直接写入HDFS文件

​（2）将本地文件写入HDFS文件

7、读取HDFS文件

（1）读取HDFS文件直接在控制台显示

 （2）读取HDFS文件，保存为本地文件

8、重命名目录或文件 

（1）重命名目录 

（2）重命名文件 

9、显示文件列表

（1）显示指定目录下文件全部信息

（2）显示指定目录下文件路径和长度信息

10、获取文件块信息

11、创建目录

​12、判断目录或文件是否存在

13、判断Path指向目录还是文件

14、删除目录或文件

（1）删除文件 

（2）删除目录 

（3）删除目录或文件 

三、总结本章知识点

一、导入新课

  • 上一节对HDFS的Shell操作进行了详细的讲解，而HDFS Shell本质上就是对Java API的应用。本节课将针对HDFS Java API操作进行详细讲解。

二、新课讲解

  • 由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。HDFS Shell本质上就是对Java API的应用，通过编程的形式操作HDFS，其核心是使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。

（一）了解HDFS Java API

使用Java API操作HDFS_第1张图片

1、HDFS常见类与接口

  • Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例。
类或接口 功能描述
org.apache.hadoop.fs.FileSystem 一个通用文件系统的抽象基类，可被分布式文件系统继承。
org.apache.hadoop.fs.FileStatus 文件状态接口，用于向客户端展示系统中文件和目录的元数据。具体包括文件大小、块大小、副本信息、所有者、修改时间等，可通过FileSystem.listStatus()方法获得具体的实例对象。
org.apache.hadoop.fs.FileDataInputStream 文件输入流，用于读取Hadoop文件。
org.apache.hadoop.fs.FileDataOutputStream 文件输出流，用于写Hadoop文件。
org.apache.hadoop.fs.Configuration 访问配置项，所有配置项的值，如果在core-site.xml中有对应的配置，则以core-site.xml为准。
org.apache.hadoop.fs.Path 路径，用于表示Hadoop文件系统中的一个文件或一个目录的路径。
org.apache.hadoop.fs.PathFilter 路径过滤器接口，通过实现方法PathFilter.accept(Path path)来判断是否接收路径path表示的文件或目录。

2、FileSystem的常用方法

  • FileSystem对象的一些方法可以对文件进行操作
方法名 功能描述
copyFromLocalFile(Path src, Path dst) 从本地磁盘复制文件到HDFS
copyToLocalFile(Path src, Path dst) 从HDFS复制文件到本地磁盘
mkdirs(Path f) 建立子目录
rename(Path src, Path dst) 重命名文件或文件夹
delete(Path f) 删除指定文件

（二）编写Java程序访问HDFS

1、创建Maven项目

  • 创建Maven项目 - HDFSDemo

使用Java API操作HDFS_第2张图片

  • 单击next

使用Java API操作HDFS_第3张图片

  • 单击【Finish】按钮

使用Java API操作HDFS_第4张图片

2、添加相关依赖

  • 在pom.xml文件里添加hadoop和junit依赖

使用Java API操作HDFS_第5张图片

            
                          
                                     
        org.apache.hadoop      
        hadoop-client    
        3.3.4                  
        
                               
                                     
        junit                  
        junit            
        4.13.2                 
                                    
                                                      

  • Maven Repository（Maven仓库）- https://mvnrepository.com/

使用Java API操作HDFS_第6张图片

  • 搜索hadoop

使用Java API操作HDFS_第7张图片

  • 单击hadoop-client超链接

使用Java API操作HDFS_第8张图片

  • 单击3.3.4超链接

使用Java API操作HDFS_第9张图片

3、创建日志属性文件

  • 在resources目录里创建log4j.properties文件使用Java API操作HDFS_第10张图片

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4、启动集群HDFS服务

  • 在主节点上执行命令：start-dfs.sh

使用Java API操作HDFS_第11张图片

  • 在Hadoop WebUI界面查看

使用Java API操作HDFS_第12张图片

5、在HDFS上创建文件

  • 在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件
  • 任务：在/ied01目录创建hadoop.txt文件
  • 创建net.hw.hdfs包，在包里创建CreateFileOnHDFS类

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
/**功能：在HDFS上创建文件 ...*/
public class CreateFileOnHDFS {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义uri字符串(uri:uniform resource identifier)
        String uri = "hdfs://master:9000";
        // 创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 创建文件
        boolean result = fs.createNewFile(path);
        // 根据返回值判断文件是否创建成功
        if (result) {
            System.out.println("文件[" + path + "]创建成功！");
        } else {
            System.out.println("文件[" + path + "]创建失败！");
        }
    }
}
  • 注意：导包千万不要导错了

使用Java API操作HDFS_第13张图片

  • 查看运行结果

使用Java API操作HDFS_第14张图片

  • 利用HDFS集群WebUI查看

使用Java API操作HDFS_第15张图片

  • 在/ied01目录里确实创建了一个0字节的hadoop.txt文件，有点类似于Hadoop Shell里执行hdfs dfs -touchz /ied01/hadoop.txt命令的效果，但是有一点不同，hdfs dfs -touchz命令重复执行，不会失败，只是不断改变该文件的时间戳。
  • 再次运行程序，由于hadoop.txt已经存在，此时会提示用户创建失败

使用Java API操作HDFS_第16张图片

  • 能否事先判断文件是否存在呢？我们去查看Hadoop FileSystem API文档

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/filesystem.html

使用Java API操作HDFS_第17张图片

  • 查看exists(Path path)方法

使用Java API操作HDFS_第18张图片

  •  新建CreateFileOnHDFS_类，事先判断文件是否存在

使用Java API操作HDFS_第19张图片

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;

public class CreateFileOnHDFS_ {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义uri字符串(uri:uniform resource identifier)
        String uri = "hdfs://master:9000";
        // 创建文件系统对象(基于HDFS的文件系统)
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 判断路径对象指向的文件是否存在
       if (fs.exists(path)){
        // 提示用户文件已存在
            System.out.println("文件[" + path + "]已经存在！");
        } else {
           try {
               boolean result = fs.createNewFile(path);
               // 根据返回值判断文件是否创建成功
               if (result) {
                   System.out.println("文件[" + path + "]创建成功！");
               } else {
                   System.out.println("文件[" + path + "]创建失败！");
               }
           } catch (IOException e) {
               System.err.println("异常信息："+ e.getMessage());
           }
       }
    }
}

  • 运行程序，查看结果
    使用Java API操作HDFS_第20张图片

  • 此时，怎么才能出现文件创建失败的情况呢？我们故意让HDFS进入安全模式（只能读，不能写）

  •  删除已经创建的/ied01/hadoop.txt

使用Java API操作HDFS_第21张图片

  • 执行命令：hdfs dfsadmin -safemode enter 

  • 此时，再运行程序，查看结果，抛出SafeModeException异常 

使用Java API操作HDFS_第22张图片

  • 下面，修改程序，来处理这个可能会抛出的安全模式异常 

  • 运行程序，查看结果 

使用Java API操作HDFS_第23张图片

  • 关闭安全模式，执行命令：hdfs dfsadmin -safemode leave 

  • 再运行程序，查看效果 

使用Java API操作HDFS_第24张图片

6、写入HDFS文件

  • 类似于HDFS Shell里的hdfs dfs -put命令
  • 在net.hw.hdfs包里创建WriteFileOnHDFS类

使用Java API操作HDFS_第25张图片

（1）将数据直接写入HDFS文件

  • 任务：创建write1()方法 
  • 运行write1()测试方法，查看结果

使用Java API操作HDFS_第26张图片

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：写入HDFS文件
 * 日期：2022年11月30日
 */
public class WriteFileOnHDFS {
    @Test
    public void write1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/hello.txt");
        // 创建文件系统数据字节输出流（出水管：数据从程序到文件）
        FSDataOutputStream out = fs.create(path);
        // 通过字节输出流向文件写数据
        out.write("Hello Hadoop World".getBytes());

        // 提示用户写文件成功
        System.out.println("文件[" + path + "]写入成功！");
        // 关闭文件系统数据字节输出流
        out.close();
        // 关闭文件系统对象
        fs.close();
       
    }
}              

  • 运行write1()测试方法，查看结果，抛出RemoteException异常，三个数据节点都在运行，但是无法写入数据

使用Java API操作HDFS_第27张图片

  • 修改代码，设置数据节点主机名属性，如下图所示

使用Java API操作HDFS_第28张图片

  • 运行程序，查看结果

使用Java API操作HDFS_第29张图片

  • 利用HDFS集群WebUI查看hello.txt文件

使用Java API操作HDFS_第30张图片
（2）将本地文件写入HDFS文件

  • 在项目根目录创建一个文本文件test.txt

使用Java API操作HDFS_第31张图片

  • 创建write2()方法

使用Java API操作HDFS_第32张图片

@Test                                                                                  
public void write2() throws Exception {                                                
    // 创建配置对象                                                                          
    Configuration conf = new Configuration();                                          
    // 设置数据节点主机名属性                                                                     
    conf.set("dfs.client.use.datanode.hostname", "true");                              
    // 定义uri字符串                                                                        
    String uri = "hdfs://master:9000";                                                 
    // 创建文件系统对象                                                                        
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                        
    // 创建路径对象（指向目录或文件）                                                                 
    Path path = new Path(uri + "/ied01/exam.txt");                                     
    // 创建文件系统数据字节输出流对象                                                                 
    FSDataOutputStream out = fs.create(path);                                          
    // 创建文件字符输入流对象                                                                     
    FileReader fr = new FileReader("test.txt");                                        
    // 创建缓冲字符输入流对象                                                                     
    BufferedReader br = new BufferedReader(fr);                                        
    // 定义行字符串                                                                          
    String nextLine = "";                                                              
    // 通过循环读取缓冲字符输入流                                                                   
    while ((nextLine = br.readLine()) != null) {                                       
        // 在控制台输出读取的行                                                                  
        System.out.println(nextLine);                                                  
        // 通过文件系统数据字节输出流对象写入指定文件                                                       
        out.write(nextLine.getBytes());                                                
    }                                                                                  
    // 关闭文件系统字节输出流                                                                     
    out.close();                                                                       
    // 关闭缓冲字符输入流                                                                       
    br.close();                                                                        
    // 关闭文件字符输入流                                                                       
    fr.close();                                                                        
    // 提示用户写入文件成功                                                                      
    System.out.println("本地文件[test.txt]成功写入[" + path + "]！");                           
}                                                                                                                                                                               

  • 运行write2()测试方法，查看结果

使用Java API操作HDFS_第33张图片

  •  查看/ied01/exam.txt内容

使用Java API操作HDFS_第34张图片

  • 其实这个方法的功能就是将本地文件复制（上传）到HDFS，有没有更简单的处理方法呢？有的，通过使用一个工具类IOUtils来完成文件的相关操作。（转载华老师图片）

使用Java API操作HDFS_第35张图片

  • 编写write3()方法

使用Java API操作HDFS_第36张图片

@Test                                                                   
public void write3() throws Exception {                                 
    // 创建配置对象                                                           
    Configuration conf = new Configuration();                           
    // 设置数据节点主机名属性                                                      
    conf.set("dfs.client.use.datanode.hostname", "true");               
    // 定义uri字符串                                                         
    String uri = "hdfs://master:9000";                                  
    // 创建文件系统对象                                                         
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");         
    // 创建路径对象（指向目录或文件）                                                  
    Path path = new Path(uri + "/ied01/test.txt");                      
    // 创建文件系统数据字节输出流对象                                                  
    FSDataOutputStream out = fs.create(path);                           
    // 创建文件字节输入流对象                                                      
    FileInputStream in = new FileInputStream("test.txt");               
    // 利用IOUtils类提供的字节拷贝方法来复制文件                                         
    IOUtils.copyBytes(in, out, conf);                                   
    // 关闭文件字节输入流                                                        
    in.close();                                                         
    // 关闭文件系统数据字节输出流                                                    
    out.close();                                                        
    // 关闭文件系统                                                           
    fs.close();                                                         
    // 提示用户写入文件成功                                                       
    System.out.println("本地文件[test.txt]成功写入[" + path + "]！");            
}                                                                       

  • 注意导包问题

使用Java API操作HDFS_第37张图片

  • 运行write3()测试方法，查看结果

使用Java API操作HDFS_第38张图片

  • 查看/ied01/test.txt内容

使用Java API操作HDFS_第39张图片

7、读取HDFS文件

  • 在net.hw.hdfs包里创建ReadFileOnHDFS类

使用Java API操作HDFS_第40张图片

（1）读取HDFS文件直接在控制台显示

  • 准备读取hdfs://master:9000/ied01/test.txt文件 

使用Java API操作HDFS_第41张图片

  •  编写read1()方法

使用Java API操作HDFS_第42张图片

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URI;

public class ReadFileOnHDFS {
 @Test
public void read1() throws Exception{
    //创建配置对象
    Configuration conf = new Configuration();
    //设置数据节点主机名属性
    conf.set("dfs.client.use.datanode.hostname", "true");
    //定义uri字符串
    String uri = "hdfs://master:9000";
    //创建文件系统对象
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
    //创建路径对象（文件或目录）
    Path path = new Path(uri + "/ied01/test.txt");
    // 创建文件系统数据字节输入流对象
    FSDataInputStream in = fs.open(path);
    //创建缓冲字符输入流对象，提高读取效率（字节流-->字符流-->缓冲流）
    BufferedReader br = new BufferedReader(new InputStreamReader(in));
    //定义字符串
    String nextLine = "";
    //在控制台输出读取的内容
    while ((nextLine = br.readLine())!= null){
        //在控制台输出读取的内容
        System.out.println(nextLine);
    }
    //关闭缓冲字符输入流
    br.close();
    //关闭文件系统数据字节输出流
    in.close();
    //关闭文件系统
    fs.close();
}

}

  • 运行read1()测试方法，查看结果

使用Java API操作HDFS_第43张图片

  • 其实，我们可以使用IOUtils类来简化代码，创建read2()测试方法 

使用Java API操作HDFS_第44张图片

  • 再运行read2()测试方法，查看结果 

使用Java API操作HDFS_第45张图片

 （2）读取HDFS文件，保存为本地文件

  • 任务：将/ied01/test.txt下载到项目下download目录里

  • 创建download目录,在HDFSDemo直接创建文件download，否则运行时，将无法找到系统文件路径。

使用Java API操作HDFS_第46张图片

  •  创建read2()方法，（我是将原本的read2修改后的结果！未新建新的read2，也可以将其改名为其他的名字。）
  • 运行read2()测试方法，查看结果

使用Java API操作HDFS_第47张图片

8、重命名目录或文件 

  • 相当于Shell里的hdfs dfs -mv命令
  • 在net.hw.hdfs包里创建RenameDirOrFile类

使用Java API操作HDFS_第48张图片

（1）重命名目录 

  • 任务：将/ied01目录更名为/lzy01
  • 编写renameDir()方法

使用Java API操作HDFS_第49张图片

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

public class RenameDirOrFile {
    @Test
    public void renameDir() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建源路径对象
        Path sourcePath = new Path("/ied01");
        // 创建目标路径对象
        Path targetPath = new Path("/lzy01");
        // 利用文件系统对象重命名目录
        fs.rename(sourcePath, targetPath);
        // 关闭文件系统
        fs.close();
        // 提示用户目录更名成功
        System.out.println("目录[" + sourcePath.getName() + "更名为目录[" + targetPath.getName() + "]！");
    }
} 

  • 运行renameDir()方法，查看结果  

使用Java API操作HDFS_第50张图片

  •  利用Hadoop WebUI界面查看

使用Java API操作HDFS_第51张图片

（2）重命名文件 

  • 任务：将lzy01目录下的test.txt重命名为test2.txt。

使用Java API操作HDFS_第52张图片

  • 编写renameFile()方法

使用Java API操作HDFS_第53张图片

 @Test                                                                                                      
public void renameFile() throws Exception {                                                                
    // 创建配置对象                                                                                              
    Configuration conf = new Configuration();                                                              
    // 设置数据节点主机名属性                                                                                         
    conf.set("dfs.client.use.datanode.hostname", "true");                                                  
    // 定义统一资源标识符（uri: uniform resource identifier）                                                         
    String uri = "hdfs://master:9000";                                                                     
    // 创建文件系统对象（基于HDFS的文件系统）                                                                               
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                                            
    // 创建源路径对象（指向文件）                                                                                       
    Path sourcePath = new Path(uri + "/lzy01/hello.txt");                                                  
    // 创建目标路径对象（指向文件）                                                                                      
    Path destinationPath = new Path(uri + "/lzy01/hi.txt");                                                
    // 利用文件系统对象重命名文件                                                                                       
    fs.rename(sourcePath, destinationPath);                                                                
    // 关闭文件系统                                                                                              
    fs.close();                                                                                            
    // 提示用户文件更名成功                                                                                          
    System.out.println("文件[" + sourcePath.getName() + "]更名为文件[" + destinationPath.getName() + "]！");       
}                                                                                                                                                                                                                         

  • 运行renameFile()测试方法，查看结果

使用Java API操作HDFS_第54张图片

  •  利用Hadoop WebUI界面查看

使用Java API操作HDFS_第55张图片

9、显示文件列表

  • 在net.hw.hdfs包里创建ListHDFSFiles类

使用Java API操作HDFS_第56张图片

（1）显示指定目录下文件全部信息

  • 任务：显示/lzy01目录下的文件列表

使用Java API操作HDFS_第57张图片

  • 编写list1()方法

使用Java API操作HDFS_第58张图片

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：显示文件列表
 * 日期：2022年11月26日
 */
public class ListHDFSFiles {
    @Test
    public void list1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建远程迭代器对象，泛型是位置文件状态类（相当于`hdfs dfs -ls -R /lzy01`）
        RemoteIterator ri = fs.listFiles(new Path("/lzy01"), true);
        // 遍历远程迭代器
        while (ri.hasNext()) {
            System.out.println(ri.next());
        }
    }
}                                    
 

  • 运行list1()测试方法，查看结果

 

  • 上述文件状态对象封装的有关信息，可以通过相应的方法来获取，比如getPath()方法就可以获取路径信息，getLen()方法就可以获取文件长度信息……

（2）显示指定目录下文件路径和长度信息

  • 编写list2()方法

使用Java API操作HDFS_第59张图片

@Test                                                                                                 
public void list2() throws Exception {                                                                
    // 创建配置对象                                                                                         
    Configuration conf = new Configuration();                                                         
    // 设置数据节点主机名属性                                                                                    
    conf.set("dfs.client.use.datanode.hostname", "true");                                             
    // 定义uri字符串                                                                                       
    String uri = "hdfs://master:9000";                                                                
    // 创建文件系统对象                                                                                       
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                                       
    // 创建远程迭代器对象，泛型是位置文件状态类（相当于`hdfs dfs -ls -R /lzy01`）                                              
    RemoteIterator ri = fs.listFiles(new Path("/lzy01"), true);                    
    // 遍历远程迭代器                                                                                        
    while (ri.hasNext()) {                                                                            
        LocatedFileStatus lfs = ri.next();                                                            
        System.out.println(lfs.getPath() + " " + lfs.getLen() + "字节");                                
    }                                                                                                 
}                                                                                                                                                                         

  • 运行list2()测试方法，查看结果，（做的过程中，我将其方法改成了list_()）

使用Java API操作HDFS_第60张图片

  • 对照Hadoop WebUI上给出的文件长度信息

使用Java API操作HDFS_第61张图片

10、获取文件块信息

  • 任务：获取/lzy01/hadoop-3.3.4.tar.gz文件块信息

使用Java API操作HDFS_第62张图片

  • hadoop压缩包会分割成6个文件块

使用Java API操作HDFS_第63张图片

  • 在net.hw.hdfs包里创建GetBlockLocations类

 使用Java API操作HDFS_第64张图片

  • 用到getFileBlockLocations()方法来获取物理切块信息

使用Java API操作HDFS_第65张图片

参数1：文件路径
参数2：起点
参数3：长度

  • 编写代码，获取文件块信息

使用Java API操作HDFS_第66张图片

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Arrays;

/**
 * 功能：获取文件块信息
 * 日期：2022年11月26日
 */
public class GetBlockLocations {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向文件
        Path path = new Path("/lzy01/hadoop-3.3.4.tar.gz");
        // 获取文件块信息
        BlockLocation[] blks = fs.getFileBlockLocations(path, 0, Integer.MAX_VALUE);
        // 利用Lambda表达式遍历块信息
        Arrays.asList(blks).forEach(blk -> System.out.println(blk));
    }
}

  • 运行程序，查看结果（切点位置，块大小，块存在位置）

使用Java API操作HDFS_第67张图片

  • 由此可见，hadoop-3.3.4.tar.gz被hadoop物理切分成6块，前5块长度均为134217728字节（128MB），第6块长度为24369142字节（23.24MB）。

11、创建目录

  • 任务：在HDFS上创建/ied01目录
  • 在net.hw.hdfs包里创建MakeDirOnHDFS类

使用Java API操作HDFS_第68张图片

使用Java API操作HDFS_第69张图片

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 功能：在HDFS上创建目录
  * 日期：2022年11月26日
 */
public class MakeDirOnHDFS {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path = new Path("/ied01");
        // 利用文件系统创建指定目录
        boolean result = fs.mkdirs(path);
        // 判断目录是否创建成功
        if (result) {
            System.out.println("目录[" + path + "]创建成功！" );
        } else {
            System.out.println("目录[" + path + "]创建失败！" );
        }
    }
}

  • 运行程序，查看结果

使用Java API操作HDFS_第70张图片

  • 利用Hadoop WebUI界面查看

使用Java API操作HDFS_第71张图片
12、判断目录或文件是否存在

  • 任务：判断HDFS上/ied01目录是否存在，判断/ied01/hadoop.txt文件是否存在
  • 在net.hw.hdfs包里创建DirFileExistsOrNot类

使用Java API操作HDFS_第72张图片

  • 编写dirExists()方法

使用Java API操作HDFS_第73张图片

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：判断目录或文件是否存在
 * 日期：2022年11月26日
 */
public class DirFileExistsOrNot {
    @Test
    public void dirExists() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path = new Path("/ied01");
        // 判断目录是否存在
        if (fs.exists(path)) {
            System.out.println("目录[" + path + "]存在！");
        } else {
            System.out.println("目录[" + path + "]不存在！");
        }
    }
}

  • 运行程序，查看结果

使用Java API操作HDFS_第74张图片

  • 修改代码，再测试

使用Java API操作HDFS_第75张图片

13、判断Path指向目录还是文件

  • 在net.hw.hdfs包里创建PathToFileOrDir类

使用Java API操作HDFS_第76张图片

使用Java API操作HDFS_第77张图片

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 功能：判断路径指向目录还是文件
 * 日期：2022年11月26日
 */
public class PathToFileOrDir {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");

        // 创建路径对象，指向目录
        Path path1 = new Path("/ied01");
        if (fs.isDirectory(path1)) {
            System.out.println("[" + path1 + "]指向的是目录！");
        } else {
            System.out.println("[" + path1 + "]指向的是文件！");
        }

        // 创建路径对象，指向文件
        Path path2 = new Path("/lzy01/test.txt");
        if (fs.isFile(path2)) {
            System.out.println("[" + path2 + "]指向的是文件！");
        } else {
            System.out.println("[" + path2 + "]指向的是目录！");
        }
    }
}

  • 运行程序，查看结果

使用Java API操作HDFS_第78张图片

14、删除目录或文件

  • 类似于HDFS Shell里的hdfs dfs -rmdir和hdfs dfs -rm -r命令
  • 在net.hw.hdfs包里创建DeleteFileOrDir类

使用Java API操作HDFS_第79张图片

（1）删除文件 

  • 任务：删除/lzy01/hi.txt文件

使用Java API操作HDFS_第80张图片

  • 编写deleteFile()方法 

使用Java API操作HDFS_第81张图片

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

public class DeleteFileOrDir {
    @Test
    public void deleteFile() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向目录或文件）
        Path path = new Path(uri + "/lzy01/hi.txt");
            //  删除路径对象指向的文件(第二个参数表明是否递归，删除文件，不用递归)
            boolean result = fs.delete(path, false);
            // 根据返回结果提示用户
            if (result) {
                System.out.println("文件[" + path + "]删除成功！");
            } else {
                System.out.println("文件[" + path + "]删除失败！")
        }
    }
}
  • 运行deleteFile()测试方法，查看结果 

使用Java API操作HDFS_第82张图片

  • 再运行deleteFile()测试方法，查看结果 

使用Java API操作HDFS_第83张图片

  • 可以在删除文件之前，判断文件是否存在，需要修改代码 

使用Java API操作HDFS_第84张图片

@Test
public void deleteFile() throws Exception {
    // 创建配置对象
    Configuration conf = new Configuration();
    // 设置数据节点主机名属性
    conf.set("dfs.client.use.datanode.hostname", "true");
    // 定义uri字符串
    String uri = "hdfs://master:9000";
    // 创建文件系统对象
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
    // 创建路径对象（指向目录或文件）
    Path path = new Path(uri + "/lzy01/hi.txt");
    //  判断路径对象指向的文件是否存在
    if(fs.exists(path)) {
        //  删除路径对象指向的文件(第二个参数表明是否递归，删除文件，不用递归)
        boolean result = fs.delete(path, false);
        // 根据返回结果提示用户
        if (result) {
            System.out.println("文件[" + path + "]删除成功！");
        } else {
            System.out.println("文件[" + path + "]删除失败！");
        }
    }else {
        System.out.println("文件[" + path + "]不存在！");
    }
}

}

  • 此时运行deleteFile()测试方法，查看结果

使用Java API操作HDFS_第85张图片

（2）删除目录 

  • 任务：删除/lzy01目录
  • 编写deleteDir()方法

使用Java API操作HDFS_第86张图片 

 @Test
    public void deleteDir() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向目录）
        Path path = new Path(uri + "/lzy01");
        //  判断路径对象指向的文件是否存在
        if(fs.exists(path)) {
            //  删除路径对象指向的文件(第二个参数表明是否递归，删除文件，要递归)
            boolean result = fs.delete(path, true);
            // 根据返回结果提示用户
            if (result) {
                System.out.println("文件[" + path + "]删除成功！");
            } else {
                System.out.println("文件[" + path + "]删除失败！");
            }
        }else {
            System.out.println("目录[" + path + "]不存在！");
        }
    }

} 
  • 运行deleteDir()方法，查看结果

使用Java API操作HDFS_第87张图片

  •  再运行deleteDir()方法，查看结果

使用Java API操作HDFS_第88张图片

（3）删除目录或文件 

  • 进行三个层面的判断：判断类型（目录或文件）、判断是否存在、判断删除是否成功。
  • 任务：删除/ied02/exam.txt文件和lzy01目录

使用Java API操作HDFS_第89张图片

 

  • 编写delete()方法

使用Java API操作HDFS_第90张图片

@Test
    public void delete() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 定义随机对象
        Random random = new Random();
        //  产生随机整数
        int choice = random.nextInt(100) % 2;
        // 定义路径字符串
        String[] strPath = {"/ied02/exam.txt","/lzy01"};
        //定义路径对象（指向目录或文件）
        Path path = new Path(uri+strPath[choice]);
        //文件类型：目录或文件
        String type = "";
        if (fs.isDirectory(path)){
            type = "目录";
        }else {
            type = "文件";
        }
        //  判断存在性
        if(fs.exists(path)){
            //  删除路径对象指向的文件或目录
            boolean result = fs.delete(path,true);
            //  判断删除是否成功
           if (result){
               System.out.println(type+"["+path+"]删除成功！");
           }else {
               System.out.println(type+"["+path+"]删除失败！");
           }
        }else {
            System.out.println(type + "["+path+"]不存在！");
        }
    }
}
  •  运行delete()测试方法，查看结果（运行结果为随机）

使用Java API操作HDFS_第91张图片

  • 再次运行，查看结果

使用Java API操作HDFS_第92张图片 

  • 再次运行，查看结果

三、总结本章知识点

  1. 学会创建Maven项目
  2. 在idea添加相关的依赖
  3. 创建日志性文件
  4. 会在HDFS上创建文件
  5. 会写入并读取文件
  6. 会重命名目录或文件

  7. 显示文件列表

  8. 能够获取文件块信息

  9. 创建目录和判断目录或文件是否存在

  10. 能够判断path是指向文件还是目录

  11. 最后能够删除目录或文件

本章节结束！ 

你可能感兴趣的:(hdfs,java,hadoop)

  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • LocalDateTime 转 String igotyback java开发语言
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team 若博豆 java算法华为javascript
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript 二挡起步 web前端期末大作业javascripthtmlcss旅游风景
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动 二挡起步 web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
  • node.js学习 小猿L node.jsnode.js学习vim
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • Java 重写(Override)与重载(Overload) 叨唧唧的
    Java重写(Override)与重载(Overload)重写(Override)重写是子类对父类的允许访问的方法的实现过程进行重新编写,返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如：父类的一个方法申明了一个检查异常IOExceptio
  • 简单了解 JVM 记得开心一点啊 jvm
    目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven Energet!c 开发语言
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
  • Java企业面试题3 马龙强_ java
    1.break和continue的作用(智*图)break：用于完全退出一个循环（如for,while）或一个switch语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在for循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。2.if分支语句和switch分
  • JVM、JRE和 JDK：理解Java开发的三大核心组件 Y雨何时停T Javajava
    Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
  • Java面试题精选：消息队列(二) 芒果不是芒 Java面试题精选javakafka
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
  • 白骑士的Java教学基础篇 2.5 控制流语句 白骑士所长 Java教学java开发语言
    欢迎继续学习Java编程的基础篇！在前面的章节中，我们了解了Java的变量、数据类型和运算符。接下来，我们将探讨Java中的控制流语句。控制流语句用于控制程序的执行顺序，使我们能够根据特定条件执行不同的代码块，或重复执行某段代码。这是编写复杂程序的基础。通过学习这一节内容，你将掌握如何使用条件语句和循环语句来编写更加灵活和高效的代码。条件语句条件语句用于根据条件的真假来执行不同的代码块。if语句‘
  • python语法——三目运算符 HappyRocking pythonpython三目运算符
    在java中，有三目运算符，如：intc=(a>b)?a:b表示c取两者中的较大值。但是在python，不能直接这样使用，估计是因为冒号在python有分行的关键作用。那么在python中，如何实现类似功能呢？可以使用ifelse语句，也是一行可以完成，格式为：aifbelsec表示如果b为True，则表达式等于a，否则等于c。如：c=(aif(a>b)elseb)同样是完成了取最大值的功能。
  • ArrayList 源码解析 程序猿进阶 Java基础ArrayListListjava面试性能优化架构设计idea
    ArrayList是Java集合框架中的一个动态数组实现，提供了可变大小的数组功能。它继承自AbstractList并实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量capacity，表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • Java：爬虫框架 dingcho Javajava爬虫
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
  • python怎么将png转为tif_png转tif weixin_39977276
    发国外的文章要求图片是tif，cmyk色彩空间的。大小尺寸还有要求。比如网上大神多，找到了一段代码，感谢！https://www.jianshu.com/p/ec2af4311f56https://github.com/KevinZc007/image2Tifimportjava.awt.image.BufferedImage;importjava.io.File;importjava.io.Fi
  • JavaScript 中，深拷贝（Deep Copy）和浅拷贝（Shallow Copy） 跳房子的前端 前端面试javascript开发语言ecmascript
    在JavaScript中，深拷贝（DeepCopy）和浅拷贝（ShallowCopy）是用于复制对象或数组的两种不同方法。了解它们的区别和应用场景对于避免潜在的bugs和高效地处理数据非常重要。以下是对深拷贝和浅拷贝的详细解释，包括它们的概念、用途、优缺点以及实现方式。1.浅拷贝（ShallowCopy）概念定义：浅拷贝是指创建一个新的对象或数组，其中包含了原对象或数组的基本数据类型的值和对引用数
  • JAVA·一个简单的登录窗口 MortalTom java开发语言学习
    文章目录概要整体架构流程技术名词解释技术细节资源概要JavaSwing是Java基础类库的一部分，主要用于开发图形用户界面（GUI）程序整体架构流程新建项目，导入sql.jar包（链接放在了文末），编译项目并运行技术名词解释一、特点丰富的组件提供了多种可视化组件，如按钮（JButton）、文本框（JTextField）、标签（JLabel）、下拉列表（JComboBox）等，可以满足不同的界面设计
  • WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Javajava爬虫开发语言
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • 00. 这里整理了最全的爬虫框架（Java + Python） 有一只柴犬 爬虫系列爬虫javapython
    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
  • JAVA学习笔记之23种设计模式学习 victorfreedom Java技术设计模式androidjava常用设计模式
    博主最近买了《设计模式》这本书来学习，无奈这本书是以C++语言为基础进行说明，整个学习流程下来效率不是很高，虽然有的设计模式通俗易懂，但感觉还是没有充分的掌握了所有的设计模式。于是博主百度了一番，发现有大神写过了这方面的问题，于是博主迅速拿来学习。一、设计模式的分类总体来说设计模式分为三大类：创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器
  • JavaScript `Map` 和 `WeakMap`详细解释 跳房子的前端 JavaScript原生方法javascript前端开发语言
    在JavaScript中，Map和WeakMap都是用于存储键值对的数据结构，但它们有一些关键的不同之处。MapMap是一种可以存储任意类型的键值对的集合。它保持了键值对的插入顺序，并且可以通过键快速查找对应的值。Map提供了一些非常有用的方法和属性来操作这些数据对：set(key,value):将一个键值对添加到Map中。如果键已经存在，则更新其对应的值。get(key):获取指定键的值。如果键
  • 切换淘宝最新npm镜像源是 hai40587 npm前端node.js
    切换淘宝最新npm镜像源是一个相对简单的过程，但首先需要明确当前淘宝npm镜像源的状态和最新的镜像地址。由于网络环境和服务更新，镜像源的具体地址可能会发生变化，因此，我将基于当前可获取的信息，提供一个通用的切换步骤，并附上最新的镜像地址（截至回答时）。一、了解npm镜像源npm（NodePackageManager）是JavaScript的包管理器，用于安装、更新和管理项目依赖。由于npm官方仓库
  • 【Java】已解决：java.util.concurrent.CompletionException 屿小夏 java开发语言
    文章目录一、分析问题背景出现问题的场景代码片段二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：java.util.concurrent.CompletionException一、分析问题背景在Java并发编程中，java.util.concurrent.CompletionException是一种常见的运行时异常，通常在使用CompletableFuture进行异步计算时出现
  • TOMCAT在POST方法提交参数丢失问题 357029540 javatomcatjsp
    摘自http://my.oschina.net/luckyi/blog/213209 昨天在解决一个BUG时发现一个奇怪的问题，一个AJAX提交数据在之前都是木有问题的，突然提交出错影响其他处理流程。 检查时发现页面处理数据较多，起初以为是提交顺序不正确修改后发现不是由此问题引起。于是删除掉一部分数据进行提交，较少数据能够提交成功。 恢复较多数据后跟踪提交FORM DATA ，发现数
  • 在MyEclipse中增加JSP模板 删除-2008-08-18 ljy325 jspxmlMyEclipse
    在D:\Program Files\MyEclipse 6.0\myeclipse\eclipse\plugins\com.genuitec.eclipse.wizards_6.0.1.zmyeclipse601200710\templates\jsp  目录下找到Jsp.vtl，复制一份，重命名为jsp2.vtl,然后把里面的内容修改为自己想要的格式，保存。 然后在 D:\Progr
  • JavaScript常用验证脚本总结 eksliang JavaScriptjavaScript表单验证
         转载请出自出处：http://eksliang.iteye.com/blog/2098985        下面这些验证脚本，是我在这几年开发中的总结，今天把他放出来，也算是一种分享吧，现在在我的项目中也在用！包括日期验证、比较，非空验证、身份证验证、数值验证、Email验证、电话验证等等...! &nb
  • 微软BI（4） 18289753290 微软BI SSIS
    1） Q:查看ssis里面某个控件输出的结果：  A MessageBox.Show(Dts.Variables["v_lastTimestamp"].Value.ToString()); 这是我们在包里面定义的变量 2):在关联目的端表的时候如果是一对多的关系，一定要选择唯一的那个键作为关联字段。 3) Q：ssis里面如果将多个数据源的数据插入目的端一
  • 定时对大数据量的表进行分表对数据备份 酷的飞上天空 大数据量
    工作中遇到数据库中一个表的数据量比较大，属于日志表。正常情况下是不会有查询操作的，但如果不进行分表数据太多，执行一条简单sql语句要等好几分钟。。   分表工具：linux的shell + mysql自身提供的管理命令 原理：使用一个和原表数据结构一样的表，替换原表。   linux shell内容如下： =======================开始 
  • 本质的描述与因材施教 永夜-极光 感想随笔
             不管碰到什么事,我都下意识的想去探索本质,找寻一个最形象的描述方式。        我坚信,世界上对一件事物的描述和解释,肯定有一种最形象,最贴近本质,最容易让人理解        &
  • 很迷茫。。。 随便小屋 随笔
    小弟我今年研一，也是从事的咱们现在最流行的专业（计算机）。本科三流学校，为了能有个更好的跳板，进入了考研大军，非常有幸能进入研究生的行业（具体学校就不说了，怕把学校的名誉给损了）。   先说一下自身的条件，本科专业软件工程。主要学习就是软件开发，几乎和计算机没有什么区别。因为学校本身三流，也就是让老师带着学生学点东西，然后让学生毕业就行了。对专业性的东西了解的非常浅。就那学的语言来说
  • 23种设计模式的意图和适用范围 aijuans 设计模式
    Factory Method 意图 定义一个用于创建对象的接口，让子类决定实例化哪一个类。Factory Method 使一个类的实例化延迟到其子类。 　　适用性 当一个类不知道它所必须创建的对象的类的时候。 　　当一个类希望由它的子类来指定它所创建的对象的时候。 　　当类将创建对象的职责委托给多个帮助子类中的某一个，并且你希望将哪一个帮助子类是代理者这一信息局部化的时候。 Abstr
  • Java中的synchronized和volatile aoyouzi javavolatilesynchronized
    说到Java的线程同步问题肯定要说到两个关键字synchronized和volatile。说到这两个关键字，又要说道JVM的内存模型。JVM里内存分为main memory和working memory。 Main memory是所有线程共享的，working memory则是线程的工作内存，它保存有部分main memory变量的拷贝，对这些变量的更新直接发生在working memo
  • js数组的操作和this关键字 百合不是茶 js数组操作this关键字
    js数组的操作;   一:数组的创建: 1、数组的创建 var array = new Array();　//创建一个数组 var array = new Array([size]);　//创建一个数组并指定长度，注意不是上限，是长度 var arrayObj = new Array([element0[, element1[, ...[, elementN]]]
  • 别人的阿里面试感悟 bijian1013 面试分享工作感悟阿里面试
    原文如下：http://greemranqq.iteye.com/blog/2007170         一直做企业系统，虽然也自己一直学习技术，但是感觉还是有所欠缺，准备花几个月的时间，把互联网的东西，以及一些基础更加的深入透析，结果这次比较意外，有点突然，下面分享一下感受吧！    &nb
  • 淘宝的测试框架Itest Bill_chen springmaven框架单元测试JUnit
    Itest测试框架是TaoBao测试部门开发的一套单元测试框架，以Junit4为核心， 集合DbUnit、Unitils等主流测试框架，应该算是比较好用的了。 近期项目中用了下，有关itest的具体使用如下： 1.在Maven中引入itest框架： <dependency>   <groupId>com.taobao.test</groupId&g
  • 【Java多线程二】多路条件解决生产者消费者问题 bit1129 java多线程
    package com.tom; import java.util.LinkedList; import java.util.Queue; import java.util.concurrent.ThreadLocalRandom; import java.util.concurrent.locks.Condition; import java.util.concurrent.loc
  • 汉字转拼音pinyin4j 白糖_ pinyin4j
    以前在项目中遇到汉字转拼音的情况，于是在网上找到了pinyin4j这个工具包，非常有用，别的不说了，直接下代码：   import java.util.HashSet; import java.util.Set; import net.sourceforge.pinyin4j.PinyinHelper; import net.sourceforge.pinyin
  • org.hibernate.TransactionException: JDBC begin failed解决方案 bozch ssh数据库异常DBCP
    org.hibernate.TransactionException: JDBC begin failed:     at org.hibernate.transaction.JDBCTransaction.begin(JDBCTransaction.java:68)    at org.hibernate.impl.SessionImp
  • java-并查集（Disjoint-set）-将多个集合合并成没有交集的集合 bylijinnan java
    import java.util.ArrayList; import java.util.Arrays; import java.util.HashMap; import java.util.HashSet; import java.util.Iterator; import java.util.List; import java.util.Map; import java.ut
  • Java PrintWriter打印乱码 chenbowen00 java
    一个小程序读写文件，发现PrintWriter输出后文件存在乱码，解决办法主要统一输入输出流编码格式。 读文件： BufferedReader 从字符输入流中读取文本，缓冲各个字符，从而提供字符、数组和行的高效读取。 可以指定缓冲区的大小，或者可使用默认的大小。大多数情况下，默认值就足够大了。 通常，Reader 所作的每个读取请求都会导致对基础字符或字节流进行相应的读取请求。因
  • [天气与气候]极端气候环境 comsci 环境
          如果空间环境出现异变...外星文明并未出现,而只是用某种气象武器对地球的气候系统进行攻击,并挑唆地球国家间的战争,经过一段时间的准备...最大限度的削弱地球文明的整体力量,然后再进行入侵......      那么地球上的国家应该做什么样的防备工作呢?  &n
  • oracle order by与union一起使用的用法 daizj UNIONoracleorder by
    当使用union操作时，排序语句必须放在最后面才正确，如下： 只能在union的最后一个子查询中使用order by，而这个order by是针对整个unioning后的结果集的。So： 如果unoin的几个子查询列名不同，如 Sql代码  select supplier_id, supplier_name  from suppliers  UNI
  • zeus持久层读写分离单元测试 deng520159 单元测试
    本文是zeus读写分离单元测试,距离分库分表,只有一步了.上代码: 1.ZeusMasterSlaveTest.java package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Assert; import org.j
  • Yii 截取字符串(UTF-8) 使用组件 dcj3sjt126com yii
    1.将Helper.php放进protected\components文件夹下。 2.调用方法：   Helper::truncate_utf8_string($content,20,false);   //不显示省略号  Helper::truncate_utf8_string($content,20);  //显示省略号  &n
  • 安装memcache及php扩展 dcj3sjt126com PHP
    安装memcache    tar zxvf memcache-2.2.5.tgz     cd memcache-2.2.5/     /usr/local/php/bin/phpize (?)    ./configure --with-php-confi
  • JsonObject 处理日期 feifeilinlin521 javajsonJsonOjbectJsonArrayJSONException
        写这边文章的初衷就是遇到了json在转换日期格式出现了异常 net.sf.json.JSONException: java.lang.reflect.InvocationTargetException  原因是当你用Map接收数据库返回了java.sql.Date 日期的数据进行json转换出的问题话不多说  直接上代码  &n
  • Ehcache（06）——监听器 234390216 监听器listenerehcache
    监听器          Ehcache中监听器有两种，监听CacheManager的CacheManagerEventListener和监听Cache的CacheEventListener。在Ehcache中，Listener是通过对应的监听器工厂来生产和发生作用的。下面我们将来介绍一下这两种类型的监听器。  
  • activiti 自带设计器中chrome 34版本不能打开bug的解决 jackyrong Activiti
      在acitivti modeler中，如果是chrome 34，则不能打开该设计器，其他浏览器可以， 经证实为bug，参考 http://forums.activiti.org/content/activiti-modeler-doesnt-work-chrome-v34 修改为，找到 oryx.debug.js 在最头部增加 if (!Document.
  • 微信收货地址共享接口-终极解决 laotu5i0 微信开发
       最近要接入微信的收货地址共享接口，总是不成功，折腾了好几天，实在没办法网上搜到的帖子也是骂声一片。我把我碰到并解决问题的过程分享出来，希望能给微信的接口文档起到一个辅助作用，让后面进来的开发者能快速的接入，而不需要像我们一样苦逼的浪费好几天，甚至一周的青春。各种羞辱、谩骂的话就不说了，本人还算文明。    如果你能搜到本贴，说明你已经碰到了各种 ed
  • 关于人才 netkiller.github.com 工作面试招聘netkiller人才
    关于人才 每个月我都会接到许多猎头的电话，有些猎头比较专业，但绝大多数在我看来与猎头二字还是有很大差距的。 与猎头接触多了，自然也了解了他们的工作，包括操作手法，总体上国内的猎头行业还处在初级阶段。 总结就是“盲目推荐，以量取胜”。 目前现状 许多从事人力资源工作的人，根本不懂得怎么找人才。处在人才找不到企业，企业找不到人才的尴尬处境。 企业招聘，通常是需要用人的部门提出招聘条件，由人
  • 搭建 CentOS 6 服务器 - 目录 rensanning centos
    (1) 安装CentOS ISO（desktop/minimal）、Cloud（AWS/阿里云）、Virtualization（VMWare、VirtualBox） 详细内容 (2) Linux常用命令 cd、ls、rm、chmod...... 详细内容 (3) 初始环境设置 用户管理、网络设置、安全设置...... 详细内容 (4) 常驻服务Daemon
  • 【求助】mongoDB无法更新主键 toknowme mongodb
      Query query = new Query();          query.addCriteria(new Criteria("_id").is(o.getId()));                &n
  • jquery 页面滚动到底部自动加载插件集合 xp9802 jquery
    很多社交网站都使用无限滚动的翻页技术来提高用户体验，当你页面滑到列表底部时候无需点击就自动加载更多的内容。下面为你推荐 10 个 jQuery 的无限滚动的插件： 1. jQuery ScrollPagination jQuery ScrollPagination plugin 是一个 jQuery 实现的支持无限滚动加载数据的插件。 2. jQuery Screw S
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他