Spring Batch 3 - 读文件写数据库

本篇文件，我们来进一步学习Spring Batch3：读取解析日志文件并插入到数据库中。这是一个非常常见的场景：应用系统产生的日志，通过Spring Batch解析入库。

源文件

• 假定我们要读取的源文件的每行的格式如下（共5部分，用逗号分隔，分别为：时间、请求url、用户、请求时长、userAgent）：

2016-11-18 13:21:25,/test/core/postXY,sx_yuanchaozhong,4,/test/1.201610201/IOS/iPhone OS 10.0.2/iPhone8_1/31991EB3-60FF-4DCF-B90A-DE5E1F1026D7

目标表（mysql）

• 数据插入的表结构：

CREATE TABLE `access` (
  `date_str` varchar(50) NOT NULL,
  `path` varchar(200) NOT NULL,
  `userCode` varchar(100) NOT NULL,
  `time` int(11) DEFAULT NULL,
  `userAgent` varchar(200) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Bean

• 为了方便解析和处理，我们增加一个javaBean实体类，对应日志文件中的每一行分隔后的数据：

public class AccessBean {
 private String dateStr;//日期字符串
 private String path;//路径
 private String userCode;//用户
 private Integer time;//请求时长（毫秒）
 private String userAgent;//客户端
//getter and setter ....
}

Spring Batch 代码实现

Spring Batch 实现包括三部分：ItemReader、ItemProcessor、ItemWriter

• ItemReader实现：主要实现按行读取文件，分隔行并映射到实体类AccessBean中。Spring Batch3默认提供有很多常见的ItemReader，其中就包括我们所需要的ItemReader：org.springframework.batch.item.file.FlatFileItemReader，我们不需要自己实现。
• ItemProcessor实现：由于我们是解析后直接插入数据库，不做处理，所以ItemProcessor不用实现
• ItemWriter实现：把数据插入到数据库中。Spring Batch3默认也提供了我们所需要的ItemWriter：org.springframework.batch.item.database.JdbcBatchItemWriter，通过jdbc连接插入到数据库中。

Spring Batch3 默认提供了很多常见场景下的Reader和Writer的实现，所以很多场景下都不需要自己再实现。

Spring Batch Job配置

• Job

commit-interval="1000" 指每读1000行进行处理（读1000行才会提交到Processor和Writer）

• ItemReader - logReader

FlatFileItemReader需要两个参数：resource和 lineMapper.而lineMapper同样需要两个参数：lineTokenizer和fieldSetMapper。

• lineTokenizer :定义行的分隔方式和分隔后数据存储的方式，配置如下：

    
        
        
        
        
            
                dateStr
                path
                userCode
                time
                userAgent
            
        
    

• fieldSetMapper :定义如何映射行数据到实体类，这里通过BeanWrapperFieldSetMapper类来进行实体映射。

• ItemWriter

• 运行Job

App.run("readFile2DBJob");

至此，读取文件插入数据库的工作已经全部完成。可以看出，开发的代码量很少。

附完整代码

https://git.oschina.net/heichong/spring-batch-demo