《spring batch 批处理框架》第3、4、5章

第3章 Spring Batch基本概念

spring-batch-stereotypes.png

Spring Batch框架图,主要领域对象列表
一个Job有多个Step，每个step又包含一系列规定动作（read，process，write）

一、命名空间

springframwork.org/schema/batch: xml配置点

二、Job：

1. Job Instance：作业实例，一个运行期概念（一次执行关联一个实例）
   a.用Laucher.run执行job代码
   b.关联Batch_Job_Instance表
2. Job Parameters：
   a. 通过Job参数区分不同的Job实例
   b. 实际使用hashMap存储参数（仅4种数据类型）
   c. 关联Batch_Job_Execution_Params表
3. Job Execution：
   a. 表示Job执行的句柄（一次执行）
   b. 关联Batch_Job_Execution表

三、 Step:

表示作业中一个完整的步骤，作业步在每次执行重新生成Step Execution

spring-batch-job-steps.png

Job与step关系图
1. Setp Execution为step执行的句柄
2. Batch_Job_Execution表

四、 Execution Context：

1. 执行上下文，在job/Step执行时保存需要进行持久化的状态信息。
2. 关联Batch_job_Execution_Context和Batch_step_Execution_Context表

五、Job Repository: 持久化Job元数据

1. Job Repository Schema 配置
2. 配置内存仓库（测试用？）
3. 配置数据库仓库
4. 数据库Schema阅读

六、Job Laucher作业调度器

框架基础设施层提供的运行Job的能力：JobLauncher接口，默认实现为SimpleJobLauncher

七、ItemReader

1.可直接使用Spring Batch框架提供的读组件快速完成批处理应用的开发和搭建

spring-batch-readers.png

3.ItemReader接口

八、ItermProcessor：

1. 一般需要自己实现，Spring Batch也提供一些简单实现

spring-batch-processors.png

3. Item Processor接口

九、ItemWriter

1. 同Reader，有大量的现成实现

spring-batchwriters.png

3. Item Writer接口，注意参数是一个List列表

第四章 配置作业Job

1.基本配置(xml)
a. Job主要属性：id，job_repository,incrementer,restartable,parent..
b. 子元素： step作业步、split并行作业步、flow独立的作业流、decision作业步执行条件判断器、listener拦截器、validator作业参数校验器

listener按照翻译应该是监听器，不过看接口的功能（before××，after××，确实是拦截器的作用，所以还是按照书里面的说明，是拦截器
重启Job，默认restartable=“false”

c. Job Parameters校验
默认实现为CompositeJobParametersValidator，DefaultJobParametersValidator，可实现参数的Requiredkey
和optionalkey:必须有参数，可选参数
d. JOb抽象与继承： abstract和parent属性的组合

2. 高级特性：
   a. Step Scope: Bean的作用域限定在一个Step中，在Step结束时候销毁
   b. 属性Late Binding： 能在运行时根据JobParameter、jobExecutionContext和stepExecutionContext这三个实体属性值配“resource”
3. 运行Job：
   a. 包含JobLauncher、JobExplorer、JobOperator三个接口
4. 作业调度：同步异步，Job与外部系统（webApp，Cmd，调度框架）
   a. 命令行执行：使用spring命令行执行类（org.springframework.batch.core.launch.support.CommandLineJobRunner）
   b. 与定时任务集成-集成spring scheduler
   在SchedulerLauncher中注入job和jobLauncher
   c. 与web应用集成-集成spring mvc
   在controller中注入job和jobLauncher，从httpRequest中生成JobParameters。
5. 停止Job
   a. 通过JobOperator的stop()停止正在运行的Job（阅读代码4-32，要根据名字getRunningExecutions获取正在运行的实例Id（long型），再通过JobOperator操作
   b. JMX方式操作JobOperator：Jconsole
   c. 业务停止：使用setTeminateOnly

第5章 配置作业步

spring-batch-step-relation.png

Step、tasklet、chunk、read、process、write关系图

1. 配置Step
   a. Step属性说明：子元素说明（图）
   b. Step抽象与继承：与Job一致，abstract与parent属性
   c. Step拦截器：listener，调用顺序，merge也与job一致（前面定义的、父亲节点定义的先调用before，后调用after）
2. 配置Tasklet
   tasklet是任务的具体执行逻辑，其中chunk操作是spring batch提供的“标准”动作，当然也可以自定义实现。
   a. 重启step：start-limit加上allow-start-ficomplete="true"
   b. 事务性：read、process、write三个操作捆绑在一起，保证操作的完整性。利用了spring提供的事务管理器、事务隔离级别、事务传播方式
   c. 事务回滚控制：，指定特定不回滚的异常
   d. 多线程step： tasklet中配置task-executor和throttle-limit
   e. 自定义tasklet：实现Tasklet接口的execute()方法
3. 配置chunk
   a. 提交间隔： commit-interval(也就是chunk的大小)
   b. 异常跳过： skippable-execpiton-class（指定跳过的异常）、skip-limt(简单粗暴地根据次数控制)、skip-policy（自定义跳过策略，最为灵活，也最麻烦）
   c. 重试机制: 这些在2.20之后剥离到spring-retry了，略过
4. chunk完成策略
   通过完成策略配置任务提交实际（CompletionPolicy
   )
   a. chunk-completion-policy和commit-internal不能同时存在
   b. 默认实际：SimpleCompletionPloicy
5. 读事务处理
   a.reader-transactional-queue：从一个"事务性“队列读数据
   b.processor-transactional：处理数据是否缓存（出错时候是按照chunk还是按照item处理）
6. 拦截器：

spring-batch-chunk-listener.png

拦截器接口

spring-batch-listener-process.png

作用域图，执行顺序

包含Chunklisterner、ItemReadListener、ItermProcessListener、ItemWriterListener、SkipListener、RetryListener。