Spring Batch 如何健壮可重启可追溯 SKIP/RETRY/RESTART策略的应用

前提:你已经有了一定的Spring基础

你已经可以跑动一个简单的Spring batch 的实例


参考:http://www.cnblogs.com/gulvzhe/archive/2011/10/25/2224249.html

http://www.cnblogs.com/cdutedu/p/3789396.html

先盗几个图




JobLauncher 指定一个 JobRepository

JobRepository包含了一些传入JOB的参数,主要有六个表去存储


每个JOB可以对应多个Step


		 ...
			
				
			
		...

tesklet里面的工作块为chunk,每个chunk执行完commit-interval,即提交一次,可以同时开多个chunk


每个STEP 这样执行


(以下一段摘抄)

从DB或是文件中取出数据的时候,read()操作每次只读取一条记录,之后将读取的这条数据传递给processor(item)处理,框架将重复做这两步操作,直到读取记录的件数达到batch配置信息中”commin-interval”设定值的时候,就会调用一次write操作。然后再重复上图的处理,直到处理完所有的数据。当这个Step的工作完成以后,或是跳到其他Step,或是结束处理。


那么问题来了?读取数据到处理的时候发生了异常如何处理?会不会导致整个批处理中断呢?

有异常没有捕获,到最上层也没有的话整个进程会挂掉,导致整个批处理中断。


显然,为了不影响后面的处理,要么捕获异常,打出日志,跳过。要么,重试(在IO超时或者表锁定的情况下是很有效的-瞬态情况)。

即使有中断,我们也需要重启JOB


以上几种正好对应Spring-Batch中的 SKIP\RETYR\RESTART

一、SKIP












skippable-exception-classes 里面配需要SKIP的异常类型

skip-limit 最多可以容错次数,超过这个数,该STEP中断





也可以添加listener去打日志


















二、Retrying on error

主要针对于IO操作的、并发等,瞬态的错误

类似于SKIP的配置












如果你不想重试次数达到后,由于这些错误导致STEP的中断退出,可以混合RETRY和SKIP两者。
















你也可以通过自定义的策略来控制重试























你也可以添加Listener

配置方法类似同SKIP,继承RetryListenerSupport,配置在retry-listeners


你还可以通过RetryTemplate来重试。RetryTemplate配置属性retryPolicy


三、重启

重启的重点是能够保存之前的job repository,自带的reader,都可以,自己写的Reader需要继承接口

Spring batch 默认是会重启的

allow-start-if-complete配置在tasklet上,决定了tasklet会不会在JOB重试的时候,重试该STEP(可能是下个STEP发生了异常)。

start-limit用来控制STEP级别的重试次数,重试次数结束后,JOB中断退出。




处理在STEP中的状态,已经处理了很多ITEM,失败了?
middle of a chunk-oriented step,item级别的重启。首先是reader的重启。
如果你需要你自己写的ITEM的reader,也可以实现重启的话,需要实现ItemStram的接口,将对于item 计数的值,保存到executionContext,重启的时候去读取。





你可能感兴趣的:(Spring-Batch)