spring batch(一):基础部分

spring batch

官网:

http://www.springsource.org/spring-batch

下载页面:

http://static.springsource.org/spring-batch/downloads.html

文档:

http://static.springsource.org/spring-batch/reference/index.html

数据库表格创建连接:DDL

http://static.springsource.org/spring-batch/reference/html/metaDataSchema.html#exampleDDLScripts

 

chapter 1、Introducing Spring Batch

spring batch需要依赖关系型数据库才能运行,在它的官方文档中的附录中,有创建它依赖的数据库表结构。

spring batch设计的目标:

1、大数据处理

2、自动化的

3、健壮的

4、可信赖的

5、高性能的

配置文件中 chunk  里面的 commit-interval="100"的大小,就是chunk块的大小。它们是一回事。

chunk 里面有 ItemReader ItemProcessor ItemWriter , ItemReader一次读取一条记录,ItemProcessor一次处理一条记录,ItemWriter一次输入commit-interval="100"指定事物大小的记录数(也就是chunk块的大小)。

推荐的commit-interval的大小是 10 至 200。 如果这个数值太大,如果是输出数据到数据库,会造成数据库的事物数据太大,影响数据库的性能,数据库会记录很多回滚数据的事物内容,造成性能低下。这个值太小,又会造成很多事务的产生,造成spring batch运行缓慢。

可以用SpEL动态配置程序运行的参数,例如:

<property name="resource"value="file:#{jobParameters['inputResource']}" />

这里需要注意一点,bean的scope必须为 “step”。在spring 3.×中支持 SPEL表达式。

<bean id="reader" class="org.springframework.batch.item.file.FlatFileItemReader" scope="step">

 

下面是spring batch的元数据表,oracle数据库的DDL

 

CREATE TABLE BATCH_JOB_INSTANCE  (
	JOB_INSTANCE_ID NUMBER(19,0)  NOT NULL PRIMARY KEY ,  
	VERSION NUMBER(19,0) ,  
	JOB_NAME VARCHAR2(100) NOT NULL, 
	JOB_KEY VARCHAR2(32) NOT NULL,
	constraint JOB_INST_UN unique (JOB_NAME, JOB_KEY)
) ;

CREATE TABLE BATCH_JOB_EXECUTION  (
	JOB_EXECUTION_ID NUMBER(19,0)  NOT NULL PRIMARY KEY ,
	VERSION NUMBER(19,0)  ,  
	JOB_INSTANCE_ID NUMBER(19,0) NOT NULL,
	CREATE_TIME TIMESTAMP NOT NULL,
	START_TIME TIMESTAMP DEFAULT NULL , 
	END_TIME TIMESTAMP DEFAULT NULL ,
	STATUS VARCHAR2(10) ,
	EXIT_CODE VARCHAR2(100) ,
	EXIT_MESSAGE VARCHAR2(2500) ,
	LAST_UPDATED TIMESTAMP,
	constraint JOB_INST_EXEC_FK foreign key (JOB_INSTANCE_ID)
	references BATCH_JOB_INSTANCE(JOB_INSTANCE_ID)
) ;
	
CREATE TABLE BATCH_JOB_PARAMS  (
	JOB_INSTANCE_ID NUMBER(19,0) NOT NULL ,
	TYPE_CD VARCHAR2(6) NOT NULL ,
	KEY_NAME VARCHAR2(100) NOT NULL , 
	STRING_VAL VARCHAR2(250) , 
	DATE_VAL TIMESTAMP DEFAULT NULL ,
	LONG_VAL NUMBER(19,0) ,
	DOUBLE_VAL NUMBER ,
	constraint JOB_INST_PARAMS_FK foreign key (JOB_INSTANCE_ID)
	references BATCH_JOB_INSTANCE(JOB_INSTANCE_ID)
) ;
	
CREATE TABLE BATCH_STEP_EXECUTION  (
	STEP_EXECUTION_ID NUMBER(19,0)  NOT NULL PRIMARY KEY ,
	VERSION NUMBER(19,0) NOT NULL,  
	STEP_NAME VARCHAR2(100) NOT NULL,
	JOB_EXECUTION_ID NUMBER(19,0) NOT NULL,
	START_TIME TIMESTAMP NOT NULL , 
	END_TIME TIMESTAMP DEFAULT NULL ,  
	STATUS VARCHAR2(10) ,
	COMMIT_COUNT NUMBER(19,0) , 
	READ_COUNT NUMBER(19,0) ,
	FILTER_COUNT NUMBER(19,0) ,
	WRITE_COUNT NUMBER(19,0) ,
	READ_SKIP_COUNT NUMBER(19,0) ,
	WRITE_SKIP_COUNT NUMBER(19,0) ,
	PROCESS_SKIP_COUNT NUMBER(19,0) ,
	ROLLBACK_COUNT NUMBER(19,0) , 
	EXIT_CODE VARCHAR2(100) ,
	EXIT_MESSAGE VARCHAR2(2500) ,
	LAST_UPDATED TIMESTAMP,
	constraint JOB_EXEC_STEP_FK foreign key (JOB_EXECUTION_ID)
	references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)
) ;

CREATE TABLE BATCH_STEP_EXECUTION_CONTEXT  (
	STEP_EXECUTION_ID NUMBER(19,0) NOT NULL PRIMARY KEY,
	SHORT_CONTEXT VARCHAR2(2500) NOT NULL,
	SERIALIZED_CONTEXT CLOB , 
	constraint STEP_EXEC_CTX_FK foreign key (STEP_EXECUTION_ID)
	references BATCH_STEP_EXECUTION(STEP_EXECUTION_ID)
) ;

CREATE TABLE BATCH_JOB_EXECUTION_CONTEXT  (
	JOB_EXECUTION_ID NUMBER(19,0) NOT NULL PRIMARY KEY,
	SHORT_CONTEXT VARCHAR2(2500) NOT NULL,
	SERIALIZED_CONTEXT CLOB , 
	constraint JOB_EXEC_CTX_FK foreign key (JOB_EXECUTION_ID)
	references BATCH_JOB_EXECUTION(JOB_EXECUTION_ID)
) ;

CREATE SEQUENCE BATCH_STEP_EXECUTION_SEQ START WITH 0 MINVALUE 0 MAXVALUE 9223372036854775807 NOCYCLE;
CREATE SEQUENCE BATCH_JOB_EXECUTION_SEQ START WITH 0 MINVALUE 0 MAXVALUE 9223372036854775807 NOCYCLE;
CREATE SEQUENCE BATCH_JOB_SEQ START WITH 0 MINVALUE 0 MAXVALUE 9223372036854775807 NOCYCLE;

 

 

[备注]  SQL 脚本在spring batch的核心jar包中有提供。例如: spring-batch-core-2.1.9.RELEASE.jar的核心包org.springframework.batch.core中,schema-drop-[database].sql 的形式提供了各种主流关系型数据库的sql脚本。

spring batch支持的数据库有:Derby, H2, HSQLDB,MySQL, Oracle, PostgreSQL, SQLServer, and Sybase.

 

chapter 2、Spring Batch concepts

1、spring batch 的主要组件:

Job Repository持久化job执行元数据的基础组件

Job launcher引导job执行的基础组件

Jobbatch处理的应用组件

Stepjob内部的一个词语,一个job由一系列的step组成
Tasklet在step里面应用事务的,可重复执行的处理步骤

Item从数据源输入或者输出的一条记录

Chunk指定大小的item的列表。

Item reader负责从数据源读取item记录的组件

Item Processor负责处理(转换、验证、过滤等动作)item记录的组件

Item writer负责向数据源输出一个chunk的items,即:向数据源输出指定大小的item的列表的组件

 

 

2、spring batch如何和外部交互的

外部的cron,quartz等调度,或者web等,可以调用launch,触发spring batch的运行。

 

3、spring batch的基础组件包括:job launch和job repository。 它们不需要开发人员进行开发,只需要在配置文件中进行配置。

spring batch 的job是一系列在spring batch XML中的step组成。

4、Tasklet的使用

创建一个步骤(step),包括写一个tasklet执行或使用一个Spring Batch提供的tasklet。

当需要解压文件、调用存储过程、或者删除文件、调用sh脚本的时候,需要自己创建Tasklet的实现。

当实现tasklet的时候,这些需求可以划分为batch的read-process-write模式,那么就应该使用chunk元素配置tasklet,作为chunk processing处理步骤。chunk元素使得你的程序更加有效地读取,处理和写入数据。

小结:工作(job)是一系列的步骤(step),这些内容你可以轻易的在spring batch的xml里面进行定义。而步骤(step)由tasklet组成。tasklet可以由“面向模块”编程的chunk组成,或者tasklet完全来由开发者进行定制。

5、Job的相关概念

a、Job工作

b、Job instance工作实例

c、Job execution执行工作

一个工作(job)可以拥有很多工作实例(job instance),每个工作实例(job instance)可以拥有很多工作执行(job execution)。

 

在Spring Batch中,工作实例(job instance)包括工作(job)和工作参数(job parameter)。

 

jobLauncher.run(job, new JobParametersBuilder()
.addString("date", "2010-06-27")
.toJobParameters()
);

工作实例等式:

 

JobInstance = Job + Job-Parameters.

Job instance和Job execution的生命周期的一些规则:

a、当你第一次运行job的时候,spring batch创建job instance和第一个job execution。

b、当前面的同一个job instance被成功的执行完成之后,你不能再次运行这个job instance。

c、你不能同时执行多个相同的实例。

 

 ================ 基础部分结束 ============================

 

 

 

 

你可能感兴趣的:(spring)