JDBC处理大数据批处理

实现批处理的第二种方式：

处理大数据就是把大数据或者二进制数据保存到数据库中。

基本概念：大数据也称之为LOB(Large Objects)，LOB又分为：clob和blob

•         clob用于存储大文本。Text

•         blob用于存储二进制数据，例如图像、声音、二进制文等。

 

 

Text类型

对于MySQL中的Text类型，可调用如下方法设置：

对MySQL中的Text类型，可调用如下方法获取：

 

 

BLOB类型

对于MySQL中的BLOB类型，可调用如下方法设置：

对MySQL中的BLOB类型，可调用如下方法获取：

 

Oracle定义了一个BLOB字段用于保存二进制数据，但这个字段并不能存放真正的二进制数据，只能向这个字段存一个指针，然后把数据放到指针所指向的Oracle的LOB段中， LOB段是在数据库内部表的一部分。因而在操作Oracle的Blob之前，必须获得指针（定位器）才能进行Blob数据的读取和写入。

l       插入空blob
insert into test(id,image) values(?,empty_blob());

l       获得blob的cursor
select image from test where id= ? for update;
Blob b = rs.getBlob(“image”);

•         注意:  须加for update，锁定该行，直至该行被修改完毕，保证不产生并发冲突。

l       利用 io，和获取到的cursor往数据库读写数据

 

批处理

当需要向数据库发送一批SQL语句执行时，应避免向数据库一条条的发送执行，而应采用JDBC的批处理机制，以提升执行效率。

l       实现批处理有两种方式，第一种方式：

•         Statement.addBatch(sql)  list

l       实现批处理的第二种方式：

•         PreparedStatement.addBatch()

l       采用Statement.addBatch(sql)方式实现批处理：

•         优点：可以向数据库发送多条不同的ＳＱＬ语句。

•         缺点：

•         SQL语句没有预编译。

•         当向数据库发送多条语句相同，但仅参数不同的SQL语句时，需重复写上很多条SQL语句。

l       采用PreparedStatement.addBatch()实现批处理

•         优点：发送的是预编译后的SQL语句，执行效率高。

•         缺点：只能应用在SQL语句相同，但参数不同的批处理中。因此此种形式的批处理经常用于在同一个表中批量插入数据，或批量更新表的数据。