大数据处理一些总结

使用JDBC处理大数据 在实际开发中，程序需要把大文本或二进制数据保存到数据库。 基本概念：大数据也称之为LOB(Large Objects)，LOB又分为：clob和blob
（a）clob用于存储大文本。（mysql 中采用Text）
（b）blob用于存储二进制数据，例如图像、声音、二进制文等。
对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是Text，其体系中的Text和blob分别又分为：
（a）Text ——TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT
（b）blob ——TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB

 

 

 

 

---

 

使用JDBC进行批处理

 

    业务场景：当需要向数据库发送一批SQL语句执行时，应避免向数据库一条条的发送执行，而应采用JDBC的批处理机制，以提升执行效率。

 

    实现批处理有两种方式，

 

            第一种方式： Statement.addBatch(sql) （其实是将sql语句 放在了一个 list 集合中。）

 

            第二种方式：  PreparedStatement.addBatch() （其实是将sql语句 放在了一个 list 集合中。）

 

    执行批处理SQL语句

 

            executeBatch()方法：执行批处理命令

 

            clearBatch()方法：清除批处理命令（实际上是清除 List集合中的SQL语句，否则会造成内存溢出。）

 

 

 

Oracle中大数据处理

 

        Oracle定义了一个BLOB字段用于保存二进制数据，但这个字段并不能存放真正的二进制数据，只能向这个字段存一个指针，然后把数据放到指针所指向的Oracle的LOB段中， LOB段是在数据库内部表的一部分。

 

        因而在操作Oracle的Blob之前，必须获得指针（定位器）才能进行Blob数据的读取和写入。

 

        如何获得表中的Blob指针呢？ 可以先使用insert语句向表中插入一个空的blob（调用oracle的函数empty_blob()  ），这将创建一个blob的指针，然后再把这个empty的blob的指针查询出来，这样就可得到BLOB对象，从而读写blob数据了。

 

 

    Oracle中LOB类型的处理步骤

 

    (1)  插入空blob ——  insert into test(id,image) values(?,empty_blob());

 

    (2)  获得blob的cursor ——  select image from test where id= ? for update;  

 

                                                      Blob b = rs.getBlob(“image”);

 

        注意:  须加for update，锁定该行，直至该行被修改完毕，保证不产生并发冲突。

 

    (3)  利用 io，和获取到的cursor往数据库读写数据

 

        注意：以上操作需开启事务。

 

 Demo样例：第一种方式：Statement.addBatch(sql)

 

 

 

@Test
 public void test1() throws SQLException{
 
            Connection conn = null;
 
            Statement st = null;
 
            ResultSet rs = null;
 
            try {
 
                    conn = JdbcUtil.getConnection();
 
                    String sql1 = "insert into user(name,password,email,birthday)  values('kkk','123','[email protected]','1978-08-08')";
 
                    String sql2 = "update user set password='123456' where id=3";
 
                    st = conn.createStatement();
 
                    st.addBatch(sql1);  //把SQL语句加入到批命令中
 
                    st.addBatch(sql2);  //把SQL语句加入到批命令中
 
                    st.executeBatch();
 
                    st.clearBatch();
 
            } finally{
 
                 JdbcUtil.free(conn, st, rs);
 
            }
 
 }

 

 

 

采用Statement.addBatch(sql)方式实现批处理的优缺点

 

        优点：可以向数据库发送多条不同的ＳＱＬ语句。

 

        缺点：SQL语句没有预编译。当向数据库发送多条语句相同，但仅参数不同的SQL语句时，需重复写上很多条SQL语句。

 

            例如：

 

               Insert into user(name,password) values(‘aa’,’111’);

 

               Insert into user(name,password) values(‘bb’,’222’);

 

               Insert into user(name,password) values(‘cc’,’333’);

 

               Insert into user(name,password) values(‘dd’,’444’);

 

 

---

 实现批处理的第二种方式：PreparedStatement.addBatch() 

 

    Demo样例：第二种 方式

@Test
 public void test2() throws SQLException{
 
        conn = JdbcUtil.getConnection();
 
        String sql = "insert into user(name,password,email,birthday) values(?,?,?,?)";
 
        st = conn.prepareStatement(sql);
 
        for(int i=0;i<50000;i++){
 
                st.setString(1, "aaa" + i);
 
                st.setString(2, "123" + i);
 
                st.setString(3, "aaa" + i + "@sina.com");
 
                st.setDate(4,new Date(1980, 10, 10));
 
                 
 
                st.addBatch();
 
                if(i%1000==0){      //为防止(list集合) 内存溢出：设定每累加1000条数据就向数据库发送一次
 
                        st.executeBatch();
 
                        st.clearBatch();
 
                }
 
        }
 
        st.executeBatch(); //当剩余的条数小于1000条时就不会被发送到数据库，所以此处要在发送一次。
 
｝

 采用PreparedStatement.addBatch()实现批处理的优缺点

 

 

    优点：发送的是预编译后的SQL语句，执行效率高。

 

    缺点：只能应用在SQL语句相同，但参数不同的批处理中。因此此种形式的批处理经常用于在同一个表中批量插入数据，或批量更新表的数据。