Spark将计算结果写入到Mysql中

今天主要来谈谈如果将Spark计算的结果写入到Mysql或者其他的关系型数据库里面。其实方式也很简单，代码如下：

01 /**
02  * User: 过往记忆
03  * Date: 15-03-10
04  * Time: 上午07:30
05  * bolg: http://www.iteblog.com
06  * 本文地址：http://www.iteblog.com/archives/1275
07  * 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货
08  * 过往记忆博客微信公共帐号：iteblog_hadoop
09  */
10 package scala
11
12 import java.sql.{DriverManager, PreparedStatement, Connection}
13 import org.apache.spark.{SparkContext, SparkConf}
14
15 object RDDtoMysql {
16
17   case class Blog(name: String, count: Int)
18
19   def myFun(iterator: Iterator[(String, Int)]): Unit = {
20     var conn: Connection = null
21     var ps: PreparedStatement = null
22     val sql = "insert into blog(name, count) values (?, ?)"
23     try {
24       conn =DriverManager.getConnection("jdbc:mysql://localhost:3306/spark",
25 　　　　"root", "123456")
26       iterator.foreach(data => {
27         ps = conn.prepareStatement(sql)
28         ps.setString(1, data._1)
29         ps.setInt(2, data._2)
30         ps.executeUpdate()
31       }
32       )
33     } catch {
34       case e: Exception => println("Mysql Exception")
35     } finally {
36       if (ps != null) {
37         ps.close()
38       }
39       if (conn != null) {
40         conn.close()
41       }
42     }
43   }
44
45   def main(args: Array[String]) {
46     val conf = new SparkConf().setAppName("RDDToMysql").setMaster("local")
47     val sc = new SparkContext(conf)
48     val data = sc.parallelize(List(("www", 10), ("iteblog", 20), ("com", 30)))
49     data.foreachPartition(myFun)
50   }
51 }

　　其实是通过foreachPartition遍历RDD的每个分区，并调用普通的Scala方法来写数据库。在运行程序之前需要确保数据库里面存在blog表，可以通过下面语句创建：

1 CREATE TABLE `blog` (
2   `name` varchar(255) NOT NULL,
3   `count` int(10) unsigned DEFAULT NULL
4 ) ENGINE=InnoDB DEFAULT CHARSET=utf-8

　　然后直接运行上述的代码即可。运行完成你就可以在数据库里面查询结果：

1 SELECT * FROM blog b;
2 www　　10
3 iteblog　　20
4 com　　30

　　需要注意的是：
　　1、你最好使用forEachPartition 函数来遍历RDD，并且在每台Work上面创建数据库的connection。
　　2、如果你的数据库并发受限，可以通过控制数据的分区来减少并发。
　　3、在插入Mysql的时候最好使用批量插入。
　　4、确保你写入数据库过程能够处理失败，因为你插入数据库的过程可能会经过网络，这可能会导致数据插入到数据库失败。
　　5、不建议将你的RDD数据写入到Mysql等关系型数据库中。