Spark-SQL连接MySql关系型数据库


  本文主要分析Spark SQL官方文档中有关于 JDBC To Other Databases部分,以MySQL数据库为例,结合数据读写操作的实例代码进行详细的分析。 本文中的代码需要使用到Mysql JDBC连接jar包。

一、从mysql读取数据

1、单表查询

  完整程序如下:
package com.ckm.spark.sql

import java.util.Properties

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}

/**
 * Created by ckm on 2016/9/26.
 */
object SelectFromOneTable {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("Spark SQL Test Case").setMaster("local[2]")
    val sparkContext = new SparkContext(sparkConf)

    val sqlContext = new SQLContext(sparkContext)
    val properties = new Properties()
    val url = "jdbc:mysql://m000:3306/test"

    val jdbcDF = sqlContext.read.format("jdbc").options(
      Map("url" -> url,
      "user" -> "root",
      "password" -> "root",
      "dbtable" -> "spark_sql_test1")).load()
    jdbcDF.registerTempTable("test1")
    sqlContext.sql("select * from test1 where id > 10").collect().take(10).foreach(println)
  }
}
  在debug过程中,上面的程序直到最后一行才开始真正的在mysql中执行sql查询。此时 在Mysql中可以看到当前正在运行的sql语句。
  
  上面代码运行的最终结果如下:
   Spark-SQL连接MySql关系型数据库_第1张图片

2、多表join查询




你可能感兴趣的:(Spark,sql)