SparkSQl通过JDBC读取外部数据源的数据

Spark版本：2.2.0

通过JDBC配置可以读取 Mysql、Oracle、Gbase、Hive 等数据库的数据，JDBC 配置选项如下：

配置名称	含义
url	要连接的JDBC URL。
dbtable	应该读取的JDBC表。请注意，FROM可以使用在SQL查询的子句中有效的任何内容。例如，您也可以在括号中使用子查询，而不是完整的表。
driver	用于连接到此URL的JDBC驱动程序的类名。
partitionColumn, lowerBound, upperBound, numPartitions	如果指定了任何选项，则必须全部指定这些选项。它们描述了在从多个工作者并行读取时如何对表进行分区。partitionColumn必须是相关表格中的数字列。请注意，lowerBound和upperBound只是用来决定分区步幅，而不是在表中过滤行。因此，表中的所有行都将被分区并返回。
fetchSize	JDBC提取大小，用于确定每次往返要获取的行数。这可以帮助JDBC驱动程序的性能，默认为低读取大小（例如，Oracle有10行）。

下面以读Mysql 和 Hive 数据库为例 ：

pom 文件

    
      org.apache.spark
      spark-core_2.11
      2.2.0
    
    
      mysql
      mysql-connector-java
      5.1.6
    
    
      org.apache.hive
      hive-jdbc
      2.1.0
    
    
      org.apache.spark
      spark-hive_2.11
      2.2.0
    
  

程序如下：

package org.lw.spark;

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

import java.util.HashMap;
import java.util.Map;

public class SparkJDBC{


    public static  void main(String aes[]){
        //初始化 SparkSession
        SparkSession spark=SparkSession
                .builder()
                .appName("SparkJDBC")
                .master("local[2]")
                .getOrCreate();


        //配置Mysql JDBC 信息
        Map options = new HashMap<>();
        options.put("url", "jdbc:mysql://192.168.8.1:3306/sample");
        options.put("driver", "com.mysql.jdbc.Driver");
        options.put("dbtable", "test");
        options.put("user", "user");
        options.put("password", "pwddd");

        Dataset jdbcDF = spark.read().format("jdbc").options(options).load();

        jdbcDF.show();

        //配置 Hive JDBC 信息
        Map options2 = new HashMap<>();
        options2.put("url", "jdbc:hive2://192.168.8.2:10000/default");
        options2.put("driver", "org.apache.hive.jdbc.HiveDriver");
        options2.put("dbtable", "sample_07");


        Dataset jdbcDF2 = spark.read().format("jdbc").options(options2).load();

        jdbcDF2.show();

    }
}