[1.2.0新功能系列:二] Apache Doris 1.2.0 JDBC外表 及 Mutil Catalog

JDBC 外表

JDBC External Table Of Doris 提供了Doris通过数据库访问的标准接口(JDBC)来访问外部表，外部表省去了繁琐的数据导入工作，也省去了之前ODBC繁杂的驱动安装部署及版本匹配问题，兼容性更好，操作更简单，让Doris可以具有了访问各式数据库的能力，并借助Doris本身的OLAP的能力来解决外部表的数据分析问题：

支持各种数据源接入Doris

支持Doris与各种数据源中的表联合查询，进行更加复杂的分析操作

创建 JDBC Resource

Doris 目前支持的JDBC数据源有：MySQL，Oracle，PostgreSQL，SQLServer，Clickhouse

这里我们以MySQL为例来演示

CREATE EXTERNAL RESOURCE jdbc_resource
properties (
   "type"="jdbc",
   "user"="root",
   "password"="zhangfeng",
   "jdbc_url"="jdbc:mysql://192.168.31.54:3306/demo",
   "driver_url"="file:///Users/zhangfeng/.m2/repository/mysql/mysql-connector-java/8.0.29/mysql-connector-java-8.0.29.jar",
   "driver_class"="com.mysql.cj.jdbc.Driver"
);

这里 driver_url 可以使用本地路径和http路径两种方式，

注意：

如果是本地路径要求所有 FE 和 BE 节点都要有这个驱动 Jar 包

http 方式是 FE 和 BE 是通过 http 方式下载驱动到本地

http方式示例如下：

CREATE EXTERNAL RESOURCE jdbc_resource
properties (
   "type"="jdbc",
   "user"="root",
   "password"="zhangfeng",
   "jdbc_url"="jdbc:mysql://192.168.31.54:3306/demo",
   "driver_url"="http://192.168.31.54/8.0.29/mysql-connector-java-8.0.29.jar",
   "driver_class"="com.mysql.cj.jdbc.Driver"
);

创建MySQL JDBC 外表

CREATE TABLE `order_analysis` (
 `date`  varchar(20),
 `user_src` varchar(20) ,
 `order_src` varchar(11) ,
 `order_location` varchar(2),
 `new_order` int DEFAULT NULL,
 `payed_order` int DEFAULT NULL,
 `pending_order` int DEFAULT NULL,
 `cancel_order` int DEFAULT NULL,
 `reject_order` int DEFAULT NULL,
 `good_order` int DEFAULT NULL,
 `report_order` int DEFAULT NULL
) ENGINE=JDBC
PROPERTIES (
"resource" = "jdbc_resource",
"table" = "order_analysis",
"table_type"="mysql"
);

查询外表

image.png

这里我们使用MySQL来演示，其他的JDBC外表使用方式一样，具体请参靠官方文档：https://doris.apache.org/zh-CN/docs/dev/ecosystem/external-table/jdbc-of-doris

Mutil Catalog 访问 MySQL

多源数据目录（Multi-Catalog）是 Doris 1.2.0 版本中推出的功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。

在之前的 Doris 版本中，用户数据只有两个层级：Database 和 Table。当我们需要连接一个外部数据目录时，我们只能在Database 或 Table 层级进行对接。比如通过 create external table 的方式创建一个外部数据目录中的表的映射，或通过 create external database 的方式映射一个外部数据目录中的 Database。如果外部数据目录中的 Database 或 Table 非常多，则需要用户手动进行一一映射，使用体验不佳。

而新的 Multi-Catalog 功能在原有的元数据层级上，新增一层Catalog，构成 Catalog -> Database -> Table 的三层元数据层级。其中，Catalog 可以直接对应到外部数据目录。目前支持的外部数据目录包括：

Hive MetaStore：对接一个 Hive MetaStore，从而可以直接访问其中的 Hive、Iceberg、Hudi 等数据。

Elasticsearch：对接一个 ES 集群，并直接访问其中的表和分片。

JDBC: 对接数据库访问的标准接口(JDBC)来访问各式数据库的数据。（目前只支持访问MYSQL）

JDBC Mutil Catalog
下面我们以 MySQL 为例演示 Mutil Catalog 使用

用于创建一个名为 jdbc 的 Catalog 连接指定的 MySQL

CREATE CATALOG jdbc PROPERTIES (
   "type"="jdbc",
   "jdbc.user"="root",
   "jdbc.password"="zhangfeng",
   "jdbc.jdbc_url" = "jdbc:mysql://localhost:3306/demo",
   "jdbc.driver_url" = "file:///Users/zhangfeng/.m2/repository/mysql/mysql-connector-java/8.0.29/mysql-connector-java-8.0.29.jar",
   "jdbc.driver_class" = "com.mysql.cj.jdbc.Driver"
);

这里 jdbc.driver_url 可以使用本地路径和http路径两种方式，

注意：

如果是本地路径要求所有 FE 和 BE 节点都要有这个驱动 Jar 包

http 方式是 FE 和 BE 是通过 http 方式下载驱动到本地

http方式示例如下：

CREATE CATALOG jdbc_resource properties (
   "type"="jdbc",
   "jdbc.user"="root",
   "jdbc.password"="zhangfeng",
   "jdbc.jdbc_url"="jdbc:mysql://192.168.31.54:3306/demo",
   "jdbc.driver_url"="http://192.168.31.54/8.0.29/mysql-connector-java-8.0.29.jar",
   "jdbc.driver_class"="com.mysql.cj.jdbc.Driver"
);

然后我们查看创建好的 Catalog 并切换到我们创建的 catalog下

show catalogs;

image.png

切换到我们创建好的 jdbc catalog

mysql> switch jdbc;
Query OK, 0 rows affected (0.00 sec)

查看 jdbc catalog 下的数据库

 show databases;

image.png

切换数据库

mysql> use demo;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed

查看数据库下的表

image.png

查看表结构

 desc order_analysis;

image.png

查询表

select date,user_src,order_src from order_analysis limit 2;

image.png

下面你就可以通过这个，创建Doris的OLAP表将MySQL的表通过下面这种方式导入到Doris表里

insert into select * from
你也可以很轻松的使用 JDBC Mutil Catalog方式将MySQL表和Doris表进行关联分析，而不需要创建外表

我们来使用jdbc mutil catalog 外表，使用create table as select方式创建一个doris olap表并将外表的数据导入到doris里

create table demo.order_analysis_3 
PROPERTIES("replication_num" = "1")  
as select * from jdbc.demo.order_analysis;

上面这个sql 我们是通过 jdbc mutil catalog 外表的 jdbc.demo.order_analysis;

这里以 JDBC Mutil Catalog方式演示了Mutil Catalog方式的使用，其他Hive、Hudi、Iceberg及ES使用方法一样，具体可以参照官方文档：https://doris.apache.org/zh-CN/docs/dev/ecosystem/external-table/multi-catalog

后面我们也将持续的将其他的DB融合到Mutil Catalog内，为用户提供更方便、更快捷的使用体验