数据分析小结：使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换

作者：吴云涛，腾讯 CSIG 高级工程师

 在这个数据爆炸的时代，企业做数据分析也面临着新的挑战, 如何能够更高效地做数据准备，从而缩短整个数据分析的周期，让数据更有时效性，增加数据的价值，就变得尤为重要。将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程（即 ETL 过程），则需要开发人员则需要掌握 Spark、Flink 等技能，使用的技术语言则是 Java、Scala 或者 Python，一定程度上增加了数据分析的难度。而 ELT 过程逐渐被开发者和数据分析团队所重视，如果读者已经非常熟悉 SQL，采用 ELT 模式完成数据分析会是一个好的选择，比如说逐渐被数据分析师重视的 DBT 工具，便利用了 SQL 来做数据转换。DBT 会负责将 SQL 命令转化为表或者视图，广受企业欢迎。此外使用 ELT 模式进行开发技术栈也相对简单，可以使数据分析师像软件开发人员那样方便获取到加工后的数据。

 Flink SQL 可以说是对 ELT 模式的一种支持，避免了使用 Java/Scala/Python 编程语言进行开发的复杂性。并且 Flink SQL 采用的是开源的  Apache Calcite 来实现对标准 SQL 语法的支持，没有额外的 SQL 语法学习成本。腾讯云 流计算 Oceanus[1] 是基于 Apache Flink 构建的企业级实时大数据分析平台，提供了可视化的 SQL 作业，降低了数据分析团队的数据获取难度。数据分析团队只对 SQL 熟悉也能完成数据的清洗与分析工作，使团队更专注业务数据的分析工作。Flink SQL 作业的创建，可参考之前的文章 Flink 实践教程：入门 1-零基础用户实现简单 Flink 任务[2]。本文主要对数据转换过程中 Flink SQL 作业中常用的类型转换函数进行了总结。 

常用类型转换函数

• CAST(value AS type)   将某个值转为 type 类型。  type 类型可参考 Flink 官方网站 Data Types[3] 章节。 

  示例测试语句： SELECT CAST(var1 AS VARCHAR) FROM Test;  

  测试数据和结果：  

  测试数据（INT var1）	测试结果 VARCHAR
  58	'58'

• CAN_CAST_TO(str, type)  判断 str 字符串是否可以被转换为 type 指定的类型，返回值为布尔型。返回值可以在 CASE 语句中作为条件使用。 

  示例测试语句： SELECT CAN_CAST_TO(var1, type) FROM Test;  测试数据和结果：True  

  测试数据（VARCHAR var1）	测试数据（VARCHAR type）	测试结果（BOOLEAN）
  123456	INTEGER	true

• DATE_FORMAT_SIMPLE(timestamp, simple_format)  将 BIGINT（long）类型的字段（必须是以毫秒为单位的 Unix 时间戳）以 Java 的 SimpleDateFormat 支持的时间格式化模板转为字符串形式（输出时区为：GMT+8）。 

  示例测试语句： SELECT DATE_FORMAT_SIMPLE(unix_ts, 'yyyy-MM-dd HH:mm:ss') FROM Test;  测试数据和结果：    

  测试数据（unix_ts）	测试结果 VARCHAR
  1627997937000	2021-08-03 21:38:57

• DATE_FORMAT(timestamp, format)  将 Timestamp 类型的字段以 Java 的 SimpleDateFormat 支持的时间格式化模板转为字符串形式。 

  示例测试语句： SELECT DATE_FORMAT(timestamp, format) FROM Test;  测试数据和结果：  

  测试数据（timestamp）	测试数据（format）	测试结果 VARCHAR
  2021-01-01 12:13:14	yyMMdd	210101
  2021-01-01 12:13:14	yyyyMMdd	20210101

  TIMESTAMP_TO_LONG(timestamp) 或 TIMESTAMP_TO_LONG(timestamp, mode)  将某个 TIMESTAMP 类型的参数转为 BIGINT (Long) 类型的值。若 mode 为 'SECOND'，则转为以秒来计数的 Unix 时间戳，例如1548403425。若 mode 为其他值或者省略，则转为以毫秒计数的 Unix 时间戳，例如1548403425512。

• UNNEST 列转换为行，常常用于 Array 或者 Map 类型。将某1个字段数据转为多个。示例测试语句： SELECT userId, productImage FROM Test1, UNNEST(productImages) as t(productImage);  

其中 productImages 为 Test1 表中 ARRAY 类型字段。UNNEST 函数也可以用 UDTF 函数替代，可参考文章 《Flink 实践教程:进阶9-自定义表值函数（UDTF）》。  测试数据和结果：  

测试数据（userId INT, productImages ARRAY）	测试结果(INT, VARCHAR)
100, ['image1', 'image2']	100, 'image1'100, 'image2'

其他类型转换函数

• DATE string  以“yyyy-MM-dd”的形式返回从字符串解析的 SQL 日期。 

• TIME string  以“HH:mm:ss”的形式返回从字符串解析的 SQL 时间。 

• TIMESTAMP string  以“yyyy-MM-dd HH:mm:ss[.SSS]”的形式返回从字符串解析的 SQL 时间戳。 

• UNIX_TIMESTAMP(string1[, string2])  使用表配置中指定的时区将格式为 string2 的日期时间字符串 string1（如果未指定默认情况下：yyyy-MM-dd HH:mm:ss） 转换为 Unix 时间戳（以秒为单位）。

• TO_DATE(string1[, string2])  将格式为 string2（默认为 ‘yyyy-MM-dd’）的字符串 string1 转换为日期。

• TO_TIMESTAMP_LTZ(numeric, precision)  将纪元秒或纪元毫秒转换为 TIMESTAMP_LTZ，有效精度为 0 或 3，0 代表 TO_TIMESTAMP_LTZ(epochSeconds, 0)， 3 代表TO_TIMESTAMP_LTZ(epochMilliseconds, 3)。

• TO_TIMESTAMP(string1[, string2])  将 ‘UTC+0’ 时区下格式为 string2（默认为：‘yyyy-MM-dd HH:mm:ss’）的字符串 string1 转换为时间戳。 

总结  

参考 Flink 官方网站实现其他类型的字段处理，具体参考 Flink 系统（内置）函数[4]。我们也可以通过用户自定义函数（UDX）：自定义标量函数（UDF）、自定义表值函数（UDTF）、自定义聚合函数（UDAF）来完成更复杂的 Flink SQL 作业的数据处理工作，具体参考之前的文章 Flink 实践教程:进阶8-自定义标量函数（UDF）[5] 等。   

阅读参考：

[1] 流计算 Oceanus: https://cloud.tencent.com/product/oceanus  

[2] Flink 实践教程：入门 1-零基础用户实现简单 Flink 任务：https://cloud.tencent.com/developer/article/1895677  

[3] Flink Data Types: https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/table/types/  

[4] Flink 系统（内置）函数：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/table/functions/systemfunctions/  

[5] Flink 实践教程:进阶8-自定义标量函数（UDF）：https://cloud.tencent.com/developer/article/1946320