【Flink】流执行引擎中的Table API与SQL应用（2.将DataStream中的数据写入Flink表中 ）

将DataStream中的数据写入Flink表中

1. 在流处理引擎中创建表执行环境

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment tableenv = TableEnvironment.getTableEnvironment(env);

2.1 方法一：将DataStream中的数据写入表

DataStream<String> ds = env.readTextFile("E:\\IDEAProject\\Flink_Case\\FlinkDemo\\src\\main\\java\\gongcheng21\\datasets\\words.txt");
tableenv.registerDataStream("words",ds);

words.txt数据如下

hello python
hello c
hello c++
hello c#
hello java
hello javascript
hello scala

2.2 方法二：将DataStream转换为Table，再将Table声明到Flink中

DataStream<String> ds = env.readTextFile("E:\\IDEAProject\\Flink_Case\\FlinkDemo\\src\\main\\java\\gongcheng21\\datasets\\words.txt");
Table t_ds = tableenv.fromDataStream(ds);
tableenv.registerTable("words",t_ds);

3. 查看表数据并将表数据信息打印在控制台

Table t1 = tableenv.scan("words");
DataStream<String> words_ds = tableenv.toAppendStream(t1,String.class);
words_ds.print();
env.execute();

4.1 方法一的完整代码

// 流执行引擎
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 表执行引擎
StreamTableEnvironment tableenv = TableEnvironment.getTableEnvironment(env);

/*
表注册: registerDataStream
 */
// 从txt文件中读取数据到DataStream中
DataStream<String> ds = env.readTextFile("E:\\IDEAProject\\Flink_Case\\FlinkDemo\\src\\main\\java\\gongcheng21\\datasets\\words.txt");
// 在Flink注册一张表，并将DataStream的数据写入表中
tableenv.registerDataStream("words",ds);

// 查看表数据
Table t1 = tableenv.scan("words");
// 将表数据写入DataStream中（将Table转换为DataStream）
DataStream<String> words_ds = tableenv.toAppendStream(t1,String.class);
// 将表数据打印在控制台
words_ds.print();
env.execute();

4.2 方法二的完整代码

// 流执行引擎
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 表执行引擎
StreamTableEnvironment tableenv = TableEnvironment.getTableEnvironment(env);

/*
表注册: fromDataStream + registerTable
 */
// 从txt文件中读取数据到DataStream中
DataStream<String> ds = env.readTextFile("E:\\IDEAProject\\Flink_Case\\FlinkDemo\\src\\main\\java\\gongcheng21\\datasets\\words.txt");
// 将DataStream转换成Table
Table t_ds = tableenv.fromDataStream(ds);
// 将Table声明到Flink中
tableenv.registerTable("words",t_ds);

// 查看表数据
Table t1 = tableenv.scan("words");
// 将表数据写入DataStream中（将Table转换为DataStream）
DataStream<String> words_ds = tableenv.toAppendStream(t1,String.class);
// 将表数据打印在控制台
words_ds.print();
env.execute();