flink1.11

实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例

在Flink1.11中，可以通过flink-cdc-connectors项目提供的changelog-jsonformat来实现该功能。
大数据技术与数仓·2021-04-15 07:32

聊一聊Flink 写 Hive 的小文件问题

背景Flink1.11引入了写Hive的功能后，已经在上线了一段时间。下面就聊聊我自己对Flink写Hive小文件的一些问题和看法。问题1：1.Flink写Hive可能会产生小文件吗？
ASFJGKL·2021-03-12 11:23

使用Spark sql 合并 Flink 写Hive表的小文件

1.背景Flink1.11支持写直接写入Hive后，流批一体进一步实现。
ASFJGKL·2021-03-11 19:40

Fink Sql Hive维表Join

Flink1.11支持与Hive表的Join，Flink1.11官方文档如下图所示。根据官方文档：1.hive表会缓存到TM内存，所以join的hive表不宜太大。
ASFJGKL·2021-03-11 15:24

Flink1.12新特性之Flink SQL中时态表（Temporal Tables）说明和总结

前言Flink1.12正式发布后，带来了很多新的特性，本文重点学习和总结一下Flink1.11和Flink1.12中时态表的使用和自己的一个小总结，文章如有问题，请大家留言交流讨论，我会及时改正。
俩只猴·2021-01-24 02:12

实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例

在Flink1.11中，可以通过flink-cdc-connectors项目提供的changelog-jsonformat来实现该功能。
大数据技术与数仓·2021-01-13 20:00

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
ApacheFlink·2020-12-21 11:08

基于 Flink SQL CDC 的实时数据同步方案

作者：伍翀(云邪)整理：陈政羽（Flink社区志愿者）Flink1.11引入了FlinkSQLCDC，CDC能给我们数据和业务间能带来什么变化？
ApacheFlink·2020-12-21 11:07

Apache Flink 1.12.0 升级说明

就在刚才ApacheFlink社区宣布Flink1.12.0版本正式发布了,从这个版本开始真正的流批一体又往前迈了一大步.ReleaseNotes-Flink1.12这些发布说明讨论了在Flink1.11
JasonLee-后厂村程序员·2020-12-11 09:00

oracle和mysql数据实时同步_基于 Flink SQL CDC 的实时数据同步方案

作者：伍翀(云邪)整理：陈政羽（Flink社区志愿者）Flink1.11引入了FlinkSQLCDC，CDC能给我们数据和业务间能带来什么变化？
weixin_39796116·2020-11-30 10:14

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
阿里云云栖号·2020-11-18 11:15

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
阿里云云栖号·2020-11-18 11:59

Flink 1.11 与 Hive 批流一体数仓实践

导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。
ApacheFlink·2020-11-13 11:23

基于 Flink SQL CDC 的实时数据同步方案

作者：伍翀(云邪)整理：陈政羽（Flink社区志愿者）Flink1.11引入了FlinkSQLCDC，CDC能给我们数据和业务间能带来什么变化？
ApacheFlink·2020-11-13 11:51

基于 Flink SQL CDC 的实时数据同步方案 (developer.aliyun.com)

整理：陈政羽（Flink社区志愿者）Flink1.11引入了FlinkSQLCDC，CDC能给我们数据和业务间能带来什么变化？
·2020-11-09 00:00

基于 Flink SQL CDC 的实时数据同步方案

整理：陈政羽（Flink社区志愿者）Flink1.11引入了FlinkSQLCDC，CDC能给我们数据和业务间能带来什么变化？
浪尖聊大数据-浪尖·2020-11-03 08:00

Flink JDBC Connector：Flink 与数据库集成最佳实践

整理：陈政羽（Flink社区志愿者）摘要：Flink1.11引入了CDC，在此基础上，JDBCConnector也发生比较大的变化，本文由ApacheFlinkContributor，阿里巴巴高级开发工程师徐榜江
程序员小陶·2020-10-30 11:00

flink1.11针对反压背压的优化

背景:最近flink发布新版本1.11,除了优化旧版本已有的缺陷,还增加了一些新功能,其中我发现有一些改变适合用于现在负责的flink项目我们当前的flink项目的问题是生成checkpoint失败较多,造成checkpoint失败的原因是某几个subtask的快照超时导致整体的checkpoint生成失败,随着每天的处理的任务越多,这个问题越发突显出来,而后果是:引用的答案:目前的Checkpo
feng504x·2020-10-23 09:42

Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据

Flink1.11最重要的Feature——HiveStreaming之前已经和大家分享过了，今天就和大家来聊一聊另一个特别重要的功能——CDC。CDC概述何为CDC？
ApacheFlink·2020-10-10 01:18

Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据

Flink1.11最重要的Feature——HiveStreaming之前已经和大家分享过了，今天就和大家来聊一聊另一个特别重要的功能——CDC。CDC概述何为CDC？
ApacheFlink·2020-10-09 13:40

都在这儿了！5月 Flink 社区发版、更新汇总

这一次，我们要为Flink1.11热身，然后回溯Flink社区的四月份——发布了StatfulFunctions2.0、一个新的自定进度的Flink培训以及一些旨在改善Flink文档体验的工作。
Ververica·2020-09-16 00:09

flink的三种部署方式的思考

一.目前最新版本flink中的flink1.11支持启动模式：（1）以下三种是不同的基于yarn或者其他资源管理器的部署方式sessionmode：启动一个flinkcluster对应yarn上一个applicationId
足页·2020-09-14 04:58

Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据

Flink1.11最重要的Feature——HiveStreaming之前已经和大家分享过了，今天就和大家来聊一聊另一个特别重要的功能——CDC。CDC概述何为CDC？
阿里云云栖号·2020-09-13 14:26

Flink SQL 1.11 新功能与最佳实践

阿里巴巴技术专家伍翀（云邪）的分享，旨在帮助用户快速了解新版本Table&SQL在Connectivity和Simplicity等方面的优化及实际开发使用的最佳实践，主要分为以下四个部分：简要回顾Flink1.8~Flink1.11
木东居士·2020-09-13 04:04

Flink SQL CDC 13 条生产实践经验

摘要：7月，Flink1.11新版发布，在生态及易用性上有大幅提升，其中Table&SQL开始支持ChangeDataCapture（CDC）。
GOD_WAR·2020-09-11 06:23

Flink 1.1 报错：No ExecutorFactory found to execute the application

在迁移Flink到1.1的时候报错：NoExecutorFactoryfoundtoexecutetheapplication经查，原因是：从Flink1.11开始，移除了flink-streaming-java
技术大咖秀·2020-09-11 03:33

Flink1.11的CDC-Connectors操作记录

一，Flink1.11引入了CDC操作，在官网我们可以看到的是：1，Canalhttps://ci.apache.org/projects/flink/flink-docs-release-1.11/zh
黄瓜炖啤酒鸭·2020-09-11 02:48

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于FlinkSQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到：实时数仓的基本架构实时数仓的数据处理流程
西贝木土·2020-09-11 01:01

Flink SQL 1.11 新功能与最佳实践

阿里巴巴技术专家伍翀（云邪）的分享，旨在帮助用户快速了解新版本Table&SQL在Connectivity和Simplicity等方面的优化及实际开发使用的最佳实践，主要分为以下四个部分：简要回顾Flink1.8~Flink1.11
Ververica·2020-09-07 22:44

【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖

从Flink1.11开始，flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。
海鸥~·2020-09-03 09:45

官方剧透：1.11 发版前我们偷看了 Flink 中文社区发起人的聊天记录

Flink1.11即将Release啦！作为备受瞩目的新一代开源大数据计算引擎，Flink无疑已成为Apache基金会和GitHub最为活跃的项目之一。
ApacheFlink·2020-08-24 17:38

直播 | 即将发版的 Flink 1.11 有哪些重大变更？

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-08-22 15:19

flink教程-聊聊 flink 1.11 中新的水印策略

文章目录背景新的水印生成接口内置水印生成策略固定延迟生成水印单调递增生成水印event时间的获取处理空闲数据源背景在flink1.11之前的版本中，提供了两种生成水印（Watermark）的策略，分别是
大数据技术与应用实战·2020-08-21 07:41

Flink教程--flink 1.11 使用sql将流式数据写入hive

将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性.写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇.flink1.11
大数据技术与应用实战·2020-08-21 07:41

官方剧透：1.11 发版前我们偷看了 Flink 中文社区发起人的聊天记录

大数据文摘出品作者：魏子敏、笪洁琼Flink1.11即将Release啦！作为备受瞩目的新一代开源大数据计算引擎，Flink无疑已成为Apache基金会和GitHub最为活跃的项目之一。
Ververica·2020-08-21 06:48

深度解读 Flink 1.11：流批一体 Hive 数仓

Flink1.11features已经冻结，流批一体在新版中是浓墨重彩的一笔，在此提前对Flink1.11中流批一体方面的改善进行深度解读，大家可期待正式版本的发布。
Ververica·2020-08-21 06:48

【Flink1.11新特性】DataGen和print方便测试

利用datagenconnector生成数据利用printconnector把结果打印在控制台，方便查看结果测试packagecom.otis.scala.testimportorg.apache.flink.streaming.api.TimeCharacteristicimportorg.apache.flink.streaming.api.environment.StreamExecutio
吸血鬼尼克·2020-08-21 06:41

flink1.11.0基于java代码实现Application模式的踩坑总结

flink1.11提出了一种新的部署模式：Application模式以下是在application模式中，通过java代码提交任务遇到的问题以及一些总结：一、SubmitJobApplicationMode1
擎天峰·2020-08-21 05:00

flink1.11中Application 模式提交任务 yarn报错

flink1.11中Application模式提交任务到yarn时，提示报错信息：java.lang.RuntimeException:Couldn’tdeployYarnsessionclusterTheYARNapplicationunexpectedlyswitchedtostateFAILEDduringdeployment
擎天峰·2020-08-21 05:00

Flink1.11 读取kafka数据写入hive，未完待续

昨天晚上Flink1.11出了，这次改动很多，我只关心hive这一部分。目前尝试了几个小时用代码读取hive，安装官网的文档，没成功，先蹭个热点，记录下。
黄瓜炖啤酒鸭·2020-08-21 04:13

flink1.11 学习篇--DataStream API

什么能被转化成流？Flink的Java和ScalaDataStreamAPI可以将任何可序列化的对象转化为流。Flink自带的序列化器有基本类型，即String、Long、Integer、Boolean、Array复合类型：Tuples、POJOs和Scalacaseclasses而且Flink会交给Kryo序列化其他类型。也可以将其他序列化器和Flink一起使用。特别是有良好支持的Avro。Ja
大D饲养员·2020-08-21 04:55

直播 | 即将发版的 Flink 1.11 有哪些重大变更？

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-08-21 02:18

周末直播|Flink、Hologres、AI等热门话题全都安排！

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-08-21 02:18

Flink1.11中Application模式java代码启动遇到的一些问题以及解决方案

Flink1.11通过java代码方式运行Application模式遇到的问题及解决方案：1.flink-yarn_2.11-1.11.0.jar与maven导入jar包冲突pom找到对应的dependency
擎天峰·2020-08-21 02:03

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于FlinkSQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到：实时数仓的基本架构实时数仓的数据处理流程
西贝木土·2020-08-20 17:14

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于FlinkSQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到：实时数仓的基本架构实时数仓的数据处理流程
西贝木土·2020-08-20 17:14

Flink1.11中的CDC Connectors操作实践

Flink1.11引入了CDC的connector，通过这种方式可以很方便地捕获变化的数据，大大简化了数据处理的流程。
西贝木土·2020-08-20 17:34

Flink1.11中的CDC Connectors操作实践

Flink1.11引入了CDC的connector，通过这种方式可以很方便地捕获变化的数据，大大简化了数据处理的流程。
西贝木土·2020-08-20 17:33

Flink x Zeppelin ，Hive Streaming 实战解析

Flink1.11正式发布已经三周了，其中最吸引我的特性就是HiveStreaming。
ApacheFlink·2020-08-20 17:19

Flink x Zeppelin ，Hive Streaming 实战解析

Flink1.11正式发布已经三周了，其中最吸引我的特性就是HiveStreaming。
ApacheFlink·2020-08-20 17:19
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他