制胜Flink

【Flink-Kafka-To-ClickHouse】使用 Flink 实现 Kafka 数据写入 ClickHouse

【Flink-Kafka-To-ClickHouse】使用Flink实现Kafka数据写入ClickHouse1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2
bmyyyyyy·2023-12-22 07:03

如何知道你的商业模式到底靠不靠谱？ ——商业模式的评估和改进

著名经济学家郎咸平认为：“商业模式是关系到企业生死存亡，兴衰成败的大事，企业要想获得成功就必须从制定成功的商业模式开始，新成立的企业是这样，发展期的企业更是如此，商业模式是企业竞争制胜的关键，是商业的本质
rag丶抹布·2023-12-22 07:11

Flink中的事件语义和watermark机制

Flink中的事件语义和watermark机制【[白话解析]Flink的Watermark机制】：https://www.cnblogs.com/rossiXYZ/p/12286407.html一、Flink
Anthons·2023-12-22 06:03

Flink系列之：Savepoints

Flink系列之：Savepoints一、Savepoints二、分配算子ID三、Savepoint状态四、算子五、触发Savepoint六、Savepoint格式七、触发Savepoint八、使用YARN
最笨的羊羊·2023-12-22 06:56

Flink系列之：Checkpoints 与 Savepoints

Flink系列之：Checkpoints与Savepoints一、概述二、功能和限制一、概述从概念上讲，Flink的savepoints与checkpoints的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异
最笨的羊羊·2023-12-22 06:56

Flink系列之：Checkpoints

Flink系列之：Checkpoints一、概述二、保留Checkpoint三、目录结构四、通过配置文件全局配置五、创建statebackend对单个作业进行配置六、从保留的checkpoint中恢复状态一
最笨的羊羊·2023-12-22 06:26

Flink系列之：背压下的检查点

Flink系列之：背压下的检查点一、Checkpointingunderbackpressure二、缓冲区Debloating三、非对齐Checkpoints四、对齐Checkpoint的超时五、限制六
最笨的羊羊·2023-12-22 06:54

21天｜森林浅浅少女心组合《出奇制胜》

【Day20】今日阅读《出奇制胜》，P188-246（终）;今天终于如期完成了本书的阅读，最后两章读得欲罢不能，意犹未尽。原来这就是一飞冲天的关键。
Sylvia梦回星空下·2023-12-22 05:01

数字时代的守护神：揭秘为何迅软DSE加密软件成为企业克敌制胜的关键

由于全球范围内数据泄密事件的不断发生，让越来越多的企业管理者不得不重视起对公司数据的安全保护，这使加密软件成为众多企业的首选手段。那么它究竟是有什么强大的功能，为什么大部分企业都选择它来防止数据泄露呢？因为在信息化时代，数据资产是企业最有价值的资产，如果企业不重视，一旦发生数据泄露，会给企业带来巨大的损失。因此才有众多企业选择使用数据加密软件来保护公司的数据。加密软件可以对企业的数据文件进行透明加
迅软科技总部·2023-12-22 00:04

Flink 的一些概念备忘

Flink:三种窗口：1，滚动，就是5分钟，再5分钟；2，滑动窗口，固定一个长度，然后slide，会有很多overlap，比如5分钟长度，1分钟滑动。
NazgulSun·2023-12-21 21:42

Flink电商实时数仓（三）

DIM层代码流程图维度层的重点和难点在于实时电商数仓需要的维度信息一般是动态的变化的，并且由于实时数仓一般需要一直运行，无法使用常规的配置文件重启加载方式来修改需要读取的ODS层数据，因此需要通过Flink-cdc
十七✧ᐦ̤·2023-12-21 18:48

2023大数据应用开发赛题02套

目录2023年全国职业院校技能大赛赛题第02套任务A：大数据平台搭建（容器环境）（15分）子任务一：Hadoop完全分布式安装配置子任务二：Flume安装配置子任务三：FlinkonYarn安装配置任务
长风有续X·2023-12-21 17:54

flink学习day04：对Event Time 与 Watermark的理解

☑带大家零基础入门flink：▶flink学习day01：Flink基础入门（含案例）▶flink学习day02:：datasource、transforma和sink▶flink学习day03：flinkdatastream
黑马程序员官方·2023-12-21 17:53

2023大数据应用开发赛题03套

离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二：推荐系统任务D：数据采集与实时计算（20分）子任务一：实时数据采集子任务二：使用Flink
长风有续X·2023-12-21 17:52

2022-06-23-Flink-51(三. SQL手册)

1.函数类型函数|ApacheFlinkFlink中的函数有两个划分标准一个划分标准是：系统（内置）函数和Catalog函数。系统函数没有名称空间，只能通过其名称来进行引用。
冰菓_lam·2023-12-21 16:46

Flink Checkpoint 和 Large State 调优

Overview为了使Flink应用程序能够可靠地大规模运行，必须满足两个条件：应用程序需要能够可靠地获取Checkpoint在发生故障后，需要足够的资源追上（catchup）输入数据流监控State和
Alex90·2023-12-21 13:54

基于 Flink 的典型 ETL 场景实现方案

目录1.实时数仓的相关概述1.1实时数仓产生背景1.2实时数仓架构1.3传统数仓vs实时数仓2.基于Flink实现典型的ETL场景2.1维表Join■2.1.1预加载维表方案1：方案2：■2.1.2热存储关联
话数Science·2023-12-21 11:59

数据中台之旅(五)数据开发介绍

功能介绍数据开发包含:作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发
belialxing·2023-12-21 09:59

这7本书让你成为更好的自己

1、亚当∙摩根《吃大鱼》像第一名一样思考，挑战者品牌八大制胜法则这本书讲的是小品牌如何挑战行业巨无霸，作者亚当∙摩根举了大量案例和实用性建议，来说明挑战者品牌需要信奉的八大信条。
发酵菌书单·2023-12-21 09:54

一文学会 Apache Zeppelin

github.com/apache/zeppelinZeppelinJIRA：https://issues.apache.org/jira/projects/ZEPPELIN/summaryZeppelin文档FlinkonZeppelin
跟着大数据和AI去旅行·2023-12-21 08:37

实时化与 Serverless 是开源大数据 3.0 时代的必然选择

近日在2023云栖大会上，阿里云开源大数据产品进行了年度发布：E-MapReduce、Elasticsearch等开源大数据产品全面Serverless化；创新性推出Flink与Paimon搭档的新一代流式湖仓
阿里云大数据AI技术·2023-12-21 08:00

【Flink-Kafka-To-Hive】使用 Flink 实现 Kafka 数据写入 Hive

【Flink-Kafka-To-Hive】使用Flink实现Kafka数据写入Hive1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3
bmyyyyyy·2023-12-21 07:51

Flink 窗口（1）—— 基础概念

这就相当于将无界流的聚合转化为了有界数据集的聚合Flink“存储桶”在Flink中，窗口可以把流切割成有限大小的多个“存储桶”（bucket)；每个数据都会分发到对应的桶中，当到达窗口结束时间时，就对每个桶中收集的数据进行计算处理窗口处理过程
THE WHY·2023-12-21 07:48

FlinkSQL

动态表是Flink在TableAPI和SQL中的核心概念，它为流数据处理提供了表和SQL支持。
Stephen6Yang·2023-12-21 07:40

Spring 6（一）【Spring 入门】

Flink按说应该是大数据学习的主线任务，但是长时间学一门技术还是心累的。正好之前对Java注解有了进一步的熟悉，一直想着熟悉巩固。
让线程再跑一会·2023-12-21 07:05

Flink（十）【处理函数】

今天学习Flink处理函数，学完这一块就剩状态管理、容错机制和FlinkSQL了，坚持坚持。学完再好好回顾回顾，最后就是把剩余的一些框架（Kafka、Flume等）补齐
让线程再跑一会·2023-12-21 07:30

Flink消费Redis Stream数据

前言对于流处理，感觉flink近乎苛刻的只对kafka友好。当然我对kafka也有天然的好感，但是相对于redis而言，kafka还是稍显复杂了一些。我们的生产环境中没有kafka，只有redis。
iFence·2023-12-21 06:08

Flink学习1——运行时架构(standalone模式)

本篇主要讲述FlinkStandalone模式下的运行时架构以及各个组件负责的功能，Flink的运行方式有很多，但都大同小异，本文基本可以满足对flink运行时架构的学习。
iFence·2023-12-21 06:07

Flink join（流流）详解（一）

本文基于flink1.11进行测试。前言这里所说的join是两个或者多个流的join，涉及流批join的内容或者批批join会另写一篇文章专门说。
iFence·2023-12-21 06:37

Flink process function使用详解

前言processfunction是flink中比较底层的函数。能够实现一些高层函数无法实现的功能。
iFence·2023-12-21 06:37

Flink SQL流表与维表join实践

想要使用FlinkSQL的方式join两张表，静态维表的作用类似一张字典表。流表源源不断的来数据，然后去内存中查询字典将流表的数据更新然后插入到MySQL数据库中。
iFence·2023-12-21 06:37

Flink 流表与维表join（流批join）——使用异步IO（async io）实现

前言之前的文章中讲过了Flink流流join也讲过了翻车版本的流批join。为什么翻车了，那篇文章也说了。如果事实表和维度表进行join，Flink会认为这是一个批处理程序。也就是说程序会自己暂停。
iFence·2023-12-21 06:37

flink 1.11 广播状态（Broadcast State）的使用

flink的join算子也是基于广播状态来实现的。需求这里使用flink逛网提供的需求：一个流中包含的事件Item，Item中包含两个属性，一个为Color，一个为Shape。
iFence·2023-12-21 06:07

Flink累加器、计数器的使用

Flink累加器的结果只能在作业结束以后才能得到。这就意味着，如果是一个一直不间断执行的流处理程序是无法得到累加器结果的。只有批处理成功，也就是会结束的flink程序才能得到累加器结果。
iFence·2023-12-21 06:07

【已解决 Flink Java API问题】The return type of function ‘xxx‘ could not be determined automatically

FlinkJavaAPI不像ScalaAPI可以随便写lambda表达式，写完以后需要使用returns方法显式指定返回值类型，否则会报下面错误，大概意思就是说Java的lambda表达式不能提供足够的类型信息
iFence·2023-12-21 06:07

Flink1.11 事件时间（event time）、watermark、watermarkstrategy使用详细案例

前言flink1.11中有了新版的指定watermark和watermarkstrategyAPI。
iFence·2023-12-21 06:37

Flink利用process算子进行分流操作

需求kafka中存有从metricbeat收集的各种数据系统指标数据存到同一个topic中，但是各种指标数据不尽相同，这时候需要将相同结构的数据收集到一起分开处理，就用到了Flink的分流操作。
iFence·2023-12-21 06:36

flink sql1.18.0连接SASL_PLAINTEXT认证的kafka3.3.1

如下：version:"2.2"services:jobmanager:image:flink:1.18.0-scala_2.12container_name:jobmanagerports:-"7081
iFence·2023-12-21 06:33

Flink Table API 与 SQL 编程整理

FlinkAPI总共分为4层这里主要整理TableAPI的使用TableAPI是流处理和批处理通用的关系型API，TableAPI可以基于流输入或者批输入来运行而不需要进行任何修改。
程序猿进阶·2023-12-21 05:49

Flink CDC 系列（2）—— Flink CDC 源码编译

FlinkCDC系列文章：《FlinkCDC系列（1）——什么是FlinkCDC》《FlinkCDC系列（2）——FlinkCDC源码编译》《FlinkCDC系列（3）——FlinkCDCMySQLConnector
修破立生·2023-12-21 01:08

「Java工具类」BeanCopyUtil对象复制工具类

通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka、flink
程序员阿宁·2023-12-21 01:37

Flink CDC

一、什么是CDC?  CDC是ChangeDataCapture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。二、CDC种类  CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：基于查询的CDC基于Binlog的CDC开源产品S
满床清梦覆星河·2023-12-21 01:06

Flink系列之：基于Flink CDC2.0实现海量数据的实时同步和转换

Flink系列之：基于FlinkCDC2.0实现海量数据的实时同步和转换一、CDC技术二、FlinkCDC技术三、传统数据集成方案的痛点1.传统数据入仓架构1.02.传统数据入仓架构2.03.传统CDCETL
最笨的羊羊·2023-12-20 23:48

Iceberg （一、presto和trino实践——行级更新）

为什么先讲述presto和trino引擎操作，主要是这两个组件没有找到详细介绍的文档，另外关于spark/flink会有更多的文章
yyoc97·2023-12-20 23:18

Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架

01FlinkCDC概述FlinkCDC是基于数据库日志CDC（ChangeDataCapture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性
Apache Flink·2023-12-20 23:16

Flink CDC 系列 - 同步 MySQL 分库分表，构建 Iceberg 实时数据湖

这篇教程将展示如何使用FlinkCDC构建实时数据湖来应对这种场景，本教程的演示基于Docker，只涉及SQL，无需一行Java/Scala代码，也无需安装IDE，你可以很方便地在自己的
四月天03·2023-12-20 23:16

Flink CDC同步 MySQL 分库分表分片数据

只需要在创建flink源表时在数据库和表名上使用正则匹配即可。
shy_snow·2023-12-20 23:16

Flink cdc3.0同步实例（动态变更表结构、分库分表同步）

文章目录前言准备flink环境docker构建mysql、doris环境数据准备通过FlinkCDCcli提交任务整库同步同步变更路由变更路由表结构不一致无法同步结尾前言最近FlinkCDC3.0发布，
yyoc97·2023-12-20 23:39

Flink高可用集群搭建

部署flink的准备工作flink版本的选择需要考虑hadoop的版本，本集群hadoop的版本为2.7.4,flink的版本为flink-1.7.2-bin-hadoop27-scala_2.11.tgzflink
NikolasNull·2023-12-20 23:44

Flink系列之：监控Checkpoint

Flink系列之：监控Checkpoint一、概览二、概览（Overview）选项卡三、历史记录（History）选项卡四、历史记录数量配置五、摘要信息（Summary）选项卡六、配置信息（Configuration
最笨的羊羊·2023-12-20 22:21
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他