制胜Flink 第96页

演创~夜间日记

2.听书«出奇制胜»没有做思维导图，以及是学习理财课程加写作课程没有做笔记输出。

八也阅读·2023-08-17 15:32

Flink的常用算子以及实例

1.map特性：接收一个数据，经过处理之后，就返回一个数据1.1.源码分析我们来看看map的源码map需要接收一个MapFunction的对象，其中泛型T表示传入的数据类型，R表示经过处理之后输出的数据类型我们继续往下点，看看MapFunction的源码这是一个接口，那么在代码中，我们就需要实现这个接口1.2.案例那么我们现在要实现一个功能，就是从给一个文件中读取数据，返回每一行的字符串长度。我们

Bobby Wang·2023-08-17 15:41

kubectl 常见命令

kubectlexec-itsession-deployment-only-77b7687698-lsnb6/bin/bash-nflinkkubectlapply-ftestpull.yaml-nflinkkubectldelete-ftestpull.yaml-nflinkkubectlgetpod-nflinkkubectlcreatesecretdocker-registryflink14

wangqiaowq·2023-08-17 14:09

Flink on k8s 环境搭建(一)

Flinkonk8s环境搭建(二)_wangqiaowq的博客-CSDN博客FlinkonYarn的环境搭建过程中，需要进行配置较多，且需要搭建zookeeperHadoopYarn等相关组件，安装流程比较复杂

wangqiaowq·2023-08-17 14:08

使用 JMX-Exporter 监控 Kafka 和 Zookeeper

JVM默认会通过JMX的方式暴露基础指标，很多中间件也会通过JMX的方式暴露业务指标，比如Kafka、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink等等。

·2023-08-17 12:24

2021-03-01

心态是投资朋友制胜最重要的法宝，比一次交易盈利更宝贵。操作接连失利之后，做单心态方面受到的影响较大，首先需要做的就是调整好心态，否则，急急忙忙再次入场或者犹犹豫豫不敢入场对我们来讲，都是亏损。

王瑱说币·2023-08-17 12:25

flinksql实时统计程序背压延迟优化

问题：flinkcdc+flinksql做实时读取sls日志和实时统计业务指标，今天发现程序背压了，业务延迟了6个小时。

小卢的博客·2023-08-17 10:46

Flink on K8s简单实现

采用将程序Jar包上传的Flink镜像中的方式，使用FlinkOnK8sStandalone模式一、编写Dockerflieimage.pngFROMflink:1.12-scala_2.11-java8COPY

一根很帅的藤藤菜·2023-08-17 09:26

【Flink小试】Flink CDC DataStream API监听MySQL动态发往Kafka Topic

[toc]一、背景业务背景:MySQL增量数据实时更新同步到Kafka中供下游使用查看了一下FlinkCDC的官方文档，其中Features的描述中提到了SQL和DataStreamAPI不同的支持程度

fantasticMao·2023-08-17 08:58

flink使用16-正确打包Flink程序并使用Cli提交任务

本文的计划是使用正确的maven插件打包当前教程代码库batch模块下的WordCount代码，并通过命令行的方式提交到Flink来启动任务。

CheckChe·2023-08-17 08:06

【实战02】flinksql mysql真正的批量插入

问题由来这个问题困扰两天了，一个很简单的flink任务，从kafka读出数据，然后开窗计算之后将结果存入mysql.数据量级：每秒70万条数据，按理说数据量不断太大，但是sink端口一致产生被压问题。

笔生花·2023-08-17 06:21

Java双冒号(::)运算符详解

"::"是干嘛的4.建立一个Person类4:构建多个person对象,放入数组中,然后对数组中的person重新排序5:揭秘"::"符号6.0方法引用的支持如下1.说明之前没用过::这个东西,今天看flink

笔生花·2023-08-17 06:20

纸上谈兵录之《百战奇略》1计战

法曰：「料敌制胜，计险厄远近，上将之道也。」汉末，刘先主在襄阳，三往求计于诸葛亮。亮曰：「自董卓造逆以来，天下豪杰并起，跨州连郡者不可胜数。

简一堂·2023-08-17 04:27

flink配置参数

flink-conf.yaml基础配置#jobManager的IP地址jobmanager.rpc.address:localhost#JobManager的端口号jobmanager.rpc.port

首席撩妹指导官·2023-08-16 21:41

Flink源码之State创建流程

StreamOperatorStateHandler在StreamTask启动初始化时通过StreamTaskStateInitializerImpl::streamOperatorStateContext会为每个StreamOperator创建keyedStatedBackend和operatorStateBackend，在AbstractStreamOperator中有个StreamOpera

ImproveJin·2023-08-16 21:10

Flink之Partitioner(分区规则)

Flink之Partitioner(分区规则)方法注释global()全部发往1个taskbroadcast()广播(前面的文章讲解过,这里不做阐述)forward()上下游并行度一致时一对一发送,和同一个算子连中算子的

飞天小老头·2023-08-16 21:40

Flink之Task解析

Flink之Task解析对Flink的Task进行解析前,我们首先要清楚几个角色TaskManager、Slot、Task、Subtask、TaskChain分别是什么角色注释TaskManager

飞天小老头·2023-08-16 21:39

Flink Unaligned Checkpoint 在 Shopee 的优化和实践

摘要：本文整理自TechLeadofShopeeFlinkRuntimeTeam范瑞，在FlinkForwardAsia2022核心技术的分享。

·2023-08-16 20:24

Flink CDC 在京东的探索与实践

摘要：本文整理自京东资深技术专家韩飞，在FlinkForwardAsia2022数据集成专场的分享。

·2023-08-16 20:22

CommunityOverCode Asia 议程上线｜Apache Flink 项目实践

Apache软件基金会的官方全球系列大会CommunityOverCodeAsia（原ApacheConAsia）首次中国线下峰会将于2023年8月18-20日在北京丽亭华苑酒店举办，会议将持续3天，设有17个论坛方向，共收集到150余个议题投稿，其中中文议题约110个，英文议题近40个。作为久负盛名的开源盛宴和开源界最具期待的大会之一，CommunityOverCodeAsia2023将聚集来自

·2023-08-16 20:51

TiDB数据库从入门到精通系列之六：使用 TiCDC 将 TiDB 的数据同步到 Apache Kafka

TiDB数据库从入门到精通系列之六：使用TiCDC将TiDB的数据同步到ApacheKafka一、技术流程二、搭建环境三、创建Kafkachangefeed四、写入数据以产生变更日志五、配置Flink消费

最笨的羊羊·2023-08-16 17:56

开源XL-LightHouse与Flink、ClickHouse之类技术相比有什么优势

Flink是一款非常优秀的流式计算框架，而ClickHouse是一款非常优秀的OLAP类引擎，它们是各自所处领域的佼佼者，这一点是毋庸置疑的。

·2023-08-16 17:53

喜报：Apache Flink 荣获 2023 年度 SIGMOD 系统奖 !!!

在6月18-23日召开的ACMSIGMOD2023峰会上，ApacheFlink荣获了本年度的系统奖（SystemsAward）。

·2023-08-16 15:58

深入理解Flink Mailbox线程模型

文章目录整体设计processMail1.CheckpointTigger2.ProcessingTimeTimerTriggerprocessInput兼容SourceStreamTask整体设计Mailbox线程模型通过引入阻塞队列配合一个Mailbox线程的方式，可以轻松修改StreamTask内部状态的修改。Checkpoint、ProcessingTimeTimer的相关操作（Runna

墨玉浮白·2023-08-16 15:28

OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案

摘要：本文整理自OceanBase架构师周跃跃，在FlinkForwardAsia2022实时湖仓专场的分享。

·2023-08-16 13:31

中电金信：技术实践｜Flink多线程实现异构集群的动态负载均衡

导语：ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

中电金信·2023-08-16 12:35

Agent生命周期管理框架—EasyAgent正式开源啦

同年FlinkX、FlinkStreamSQL相继上线，经过三年的发展，Star数分别达到2.2k和1.5k，位列Flink生态领域前茅，获得广泛的社区支持。

·2023-08-16 12:32

Flink SQL Exception -- Loading class `com.mysql.jdbc.Driver‘. This is deprecated. The new driver...

文章目录1、错误详情2、问题原因3、解决方案1、错误详情Loadingclass`com.mysql.jdbc.Driver'.Thisisdeprecated.Thenewdriverclassis`com.mysql.cj.jdbc.Driver'.ThedriverisautomaticallyregisteredviatheSPIandmanualloadingofthedrivercla

//承续缘_纪录片·2023-08-16 11:22

Flink SQL TopN

FlinkSQL对于批处理（Batch）和流处理（streaming）模式的SQL，都支持Top-N查询。Top-N查询可以根据指定列排序后获得前N个最小或最大值。并且该结果集还可用于进一步分析。

//承续缘_纪录片·2023-08-16 11:22

Flink 流式读写文件、文件夹

文章目录一、flink流式读取文件夹、文件二、flink写入文件系统——StreamFileSink三、查看完整代码一、flink流式读取文件夹、文件ApacheFlink针对文件系统实现了一个可重置的

//承续缘_纪录片·2023-08-16 11:52

新春寄语：新的一年踩准时机的制胜点

今天是新春牛年的第一天，你会怎样开始这一天呢？因为，好的开始等于成功了一半，这一天非常重要。01《时机管理》一书中，著名未来学家、趋势学家丹尼尔·平克为我们揭秘了“一切皆是时机”，他也提到：“不管做什么，我们都要充分利用起点的力量，力争有一个好的开始。”因为，在代表着某个周期“第一天”的日子，人们的动力开关会被重新开启。大年初一，无疑就是这样的一个特殊的日子。所以，我想请问你：你想怎样度过通往梦想

素心人生设计·2023-08-16 11:31

流批一体的近实时数仓的思考与设计

结合数据湖在Flink的应用和数据湖元数据类型的思考，探索了基于数据湖的FlinkSQL流批一体的实践，在流批一体SQL表达一致、结果一致性、流批任务分离、混合调度依赖等进行了设计和探索。

·2023-08-16 10:30

Flink 生产实践

FlinkHAFlinkHA的HighAvailabilityMode类中定义了是那种高可用性模式枚举:NONE:非HA模式ZOOKEEPER:基于ZK实现HAFACTORY_CLASS:自定义HA工厂类

一生逍遥一生·2023-08-16 06:49

Apache Hudi的流批一体架构实践某宝

一、前言当前公司的大数据实时链路如下图，数据源是MySQL数据库，然后通过BinlogQuery的方式消费或者直接客户端采集到Kafka，最终通过基于Spark/Flink实现的批流一体计算引擎处理，最后输出到下游对应的存储

写轮眼之大数据·2023-08-16 04:46

Flink CheckPoint 与 SavePoint 区别

checkpoint的生命周期由Flink管理，也就是说，checkpoint由Flink创建、拥有和释放–无需用户互动。

老鼠扛刀满街找猫@·2023-08-16 04:15

大数据面试(java)题库汇总

4flink组件，作业提交流程？4.1组件？4.2任务提交流程？4.2.1standalone提交流程？4.2.1YARN提交流程？4.3flink如何优化？java篇1反射概念1.1如何获取反射？

老鼠扛刀满街找猫@·2023-08-16 04:15

20191224《交易那些事》笔记1

带领一群出身贫寒的赤胆兄弟,从无到有,由弱变强,创建了一个自足的势力范围,三分天下,证明了仁者无敌的传统精神,并在一定程度上颠覆了厚黑必胜的政治理念和强者恒强、弱者恒弱的诸侯博弈方式,也对以曹操为代表的诡术制胜

芯雨诚·2023-08-16 04:17

突破大模型 | Alluxio助力AI大模型训练-成功案例（一）

Alluxio·2023-08-16 01:17

Jstorm到Flink 在今日头条的迁移实践转

本文内容如下：引入Flink的背景Flink集群的构建过程构建流式管理平台引入Flink的背景下面这幅图展示的是字节跳动公司的业务场景首先，应用层有广告，也有AB测，也有推送和数据仓库的一些业务。

生活的探路者·2023-08-16 00:34

Nebula Flink Connector 的原理和实践

摘要：本文所介绍NebulaGraph连接器NebulaFlinkConnector，采用类似Flink提供的FlinkConnector形式，支持Flink读写分布式图数据库NebulaGraph。

NebulaGraph·2023-08-15 22:58

Flink源码之StreamTask启动流程

每个ExecutionVertex分配Slot后，JobMaster就会向Slot所在的TaskExecutor提交RPC请求执行Task，接口为TaskExecutorGateway::submitTaskCompletableFuturesubmitTask(TaskDeploymentDescriptortdd,JobMasterIdjobMasterId,@RpcTimeoutTimeti

ImproveJin·2023-08-15 21:51

如何使用Spark/Flink等分布式计算引擎做网络入侵检测

如何使用Spark/Flink等分布式计算引擎做网络入侵检测引言16DistributedAbnormalBehaviorDetectionApproachBasedonDeepBeliefNetworkandEnsembleSVMUsingSpark17SparkconfigurationstooptimizedecisiontreeclassificationonUNSW-NB1518Adyn

不懂开发的程序猿·2023-08-15 21:20

大数据-玩转数据-Flink网页埋点PV统计

接下来我们就用Flink算子来实现PV的统计。二、测试数据准备把数据文件UserBehavior复制到proj

人猿宇宙·2023-08-15 18:28

从推动到拉动：研发效能提升的第一性原理

点击链接了解详情导语|随着企业业务的快速发展，产品迭代速度越来越成为企业发展制胜的关键因素。在业务迅速扩张之下，企业研发团队的规模也在不断壮大。

·2023-08-15 18:02

小米基于 Flink 的实时计算资源治理实践

摘要：本文整理自小米高级软件工程师张蛟，在FlinkForwardAsia2022生产实践专场的分享。

·2023-08-15 18:32

芒果 TV 基于 Flink 的实时数仓建设实践

一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段，14-19年为第一阶段，技术选型采用Storm/FlinkJava+SparkSQL

·2023-08-15 18:00

日常节省 30%计算资源：阿里云实时计算 Flink 自动调优实践

摘要：本文整理自阿里云开发工程师，ApacheFlinkContributor钟旭阳，在FlinkForwardAsia2022生产实践的分享。

·2023-08-15 18:46

Apache Flink 实时计算在美的多业务场景下的应用与实践

摘要：本文整理自美的集团实时数据负责人、资深数据架构师董奇，在FlinkForwardAsia2022主会场的分享。

·2023-08-15 18:40

关于 Apache Flink 和实时计算的最新动态、未来方向，你想知道的都在这里

FlinkForwardAsia2021即将于1月8日开启，除了80+干货议题，还有哪些内容值得关注？本文带你一探究竟！