制胜Flink

制胜绝招在这里！

近年来，随着制造业自身产业链和技术不断发展和成熟，制造企业国际化能力显著提升，同时鉴于国内市场激烈的竞争压力，企业开始主动寻求海外增长点，掀起一股“出海”热。国内制造领域各行各业纷纷扬帆起航，依托“造船出海”（在海外建立独资或合资公司、收购、并购海外公司）、“抱团出海”（企业携手出海，合作共赢）或者“借船出海”（借跨境电商在海外营销国内产品）等出海模式，我国制造业领域已有不少企业成功出海，实现“墙
鼎捷智造·2023-08-25 22:05

Flink流批一体计算（17）：PyFlink DataStream API之StreamExecutionEnvironment

DataStream的方式通过list对象创建使用DataStreamconnectors创建使用Table&SQLconnectors创建StreamExecutionEnvironment编写一个Flink
victory0508·2023-08-25 21:11

Flink流批一体计算（18）：PyFlink DataStream API之计算和Sink

目录1.在上节数据流上执行转换操作，或者使用sink将数据写入外部系统。2.FileSinkFileSinkFormatTypesRow-encodedFormatsBulk-encodedFormats桶分配滚动策略3.如何输出结果Print集合数据到客户端，execute_and_collect方法将收集数据到客户端内存将结果发送到DataStreamsinkconnector将结果发送到Ta
victory0508·2023-08-25 21:08

大数据-玩转数据-Flink时间滚动动窗口

一、说明时间窗口包含一个开始时间戳(包括)和结束时间戳(不包括),这两个时间戳一起限制了窗口的尺寸.在代码中,Flink使用TimeWindow这个类来表示基于时间的窗口.这个类提供了key查询开始时间戳和结束时间戳的方法
人猿宇宙·2023-08-25 19:36

Flink Checkpoint机制解析-代码走读

Flink的Checkpoint机制是Flink容错能力的基本保证，能够对流处理运行时的状态进行保存，当故障发生时，能够备份的状态中还原。
biggeng·2023-08-25 18:03

Flink 上下游算子并发之间的数据传递方式

DataStream上游算子向下游算子发送数据的不同方式：forward（默认）theoutputelementsareforwardedtothelocalsubtaskofthenextoperation.上游算子某个并发直接将数据发给同一个slot中的下游算子的并发，适用于上下游算子并发度一致数据没有倾斜forwardrebalancetheoutputelementsaredistribu
Bravo_z·2023-08-25 16:48

Flink中-C参数与DistributedCache使用

-C参数flink命令下有这样的一个参数选项-C或者--classpath，含义解释：AddsaURLtoeachusercodeclassloaderonallnodesinthecluster.Thepathsmustspecifyaprotocol
Flink实战剖析·2023-08-25 14:24

火山引擎DataLeap基于Apache Atlas自研异步消息处理框架

ApacheAtlas对于实时消息的消费处理不满足性能要求，内部使用Flink任务的处理方案在ToB场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，支持了字节内部和火山引擎上同步元数据的诉求
·2023-08-25 11:34

第七章 API及系统架构介绍

第七章API及系统架构介绍一、系统架构介绍Flink系统架构主要分为APIs&Libraries、Core和Deploy三层，如图所示APIs层：主要实现了面向流处理对应的DataStreamAPI，面向批处理对应的
菠菜很好吃·2023-08-25 10:03

Flink与storm的主要区别译文。

Qestion:Flink被用来和Spark相比，但是我认为这样的比较不太合适，把Flink窗口事件和Spark微批处理进行比较，同样的Flink与Samza对比也是，这两种情况下的比较都是实时流计算与批量处理事件策略的比较
眠三沐·2023-08-25 10:04

【白话Flink基础理论】Flink中的容错机制——检查点CheckPoint&屏障Barrier&保存点SavePoint

白话Flink系列—————————————————————————
橙心橙意橙续缘·2023-08-25 10:36

基于 Flink 构建 CEP 引擎的挑战和实践

奇安信集团作为一家网络安全公司是如何基于Flink构建CEP引擎实时检测网络攻击？其中面临的挑战以及宝贵的实践经验有哪些？
Apache Flink·2023-08-25 09:44

Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性

ApacheCeleborn的背景2.ApacheCeleborn——快3.ApacheCeleborn——稳4.ApacheCeleborn——弹5.EvaluationTips：点击「阅读原文」免费领取5000CU*小时Flink
Apache Flink·2023-08-25 09:44

Flink_state 的优化与 remote_state 的探索

摘要：本文整理自bilibili资深开发工程师张杨，在FlinkForwardAsia2022核心技术专场的分享。
Apache Flink·2023-08-25 09:39

Apache Flink 在移动云实时计算的实践

▼关注「ApacheFlink」，获取更多技术干货▼摘要：本文整理自移动软件开发工程师谢磊在FlinkForwardAsia2021平台建设专场的演讲。
Apache Flink·2023-08-25 07:40

Flink集成iceberg在生产环境中的实践

文章目录背景及痛点业务背景原架构方案痛点flink+iceberg的落地iceberg技术调研hive表迁移iceberg表iceberg优化实践压缩小文件查询优化运维管理后续工作flinksql接入cdc
大数据技术与应用实战·2023-08-25 07:10

大数据流处理引擎和框架大全

ApacheFlink[Java]-用于高吞吐量，低延迟的数据流处理的系统
数据工程与机器学习·2023-08-25 07:40

Flink集成Iceberg在同程艺龙的实践

简介：本文由同城艺龙大数据开发工程师张军分享，主要介绍同城艺龙Flink集成Iceberg的生产实践。本文由同城艺龙大数据开发工程师张军分享，主要介绍同城艺龙Flink集成Iiceberg的生产实践。
阿里开发者·2023-08-25 07:37

解释什么是数据流处理，如Apache Flink和Spark Streaming的应用？

1、什么是API网关，解释API网关的作用和特点？API网关是一种在分布式系统中的组件，用于管理不同系统之间的通信和交互。API网关的作用是在不同系统之间提供统一的接口和协议，从而简化系统之间的集成和互操作性。API网关的特点包括：路由和分发请求：API网关可以根据请求的URL、方法、参数等信息，将请求分发到相应的系统或服务进行处理。安全性：API网关可以提供身份验证、授权、加密等安全功能，确保只
大学生资源网·2023-08-25 07:36

常用图算法实现--Flink

用Flink实现PageRank、强连通分量、单源最短路径、二分图匹配...PageRank主要参考官网的example算法流程每次计算当前每个网页的转移概率，计算下一时刻到达每个网页的概率并加入随机跳转数据准备
zealscott·2023-08-25 05:13

2021-11-23

当我们坐下来开始学习写作的时候，首先就要树立一个长期主义的理念，如果想要写得一手好文章，必须要经过大量的刻意练习，而且还需要具备良好的写作方法，今天的课程当中，覃杰老师跟我们分享了三种让文章生动起来的“制胜法宝
文虫_18532·2023-08-25 04:40

Flink的分布式快照（检查点算法）原理--基于Chandy-Lamport算法

Flink的恢复机制的核心就是应用状态的一致性检查点，有状态流的一致性检查点，其实就是所有状态在某个时间点的一份快照拷贝，而这个时间点应该是所有任务都恰好处理完同一个输入数据。
大地你王哥·2023-08-24 21:42

Spark学习-事件日志EventLog

事件日志EventLog背景系统结构SparkEvent介绍事件类型事件内容事件日志事件分析背景最近工作需要使用Flink对Spark的应用事件日志进行处理，帮助发现Spark应用中常见异常问题，为用户提供方便快捷的常见问题排查
迷途思凡·2023-08-24 21:08

Flink的Standalone集群部署

在上篇进行单机的Standalone部署-Flink的Standalone部署实战，本篇介绍Flink的Standalone集群部署。
梦幻通灵·2023-08-24 21:00

Flink流批一体计算（15）：PyFlink Tabel API之SQL写入Sink

目录举个例子写入Sink的各种情况1.将结果数据收集到客户端2.将结果数据转换为PandasDataFrame，并收集到客户端3.将结果写入到一张Sink表中4.将结果写入多张Sink表中举个例子将计算结果写入给sink表#将TableAPI结果表数据写入sink表：result_table.execute_insert("print").wait()#或者通过SQL查询语句来写入sink表：ta
victory0508·2023-08-24 21:26

Flink流批一体计算（16）：PyFlink DataStream API

目录概述PipelineDataflow代码示例WorldCount.py执行脚本WorldCount.py概述ApacheFlink提供了DataStreamAPI，用于构建健壮的、有状态的流式应用程序
victory0508·2023-08-24 20:25

一起定投到下一个牛市

目前BTC价格从6.4万跌倒最低3万点，跌幅在50%以上，虽然各种利空又夹杂着各种利好让我们摸不着头脑，但是与其彷徨或者躺平，我们还有一个可以使用的制胜工具——定投。
higer·2023-08-24 18:02

【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWM层

DWM层第1章DWS层与DWM层的设计1.1设计思路1.2需求梳理第2章DWM层-访客UV计算2.1需求分析与思路2.2代码实现2.2.1从Kafka的dwd_page_log主题接收数据2.2.2核心的过滤代码2.2.3将过滤处理后的UV写入到Kafka的dwm_unique_visit2.2.4测试第3章DWM层-跳出明细计算3.1需求分析与思路3.1.1什么是跳出3.1.2计算跳出行为的思路
在学习的王哈哈·2023-08-24 17:52

16、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及JDBC示例（4）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-08-24 16:54

Flink_state 的优化与 remote_state 的探索

摘要：本文整理自bilibili资深开发工程师张杨，在FlinkForwardAsia2022核心技术专场的分享。
·2023-08-24 16:40

Flink_state 的优化与 remote_state 的探索

摘要：本文整理自bilibili资深开发工程师张杨，在FlinkForwardAsia2022核心技术专场的分享。
·2023-08-24 16:40

美团增量数仓建设新进展

摘要：本文整理自美团系统研发工程师汤楚熙，在FlinkForwardAsia2022实时湖仓专场的分享。
·2023-08-24 16:36

flink sql 知其所以然（十五）：改了改源码，实现了个 batch lookup join（附源码）

1.序篇flinksql知其所以然（十四）：维表join的性能优化之路（上）附源码书接上回，上节说到了博主发现由于在flinksql中lookupjoin访问外部维表存在的性能问题。
程序员的隐秘角落·2023-08-24 15:30

Flink-ContinuousProcessingTimeTrigger源码解析及一个小问题处理

背景工作中遇到一个需求，需要按天划分窗口，并且每隔固定时间段触发一次窗口计算，时间语义为ProcessingTime。在测试过程中发现，使用ContinuousProcessingTimeTrigger会有一个问题：当窗口到达EndTime时并不会触发。测试在本地测试时使用自造数据：类别，数量，时间。然后统计每分钟的总量，每10秒钟触发一次窗口计算，并且触发窗口计算后立即清除已经计算过的所有数据，
风筝flying·2023-08-24 13:13

Flink-Basic API Concepts-overview

Flink程序会在分布式的集合上进行各类转化操作（如，filter,map,updatestate,join,group,window,aggregate）。
耳边的火·2023-08-24 12:50

Flink中批处理优化器的作用以及流程调试（一）

以批处理程序中的wordCount为例，调试一下Plan的生成以及对于优化计划OptimizedPlan的转化过程。至于如何进入Execute接口的上述过程将要放到以后进行说明，直接从生成批处理计划Plan开始：LocalExecutor类的一个方法我们可以见到当用户使用env.ecxecute（）的时候，进入Localexecutor类生成Plan，Planp来接收createProgramPl
北子萌·2023-08-24 11:20

flink checkpoint时exact-one模式和atleastone模式的区别

背景：flink在开启checkpoint的时候有两种模式可以选择，exact-one和atleastone模式，那么这两种模式有什么区别呢？
lixia0417mul2·2023-08-24 06:47

对比flink cdc和canal获取mysql binlog优缺点

FlinkCDC和Canal都是用于获取MySQLbinlog的工具，但是有以下几点优缺点对比：FlinkCDC是一个基于Flink的库，可以直接在Flink中使用，无需额外的组件或服务，而Canal是一个独立的服务
linweidong·2023-08-24 06:47

Flink CDC获取mysql 主从分库，分库分表的binlog

FlinkCDC可以获取MySQL主从分库，分库分表的binlog，但是需要注意以下几点：FlinkCDC需要配置MySQL的binlog模式为row，以及开启GTID（全局事务标识符），以便正确地识别和处理
linweidong·2023-08-24 06:46

flink cdc初始全量速度很慢原因和优化点

flinkcdc初始全量速度很慢的原因之二是，它使用了Debezium作为捕获数据变化的引擎，而Debezium在读取数据时，会使用全局锁或者快照隔离级别，这样会影响源端数据库的性能和并发能力。
linweidong·2023-08-24 06:14

Apache StreamPark系列教程第一篇——安装和体验

一、StreamPark介绍实时即未来,在实时处理流域ApacheSpark和ApacheFlink是一个伟大的进步,尤其是ApacheFlink被普遍认为是下一代大数据流计算引擎,我们在使用Flink
诸葛子房_·2023-08-24 04:58

Dinky:问题总结

一、启动时指定flink版本，因为dinky本身也集成了部分flink./auto.shstart1.12二、数据源管理新增mysql时的urljdbc:mysql://ip:3306/dinky?
Joseph25·2023-08-24 04:25

Flink：FlinkSql 问题总结

问题一，连接kudu，org.apache.kudu.shaded.com.google.common.collect.Sets解决：缺jar包，将kudu-client放到%flink_home%/lib
Joseph25·2023-08-24 04:25

【Flink】Flink架构及组件

我们学习大数据知识的时候，需要知道大数据组件如何安装以及架构组件，这将帮助我们更好的了解大数据组件对于大数据Flink，架构图图下：整个架构图有三种关键组件1、Client：负责作业的提交。
一杯咖啡半杯糖·2023-08-24 04:25

【Flink】工程搭建（java版）

不论是开发还是自己测试，都需要搭建flink工程，下面就一步步教大家实现第一个flink程序1、新建一个空的maven工程
一杯咖啡半杯糖·2023-08-24 04:24

【Flink】流数据生成器（DataGenerator）

在我们编写Flink程序的时候，常常需要测试自己程序的正确性以及给Kafka中造一些测试数据，那我们如何用Flink实现制作模拟数据呢？
一杯咖啡半杯糖·2023-08-24 04:24

【Flink】Flink广播变量

在Flink中，taskmanager中划分不同slot，计算过程中算子在多个Slot中进行，因此不同算子的计算数据之间不能像Java数组之间一样互相访问，Broadcast可以解决这个问题。
一杯咖啡半杯糖·2023-08-24 04:54

【Flink】参数不生效

提交flink的时候使用下面命令进行提交flinkrun-myarn-cluster-Djobmanager.memory.process.size=2048mb-ccom.test.Test/data
一杯咖啡半杯糖·2023-08-24 04:54

【Flink】jobmanager到底设置多少内存为好

本flink版本基于1.12在做flink开发过程中会遇到内存参数设置问题，如果设置过小会造成flink任务无法提交，那到底我们应该把flink的jobmanager设置多大才不会报错呢？
一杯咖啡半杯糖·2023-08-24 04:54

【Flink】taskmanager到底设置多少内存为好

本flink版本基于1.12在做flink开发过程中会遇到内存参数设置问题，如果设置过小会造成flink任务无法提交，那到底我们应该把flink的taskmanager设置多大才不会报错呢？
一杯咖啡半杯糖·2023-08-24 04:54
上一页 88 89 90 91 92 93 94 95 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他