制胜Flink

Flink：背压，busy time和延迟之间的关系探究

1.BackPressure（背压）在算子层面上很好理解，背压的出现代表下游的消费者的消费速度小于上游生产者的生产速度；但实际上在Flink的runtime中，每个算子由subtask组成，背压更多是一个
韩澈·2023-11-22 12:37

flink连接kafka报错

问题描述：通过本地idea方式连接kafka，报如下错误：可能原因：本地程序会查询本地配置，看是否存在ip映射，可能是本地ip映射不存在，导致连接kafka失败。(主要是由于kafka的server.properties文件中的zookeeper.connect配置的是主机名导致)解决办法：在本地hosts文件中配置ip与主机名的映射关系。
是爱学习的编程大白哦·2023-11-22 09:43

Flink基础（七）：状态的使用

Flink官网说，Flink是数据流上的有状态计算。那么问题来了，何为状态？
Hello Guava·2023-11-22 09:52

（二十）Flink Table API & SQL 编程指南 流式聚合性能优化

FlinkTableAPI和SQL使用户能够以更少的时间和精力定义高效的流分析应用程序。此外，FlinkTableAPI和SQL是高效优化过的，它集成了许多查询优化和算子优化。
京河小蚁·2023-11-22 09:21

Flink SQL流式聚合Mini-Batch优化原理浅析

FlinkSQL使得用户可以通过简单的聚合函数和GROUPBY子句实现流式聚合，同时也内置了一些优化机制来解决部分case下可能
王知无(import_bigdata)·2023-11-22 09:21

Flink 常见问题定位指南

但实际运行中，Flink作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况，甚至发生崩溃和重启，影响输出数据的质量，甚至会导致线上业务中断，造成报表断崖、监控断点、数据错乱等严重后果。
pucheung·2023-11-22 09:21

Flink Operator 使用指南 之 Flink Operator安装

介绍FlinkKubernetesOperator充当控制平面来管理ApacheFlink应用程序的完整部署生命周期。
麦田里的守望者··2023-11-22 09:21

(八）Flink DataStream API 编程指南 - 4 状态与容错 （中）

广播状态模式提供的API为了展示所提供的API，我们将从一个示例开始，然后再展示它们的全部功能。作为我们的运行示例，我们将使用这样的情况：我们有不同颜色和形状的对象流，并且我们想要找到遵循特定模式的相同颜色的对象对，例如矩形后面跟着三角形。我们假设这组有趣的模式会随着时间而演变。在此示例中，第一个流将包含Item具有一个Color和一个Shape属性的类型元素。另一个流将包含Rules.从Item
京河小蚁·2023-11-22 09:51

（八）Flink DataStream API 编程指南 - 4 状态与容错 （上）

KeyedDataStream如果你希望使用keyedstate，首先需要为DataStream指定key（主键）。这个主键用于状态分区（也会给数据流中的记录本身分区）。你可以使用DataStream中Java/ScalaAPI的keyBy(KeySelector)或者是PythonAPI的key_by(KeySelector)来指定key。它将生成KeyedStream，接下来允许使用keyed
京河小蚁·2023-11-22 09:21

（十六）Flink Datastream API 编程指南 Managing Execution

文章目录执行配置程序打包和分布式执行程序打包小结并行执行设置并行度Operator级别执行环境级别客户端级别系统级别设置最大并行度执行配置StreamExecutionEnvironment包含ExecutionConfig，它允许为运行时设置特定于作业的配置值。要更改影响所有作业的默认值，请参见配置。StreamExecutionEnvironmentenv=StreamExecutionEnv
京河小蚁·2023-11-22 09:21

Flink优化

文章目录资源配置调优内存设置并行度设置最优并行度计算Source端并行度的配置Transform端并行度的配置Sink端并行度的配置RocksDB大状态调优Checkpoint设置用FlinkParameterTool
未来影子·2023-11-22 09:49

Flink使用指南：状态计算完全搞懂了，你就是大佬！

系列文章目录Flink使用指南:面试必问内存管理模型，进大厂一定要知道！
XuTengRui·2023-11-22 09:46

Flink使用指南：Flink SQL聚合场景下的优化方案，一定要收藏！

系列文章目录Flink使用指南:教你FlinkSQL自定义Connector开发，使用SQL入库更方便！Flink使用指南：Flink设置全局变量，并在函数中获取，让你的代码更加优雅！
XuTengRui·2023-11-22 09:46

Flink Operator 使用指南 之 全局配置

背景在上一个章节中已经介绍了基本的Flink-Operator安装，但是在实际的数据中台的项目中，用户可能希望看到FlinkOperator的运行日志情况，当然这可以通过修改Flink-OperatorPOD
麦田里的守望者··2023-11-22 09:45

FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式

Flinkcdcsql的方式同步PG数据库在之前已经详细介绍过，但是有一个问题就是每个表需要占用一个slot，如果表比较多的情况用这种方法就不妥，于是我们开发了一套通用的PG数据库表同步工具。
lg4546·2023-11-22 08:59

flink 13.5 自定义connect之clickhouse

1.项目结构2.pom文件4.0.0com-wudl-ckflink-connector-clickhouse13.5jarFlinkConnectorClickHouse1.81.13.52.12.12.120.3.2
wudl5566·2023-11-22 06:58

Flink sql 实现 -connection-clickhouse的 source和 sink

1.场景2.版本mysqlflinkclickhouse5.7.20-logflink-1.13.120.11.4.135.7.20-logflink-1.13.220.11.4.135.7.20-logflink
wudl5566·2023-11-22 06:57

使用flink-connector-jdbc实现flink写入clickhouse、mysql等

适用范围：flink1.11.0及之后版本，包名为flink-connector-jdbc编辑pom.xml中的小节添加依赖。
ming_rw·2023-11-22 06:55

【Flink】使用JDBC connector写入ClickHouse

文章目录1.概述2.背景信息2.1背景信息3.Flink1.10.1+flink-jdbc3.2准备表4.Flink1.11.0+flink-connector-jdbc4.1准备数据4.2改造5.flink-clickhouse-sink5.1
九师兄·2023-11-22 06:20

flink-cdc,clickhouse写入，多路输出

1、场景kafka日志数据从kafka读取1、关联字典表：完善日志数据2、判断日志内容级别：多路输出低级：入clickhouse高级：入clickhouse的同时推送到kafka供2次数据流程处理。2、实现packagecom.ws.kafka2clickhouse;importcn.hutool.json.JSONUtil;importcom.ws.kafka2clickhouse.bean.C
qzWsong·2023-11-22 06:18

Flink 使用JDBC connector 写入 Clickhouse

写在前面Flink1.11.0对JDBCconnector进行了一次较大的重构重构之前（1.10.3以及之前版本），包名为flink-jdbc.重构之后（1.11.0以及之后版本），包名为flink-connector-jdbc.Flink1.11.0
chaos jin·2023-11-22 06:46

30秒的黄金说话术

01抛出有诱惑力的引子无论是一场演讲、会议还是汇报，开头的30秒是个制胜关键点，在一开始
学会倾听·2023-11-22 06:05

Doris系列之动态分区操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-22 05:32

数据治理入门

处理模式模式名称常见场景常见框架批处理夜间几个小时，无人值守hivesparkdatax流处理7*24H一直运行，无人值守maxwell,flink,flume,kafka即席处理人机交互接口访问web
十七✧ᐦ̤·2023-11-22 04:36

使用JMX监控ZooKeeper和Kafka

JVM默认会通过JMX的方式暴露基础指标，很多中间件也会通过JMX的方式暴露业务指标，比如Kafka、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink等等。
跟着大数据和AI去旅行·2023-11-22 01:34

Iceberg学习笔记（1）—— 基础知识

是一个面向海量数据分析场景的开放表格式（TableFormat），其设计的目的是解决数据存储和计算引擎之间的适配的问题表格式（TableFormat）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink
THE WHY·2023-11-21 22:50

Flink+Hologres 亿级用户实时UV精确去重最佳实践

UV、PV计算，因为业务需求不同，通常会分为两种场景：离线计算场景：以T+1为主，计算历史数据实时计算场景：实时计算日常新增的数据，对用户标签去重针对离线计算场景，Hologres基于RoaringBitmap，提供超高基数的UV计算，只需进行一次最细粒度的预聚合计算，也只生成一份最细粒度的预聚合结果表，就能达到亚秒级查询。具体详情可以参见往期文章>>Hologres如何支持超高基数UV计算(基于
阿里云技术·2023-11-21 22:32

剽悍一只猫：这个时代的个人制胜法则

001也许，最好的积累流量的方式，是去参加各种目标用户比较多的社群，在里面好好付出，成为各个社群里的专家型KOL。002真正的学习不是一天花多少时间阅读和听课，而是，找到适合自己的好道理、好方法，踏踏实实践行之，做出成绩来。对了，你还要学会晒成绩，让更多人知道你做到了，知道你是一个有结果的人。003一些失败的个人品牌打造者，往往会犯这样一个错误：自己并没有成为别人的榜样，却总想用各种套路来吸引大家
奕晴奕晴·2023-11-21 21:18

盘一盘 Python 系列 - Cufflinks (下)

本文含8890字，37图表截屏建议阅读46分钟0引言本文是Python系列的Cufflinks补充篇。
weixin_38753422·2023-11-21 20:10

Flink运行时架构

1运行时相关的组件  Flink运行时架构主要包括四个不同的组件：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher
Quinto0·2023-11-21 19:14

4 Flink 运行架构

4Flink运行架构Flink运行时的组件Flink运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager
一直奔跑的马·2023-11-21 19:13

Flink-运行时架构介绍

文章目录Flink运行时架构系统架构整体架构作业管理器（JobManager）任务管理器（TaskManager）作业提交流程高层级抽象视角独立模式（Standalone）YARN集群数据流图（DataflowGraph
迷雾总会解·2023-11-21 19:11

Flink架构和运行流程

Flink概述Flink是什么Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算Flink特点高吞吐和低延迟.每秒处理数百万个事件,毫秒级延迟结果的准确性.Flink提供事件时间和处理时间
GoldXt·2023-11-21 19:04

Flink 运行架构和核心概念

Flink运行架构和核心概念几个角色的作用：客户端：提交作业JobManager进程任务管理调度JobMaster线程一个job对应一个JobMaster负责处理单个作业ResourceManager资源的分配和管理
Made in Program·2023-11-21 19:02

flink 1.17.1的pom.xml模板

flink1.17.1的pom.xml模板4.0.0com.zbqmyflink1.0-SNAPSHOTmyflinkhttp://www.example.com1.17.1cn.hutoolhutool-all5.7.12org.apache.flinkflink-streaming-java
诗风雅韵·2023-11-21 19:35

flink 1.13.2的pom.xml文件模板

flink1.13.2的pom.xml文件模板4.0.0com.zbqmyflink1.0-SNAPSHOTmyflink1.13.21.82.121.7.30org.apache.flinkflink-java
诗风雅韵·2023-11-21 19:29

2020-07-22 Flink去重方案总结

在本场Chat中，会基于Flink提供不同的去重方案，深入分析每一种方案的使用方式，并且提供代码参考，会讲到如下内容：MapState方式去重SQL方式去重HyperLogLog方式去重HyperLogLog
liuhensiyuhua·2023-11-21 18:43

亚马逊云科技携手谱蓝云和衡石科技，制胜 SCRM+ 领域

从服务C端客户到助力金融保险企业数字化转型新征程途中挑战与机遇并存在竞争激烈的SCRM领域之中谱蓝云如何实现破局出发，脱颖而出？从公域到私域、从CRM到SCRM，社交的介入让CRM的触角从销售管理向前延伸到了获客触达。SCRM软件以其科技和社交的双重属性，正成为企业的营销利器，获得市场越来越多的认可。如今，随着各大互联网巨头纷纷入局SCRM领域，企业又该如何布局，在这一新颖赛道上抢占发展先机？看谱
衡石科技·2023-11-21 18:37

【小爱学大数据】FlinkKafkaConsumer

今天小爱学习FlinkKafkaConsumer。ApacheFlink是一个流处理和批处理的开源框架，它提供了数据流程序设计模型，以及运行环境和分布式执行引擎。
爱开发V·2023-11-21 14:16

Flink 源码之 SQL TableSource 和 TableSink

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言FlinkSQL可以将多种数据源或数据落地端映射为table，使用起来非常方便。
AlienPaul·2023-11-21 13:01

这一年多来，阿里Blink测试体系如何从0走向成熟？

引言ApacheFlink是面向数据流处理和批处理的分布式开源计算框架，20
测试小柚子·2023-11-21 10:42

基于Flink打造实时计算平台为企业赋能

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！本文是清香白莲在知乎的分享，很有借鉴意义，分享给大家。原文地址：https://zhuanlan.zhihu.com/p/143169143随着互联网技术的广泛使用，信息的实时性对业务的开展越来越重要，特别是业务的异常信息，没滞后一点带来的就是直
王知无(import_bigdata)·2023-11-21 10:40

Flink SQL Query 语法（二）

主要引用官方文档https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/window-agg
Alex90·2023-11-21 07:15

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

作者：董伟柯——腾讯云大数据产品中心高级工程师概述ApacheFlink是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势，多方位领先同领域的开源竞品。
腾讯云大数据·2023-11-21 07:19

Flink SQL 性能优化实战

缘起最近我们组在大规模上线FlinkSQL作业。首先，在进行跑批量初始化完历史数据后，剩下的就是消费Kafka历史数据进行追数了。
坨坨的大数据·2023-11-21 02:54

Scala学习笔记

大数据开发中常用Scala进行功能开发，而且大数据处理和计算框架Flink和Spark都是基于Scala开发的，学习Scala不仅是进行业务开发的前提，而且是深入研究大数据前言技术的基础。
火影启源·2023-11-21 02:02

“跨”平台经营权益 小沃会员能否出奇制胜？

小沃科技，这家随着联通混改愈发凸显存在感的子公司，正在以相当快的速度成长起来。其明星产品“小沃会员”，更是在短时间内吸引了业内外的目光。据悉，在市场层面，小沃科技对于小沃会员这项产品最初的设想是为用户提供移动互联网专属特权服务。而在行业层面，小沃会员则被寄予厚望，作为联通能力开放的平台整合行业优质资源。当下的互联网风口，没有足够积累的玩家已经很难抓住了，更别说是“整合者”这样考验资质的行业角色。会
风中寄托的信·2023-11-21 00:51

【Flink源码系列】Flink 源码分析之 Client 端启动流程分析

抛出问题首先来思考一个问题，我们在提交Flink任务的时候，在Flink客户端执行了下面的命令后，Flink客户端做了哪些事情？又是怎么执行我们自己写的代码？相信读完这篇文章你就能找到答案。
JasonLee实时计算·2023-11-20 23:05

Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？

最着名的例子是ApacheHadoop，还有较新的框架，如ApacheSpark、ApacheDrill、ApacheFlink。
zhisheng_blog·2023-11-20 23:03

Flink源码分析（一）RPC通信和JobManager启动

写在前面1.FlinkRPC详解Flink使用Akka+Netty框架实现RPC通信，之前在spark框架源码剖析过程中已经对Akka实现RPC通信过程有所介绍，这里不做过多描述。
星星点灯1996·2023-11-20 23:03
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他