flink架构图

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

极狐GitLab 和 ArgoCD 集成实现 GitOps

其整体架构图如下：ArgoCD是以KubernetesController的形式来实现的，它会对运行在Kubernetes集群上的应用程序进行监听，并将实际运行状态和期望状态（在部署清单文件中指定，且存储在版本控制系统中
·2024-02-19 13:10

【大数据面试题】009 Flink 有哪些机制实现故障恢复

一步一个脚印，一天一道面试题（重点）容错检查点（Checkpoint）：Flink使用容错检查点来定期记录应用程序的状态。检查点包含了所有正在进行中的任务的状态信息。
Jiweilai1·2024-02-19 13:05

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）什么是背压Backpressure在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。出现背压的原因上游数据突然增大比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。网络，机器异常等这个也好理解
Jiweilai1·2024-02-19 13:35

Apache Flink连载（二十八）：Flink细粒度资源管理（1）-适用场景和原理

个人主页：IT贫道-CSDN博客私聊博主：私聊博主加WX好友，获取更多资料哦~博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录
IT贫道·2024-02-19 13:03

[Flink02] Flink架构和原理

这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Flink安装。
YoungerChina·2024-02-19 13:32

七天爆肝flink笔记

一.flink整体介绍及wordcount案例代码1.1整体介绍从上到下包含有界无界流支持状态特点与spark对比应用场景架构分层1.2示例代码了解了后就整个demo吧数据源准备这里直接用的文本文件gradle
我才是真的封不觉·2024-02-19 13:01

【大数据面试题】008 谈一谈 Flink Slot 与 并行度

【大数据面试题】008谈一谈FlinkSlot与并行度配置并行度Parallelism概念作用Slot概念作用如何设置TaskManager任务管理器Flinksubmit脚本一步一个脚印，一天一道面试题该文章有较多引用文章
Jiweilai1·2024-02-19 13:01

Apache 神禹（shenyu）源码阅读（二）——Admin 向 Gateway 的数据同步（Gateway 端）

本文介绍的数据同步（syncdata）在Shenyu架构图中的
学疯了·2024-02-19 13:54

福利「Flink Forward Asia 2023 」PPT 阅读合集！

2023年12月8日-9日，FlinkForwardAsia（FFA）峰会成功举行。
·2024-02-19 11:20

消息队列-简介与基础概念

简介与基础概念一、背景和起源二、应用场景1.应用解耦2.异步处理3.流量削峰三、架构图1.生产者2.消费者3.消息存储4.协调服务四、基本特性1.消息消费模式2.消息重投3.消息重试4.消费确认机制5.
临江蓑笠翁·2024-02-19 10:04

Flink和Kafka端到端数据一致性

Flink内部把Checkpoint开启，设置Checkpoint模式为EXACTLY_ONCEenv.enableCheckpointing(1000*10L);env.getCheckpointConfig
今天好好洗头了嘛·2024-02-19 10:19

Flink介绍

Flink介绍1.简介ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreams.Flinkhasbeendesignedtoruninallcommonclusterenvironments
·2024-02-19 10:08

Pulsar-架构与设计

Pulsar架构与设计一、背景和起源二、框架概述1.设计特点2.框架适用场景三、架构图1.Broker2.持久化存储（Persistentstorage）3.Pulsar元数据（Metadatastore
临江蓑笠翁·2024-02-19 10:56

Flink SQL Query 语法（三）- Join

主要引用官方文档https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/joins
Alex90·2024-02-15 06:18

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2024-02-15 06:39

基于Apache Flink的实时计算引擎Blink在阿里搜索中的应用

阿里巴巴是世界上最大的电子商务零售商。我们在2015年的年销售额总计3940亿美元，超过eBay和亚马逊之和。阿里巴巴搜索(个性化搜索和推荐平台)是客户的关键入口，并承载了大部分在线收入，因此搜索基础架构团队需要不断探索新技术来改进产品。在电子商务网站应用场景中，什么能造就一个强大的搜索引擎?答案就是尽可能的为每个用户提供实时相关和准确的结果。同样一个不容忽视的问题就是阿里巴巴的规模，当前很难找到
weixin_34186950·2024-02-15 01:50

基于 Apache Flink 的实时计算数据流业务引擎在京东零售的实践和落地

内容主要包括五个方面：京东零售实时计算的现状实时计算框架场景优化：TopN场景优化：动线分析场景优化：FLINK一站式机器学习点击查看更多技术内容一、京东零售实时计算的现状1.1现状技术门槛高、学习成本大
Apache Flink·2024-02-15 01:50

Flink在实时搜索引擎领域的应用

ApacheFlink是一个流处理框架，它可以处理大规模的流数据，并提供了实时计算能力。在实时搜索引擎领域，Flink可以用于实时处理搜索关键词、计算搜索结
禅与计算机程序设计艺术·2024-02-15 01:46

基于Kafka的实时计算引擎如何选择？

以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的实时计算引擎如何选择？FlinkorSpark？2.为何需要实时计算？
java菜·2024-02-14 19:37

android 系统启动流程

Android架构介绍Android的架构可以从架构图得知，主要分四层：Android经典的四层架构图Android架构图看这两张图对android架构有一个整体的概念Android启动概述概述：Loader
蔺小帅·2024-02-14 17:37

Flink教程

1.Flink运行框架1.1运行组件：作业管理器（JobManager）:请求slot资源管理器（ResourceManager）:管理slot任务管理器（TaskManager）:提供slot，执行任务分发器
July2333·2024-02-14 15:20

【编程二三事】SQL是如何执行的？

整体架构开门见山，我这里先绘制出Mysql数据库整个流程的一个架构图。从图中不难看出，Mysql的架构主要划分为三层：客户端、Server层和存储引擎层。
原来是笑傲菌殿下·2024-02-14 14:58

Docker 镜像仓库是什么？有哪些镜像仓库命令？

1.Docker的架构（图片来源：Docker架构图）Registry（Docker仓库）：Docker仓库用来保存镜像，Docker官方提供了一个公共的Docker仓库，称为DockerHub，开发者可以在
会飞的阿喵·2024-02-14 14:54

02-flink基本架构

02-flink基本架构flink基本组件栈flink基本组件栈.pngAPI&Libraries同时提供了流计算和批计算的接口，同时在此基础上抽象出不同的应用类型的组件库Runtime核心层主要负责对上层不同接口提供基础服务
蜗牛写java·2024-02-14 13:54

Flink基础系列34-Flink CEP简介

一.什么是CEP复杂事件处理（ComplexEventProcessing，CEP）FlinkCEP是在Flink中实现的复杂事件处理（CEP）库CEP允许在无休止的事件流中检测事件模式，让我们有机会掌握数据中重要的部分一个或多个由简单事件构成的事件流通过一定的规则匹配
只是甲·2024-02-14 08:30

超好用！——知识蒸馏中即插即用的对抗性调度器以及调整向量Vector

1.1原理总体架构图如下。在常规的知识蒸馏中，一般不会考虑知识的难度先后，按照我们人类的思维，肯定是先学习容易的再学习难一点的知识（总不能小学就学高数吧哈哈）。一个模型的理想状态也应该如此。
时光诺言·2024-02-14 01:23

Flink 1.7.0 安装、配置与使用

本地单机安装ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。
编码前线·2024-02-13 22:57

请停止无效努力：建立自己的知识体系

今日收获：学知识，需要不断完善自己的架构图这句话有两个意思，第一你得有一个架构图，第二，你需要不断完善自己的架构图。为什么需要架构图，作者举了一个生活中的例子。二十年前，电视广告经常出现那些记忆专家。
书山有路是为勤·2024-02-13 20:51

如何接手一个新系统

接手一个新系统，一般要从这几个方面来熟悉：一、业务知识；二、技术知识：1、逻辑架构逻辑架构主要要了解以下这几部分：1.1系统整体和每个子系统的架构图、核心领域模型；1.2几块核心模块和业务流程、时序图；
小强聊it·2024-02-13 15:10

Android Camera 预览、拍照、保存照片 实现

:一、Camera2架构概述二、Camera2中比较重要的类及方法三、具体实现步骤四、初始化相关参数五、打开相机六、创建预览会话七、拍照、保存八、释放相机及线程一、Camera2架构概述Camera2架构图
程序员Android1·2024-02-13 14:10

Flink SQL实战演练之CDC Connector

简介：公司实时项目组处理的业务数据以前是由业务团队把数据push到rabbitmq，然后我们通过flink转运到kafka，然后再做实时计算的，由于新业务逻辑变化会较大，导致推送过来的数据偶尔会出现偏差
Coder小咚·2024-02-13 10:43

Impala-架构与设计

架构与设计一、背景和起源二、框架概述1.设计特点2.框架优点3.框架限制三、架构图1.ImpalaDaemon2.Statestore3.Catalog四、Impala查询流程1.发起查询2.生成执行计划
临江蓑笠翁·2024-02-13 09:48

摄影练习-框架构图

利用一些东西当框架，比如窗子，门框等，把框架当前背景，透过框架来拍摄主体，这就是框架构图。这样的构图方式可以让主体更突出，画面更有层次，如果框架切当的话还能增加趣味性。
咕噜大人·2024-02-13 07:58

Flink第二篇：集群搭建

Flink集群搭建.Flink可以选择的部署方式有：Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。
菜鸟Coders·2024-02-12 17:22

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
大猪大猪·2024-02-12 15:45

Flink 指标（一）

Flink自带一个度量系统，允许收集和公开指标到外部系统。
Alex90·2024-02-12 14:55

【大数据】Flink on Kubernetes 原理剖析

FlinkonKubernetes原理剖析1.基本概念2.架构图3.核心概念4.架构5.JobManager6.TaskManager7.交互8.实践8.1SessionCluster8.2JobCluster9
G皮T·2024-02-12 13:27

FLink发布任务

/bin/flinkrun-corg.apache.flink.streaming.examples.socket.SocketWindowWordCountSocketWindowWordCount.jar
卡门001·2024-02-12 09:06

Netty 学习：服务端启动 & 客户端启动

说明Netty封装了JavaNIO的很多功能，大大简化了Java网络编程的难度，同时Netty也支持多种协议，Netty架构图如下注：上图来自Netty官网BIO模型传统的JavaBIO模型代码如下客户端代码
油腻的程序猿啊·2024-02-12 08:26

Hadoop-Yarn-ResourceManagerHA

二、架构官网的架构图如下：
隔着天花板看星星·2024-02-12 07:42

【自制C++深度学习推理框架】计算图的设计思路

与神经网络架构图类似，计算图也是一种有向图，使用节点来表示操作或变量，并使用边来表示它们之间的依赖关系。不同之处在于，神经网络架构图通常只描述了神经元之间的连接方式，而计算图可以精确地表示深度学习
代码缝合怪·2024-02-12 03:16

OpenTelemetry 笔记 (OTel)

目录1.OpenTelemetry笔记(OTel)1.1.What1.2.为什么使用OpenTelemetry1.3.数据类型1.4.架构图1.5.核心概念1.6.包含哪些内容1.6.1.跨语言的规范1.6.2
云满笔记·2024-02-12 03:44

[1132]Flink与Kafka版本对应关系

以下为Flink和Kafka的版本对照表Flink版本Kafka版本1.12.X2.4.11.11.X2.4.11.10.X2.2.11.9.X2.2.01.8.X2.0.11.7.X2.0.10.10
周小董·2024-02-12 01:47

【Flink】 Flink与Kafka版本对应关系

1.概述转载：Flink与Kafka版本对应关系转载这个主要是上次做flinkkafka版本升级，忘记记录了。
九师兄·2024-02-12 01:17

【Flink异常】flink与kafka版本匹配: NetworkClient$DefaultMetadataUpdater.handleServerDisconnect

文章目录1.异常详情2.报错原因及解决办法3.Flink与Kafka的版本匹配1.异常详情使用flink1.11的kafkaconnector读取0.9版本的kafka报错：[10:49:12:644]
search-lemon·2024-02-12 01:17

Flink Maven项目兼容多版本Kafka

主要有两种方法可以解决：修改jar包内部的包名或者使用自定义classloaderFlink需要导入kafka-clients来支持对kafka的生产和消费。
weixin_30855099·2024-02-12 01:47

提取Scrapy 爬虫概念

（1）Scrapy的基本架构图和原理（2）模拟登录（3）HTML和XPath（4）爬取动态网页（6）爬取移动应用
杨传池chris·2024-02-11 18:41

大数据--Flink--流处理（二）

一、flink单节点安装部署下载1）下载安装包[root@localhost~]#wgethttp://us.mirrors.quenda.co/apache/flink/flink-1.9.1/flink
无剑_君·2024-02-11 18:38

Flink 2.0 状态存算分离改造实践

本文整理自阿里云智能Flink存储引擎团队兰兆千在FFA2023核心技术（一）中的分享，内容关于Flink2.0状态存算分离改造实践的研究，主要分为以下四部分：Flink大状态管理痛点阿里云自研状态存储后端
·2024-02-11 18:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他