Flink源码学习

这一年多来，阿里Blink测试体系如何从0走向成熟？

引言ApacheFlink是面向数据流处理和批处理的分布式开源计算框架，20
测试小柚子·2023-11-21 10:42

基于Flink打造实时计算平台为企业赋能

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！本文是清香白莲在知乎的分享，很有借鉴意义，分享给大家。原文地址：https://zhuanlan.zhihu.com/p/143169143随着互联网技术的广泛使用，信息的实时性对业务的开展越来越重要，特别是业务的异常信息，没滞后一点带来的就是直
王知无(import_bigdata)·2023-11-21 10:40

Flink SQL Query 语法（二）

主要引用官方文档https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/window-agg
Alex90·2023-11-21 07:15

流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓

作者：董伟柯——腾讯云大数据产品中心高级工程师概述ApacheFlink是流式计算处理领域的领跑者。它凭借易用、高吞吐、低延迟、丰富的算子和原生状态支持等优势，多方位领先同领域的开源竞品。
腾讯云大数据·2023-11-21 07:19

【Spring】Spring ioc源码学习以及关于阅读源码方式的一些小笔记

Springioc源码学习以及关于阅读源码方式的一些小笔记学习源码的方式最好的方法是带着问题去学习。如果拿到的是一个新的框架源码，首先应当去搞懂如何使用，这个框架能做什么事。
wannatolive·2023-11-21 05:49

Flink SQL 性能优化实战

缘起最近我们组在大规模上线FlinkSQL作业。首先，在进行跑批量初始化完历史数据后，剩下的就是消费Kafka历史数据进行追数了。
坨坨的大数据·2023-11-21 02:54

Scala学习笔记

大数据开发中常用Scala进行功能开发，而且大数据处理和计算框架Flink和Spark都是基于Scala开发的，学习Scala不仅是进行业务开发的前提，而且是深入研究大数据前言技术的基础。
火影启源·2023-11-21 02:02

【Flink源码系列】Flink 源码分析之 Client 端启动流程分析

抛出问题首先来思考一个问题，我们在提交Flink任务的时候，在Flink客户端执行了下面的命令后，Flink客户端做了哪些事情？又是怎么执行我们自己写的代码？相信读完这篇文章你就能找到答案。
JasonLee实时计算·2023-11-20 23:05

Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？

最着名的例子是ApacheHadoop，还有较新的框架，如ApacheSpark、ApacheDrill、ApacheFlink。
zhisheng_blog·2023-11-20 23:03

Flink源码分析（一）RPC通信和JobManager启动

写在前面1.FlinkRPC详解Flink使用Akka+Netty框架实现RPC通信，之前在spark框架源码剖析过程中已经对Akka实现RPC通信过程有所介绍，这里不做过多描述。
星星点灯1996·2023-11-20 23:03

flink-1.11-Standalone模式启动源码解读之Master启动

前面我们分析了Standalone模式下执行start-cluster.sh脚本后的一系列脚本执行流程，最后一步是执行flink-daemon.sh脚本，在该脚本中会执行对应的java类，其中JobManager
喜讯XiCent·2023-11-20 23:32

第四章 Ambari二次开发之自定义Flink服务源码剖析

1、Ambari架构剖析1.1、Ambari概述（1）Ambari目标①核心目标：解决Hadoop生态系统部署问题②实现方式：默认配置写入stack中，在开启时将stack总各个版本的config文件读入，在使用blueprint创建集群部署hadoop时，直接生成command-json文件。（2）Ambari主要概念①资源：ambari将集群及集群中的服务、组件、机器都视为资源，资源的状态都会
随缘清风殇·2023-11-20 23:31

flink源码启动解析

flink是近来比较热门的实时流计算引擎，相信大家对于其使用并不陌生。
AnzLee888·2023-11-20 23:01

Flink源码系列(创建JobMaster并生成ExecutionGraph)-第七期

上一期指路：上一期上一期主要讲了flink内部的rm的创建，Dispatcher的创建与启动，之前也说过在Dispatcher的启动过程中会涉及JobMaster的创建与启动，那么这一期的主题是创建JobMaster
AiryView·2023-11-20 23:59

从flink-example分析flink组件(3)WordCount 流式实战及源码分析

前面介绍了批量处理的WorkCount是如何执行的这篇从WordCount的流式处理开始/***Implementsthe"WordCount"programthatcomputesasimplewordoccurrence*histogramovertextfilesinastreamingfashion.**Theinputisaplaintextfilewithlinesseparatedb
aebdm757009·2023-11-20 23:59

Flink源码解读(三)：ExecutionGraph源码解读

ExecutionVertex3、IntermediateResult4、IntermediateResultPartition5、ExecutionEdge6、ExecutionExecutionGraph具体生成流程小结1、Flink
Stray_Lambs·2023-11-20 23:27

flink源码分析之功能组件(一)-metrics

简介本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metric
中间件XL·2023-11-20 23:25

【OpenGauss源码学习 —— 执行算子（Append算子）】

执行算子（Append算子）Append算子ExecInitAppend函数exec_append_initialize_next函数ExecAppend函数ExecEndAppend函数ExecReScanAppend函数声明：本文的部分内容参考了他人的文章。在编写过程中，我们尊重他人的知识产权和学术成果，力求遵循合理使用原则，并在适用的情况下注明引用来源。本文主要参考了OpenGauss1.1
J.Kuchiki·2023-11-20 21:36

【 OpenGauss源码学习 —— 列存储（update）】

列存储（Insert）概述相关函数CStoreUpdate::ExecUpdate函数JunkFilter结构体CStoreInsert::BatchInsert函数bulkload_rows::append_one_vector函数bulkload_rows::append_in_column_orientation我函数ExecVecUpdate函数CStoreUpdate::EndUpdat
J.Kuchiki·2023-11-20 21:35

【OpenGauss源码学习 —— 列存储（ColumnTableSample）】

执行算子（ColumnTableSample）概述ColumnTableSample类ColumnTableSample::ColumnTableSample构造函数ColumnTableSample::~ColumnTableSample析构函数ExecCStoreScan函数ColumnTableSample::scanVecSample函数ColumnTableSample::getMaxO
J.Kuchiki·2023-11-20 20:31

Flink1.17 Scala/Java MySQL CDC案例

文章目录@[toc]数据表及依赖准备创建MySQL测试数据表开启binlog数据库测试语句导入CDCmaven依赖数据变更标识Java版CDCDataStreamAPI测试TableAPI的CDC代码测试Scala版CDCDataStreamAPI测试TableAPI测试数据表及依赖准备创建MySQL测试数据表需要修改MySQL的配置文件，windows为安装目录下的my.ini，linux为/e
小霖大爆屎·2023-11-20 20:27

Flink DataStream API （十三）Flink 输出到 Redis

文章目录输出到Redis输出到RedisRedis是一个开源的内存式的数据存储，提供了像字符串（string）、哈希表（hash）、列表（list）、集合（set）、排序集合（sortedset）、位图（bitmap）、地理索引和流（stream）等一系列常用的数据结构。因为它运行速度快、支持的数据类型丰富，在实际项目中已经成为了架构优化必不可少的一员，一般用作数据库、缓存，也可以作为消息代理。F
Alienware^·2023-11-20 20:26

Flink源码学习二 用户代码逻辑计划生成 1.17分支

1、Streaming环境获取接上节flink调用用户代码的main方法后，用户代码中一般会有如下获取flink环境的代码valenv=StreamExecutionEnvironment.getExecutionEnvironment
大数据动物园·2023-11-20 20:26

Flink的DataStream API的使用------输出算子（Sink）

Flink的DataStreamAPI的使用文章目录***Flink的DataStreamAPI的使用***一、Flink的DataStreamAPI的使用------执行环境（ExecutionEnvironment
BrotherXu·2023-11-20 20:25

（八）Flink DataStream API 编程指南 - 3 事件时间

在本节中，你将了解Flink中用于处理事件时间的时间戳和watermark相关的API。有关事件时间，处理时间和摄取时间的介绍，请参阅事件时间概览小节。
京河小蚁·2023-11-20 20:53

Flink1.17学习笔记（自用）

Flink是什么核心目标：数据流上的有状态计算Flink是一个框架和分布式处理引擎，用于对无界和有界数据进行有状态计算Flink和Streaming对比FlinkStreaming计算模型流计算微批处理时间语义事件时间
艾卡西亚暴雨o·2023-11-20 20:52

Flink1.17 DataStream API

ExecutionEnvironment）1.1创建执行环境1.2执行模式1.3触发程序执行二.源算子（Source）2.1从集合中读取数据2.2从文件读取数据2.3从RabbitMQ中读取数据2.4从数据生成器读取数据2.5Flink
后端小菜鸡·2023-11-20 20:48

python 有ide吗_python有什么ide吗

有木有大神知道Flink能否消费多个kafka集群的数据？这个问题有人遇到吗?你们实时读取广业务库到kafka是通过什么读的？
Kingston Chang·2023-11-20 18:11

flink kafka flume 从开发到部署遇到的问题及解决方案

最近遇到了比较多的中间件的环境问题整理了些注意事项启动顺序zookeeper->kafka->flink->flink提交的job->flumekafka的快照保存时间的设置log.retention.hours
Nryana0·2023-11-20 18:38

DockerDesktop：使用docker-compose.yml搭建Flink集群

前情提示：利用DockerDesktop搭建flink集群，有手动模式和利用docker-compose.yml等等方式，自己手动搭建很麻烦，因为真的很小白，比如说按照其他帖子搭建好之后，一般一个taskManager
DreamLy1017·2023-11-20 16:44

Flink 最锋利的武器：Flink SQL 入门和实战

[TOC]一、FlinkSQL背景FlinkSQL是Flink实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准SQL语义的开发语言。
tracy_668·2023-11-20 16:02

flink消费kafka细节

#flink消费kafka细节Apachekafkaconnector提供对Kafka服务的事件流的访问。Flink提供了特殊的Kafka连接器，用于从Kafka主题读写数据。
ink时光·2023-11-20 16:24

聊聊flink的NetworkBufferPool

序本文主要研究一下flink的NetworkBufferPoolBufferPoolFactoryflink-release-1.7.2/flink-runtime/src/main/java/org/
go4it·2023-11-20 13:18

【Flink】窗口（Window）

本文的重心将放在Flink如何进行窗口操作以及开发者如何尽可能地利用Flink所提供的功能。
lxtx-0510·2023-11-20 13:29

【Flink】核心概念：任务槽（Task Slots）

这些资源就是用来独立执行一个子任务的任务槽数量的设置flink-conf.yaml可以设
lxtx-0510·2023-11-20 13:29

【Flink】核心概念：并行度与算子链

并行度（Parallelism）当要处理的数据量非常大时，我们可以把一个算子操作，“复制”多份到多个节点，数据来了之后就可以到其中任意一个执行。这样一来，一个算子任务就被拆分成了多个并行的“子任务”（subtasks），再将它们分发到不同节点，就真正实现了并行计算。一个特定算子的子任务（subtask）的个数被称之为其并行度（parallelism）。这样，包含并行子任务的数据流，就是并行数据流，
lxtx-0510·2023-11-20 13:58

flink入门

1.安装flink，启动flink文档地址：ApacheFlink1.3-SNAPSHOT中文文档:ApacheFlink中文文档代码：GitHub-apache/flink:ApacheFlink2.
java斗罗·2023-11-20 13:26

FlinkCDC数据实时同步Mysql到ES

今天给大家介绍一种实时同步方案，就是是使用flinkcdc来读取数据库日志，并且写入到elasticsearch中。1.什么是flinkcdc?FlinkCDC（Change
yangzheng01·2023-11-20 13:26

35、Flink 的 Formats 之CSV 和 JSON Format

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-20 13:18

21、Flink 的table API与DataStream API 集成（完整版）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-20 13:47

36、Flink 的 Formats 之Parquet 和 Orc Format

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-20 13:40

07-Hive优化---高级部分3

一、Hive优化大数据的学习：1、学习工具及其原理（50%~70%）2、学习重要的（java、scala、python、sql[mysql\hivesql\sparksql\flinksql]）(30%
YuPangZa·2023-11-20 12:24

使用flink api把数据写到StarRocks存储系统

使用Flink的JDBC连接器将数据写入StarRocks存储系统中。
wuchongyong·2023-11-20 11:43

flink 读取 starrocks 数据

/bin/flinklistrunning新补充一些jar包,需要重启clusterCouldnotacquiretheminimumrequiredresources.提示资源不够,需要更改配置https
weixin_42462308·2023-11-20 11:11

springboot集成starrocks、以及采用flink实现mysql与starrocks亚秒级同步

一、application.yml（因采用dynamic-datasource-spring-boot-starter动态数据源，所以才是以下配置文件的样式，像redis，druid根据自己情况导入依赖）这个配置文件的场景是把starrocks当成slave库在用。某些大数据慢查询就走starrocks就这样配置好后就可把starrocks当mysql用了#spring配置spring:redis
qq_41369135·2023-11-20 11:03

Flink——读取Kafka数据处理后存入StarRocks

授权方式登录登录华为FusionInsightManager下载flinkuser用户的授权文件user.keytab、krb5.conf准备LoginUtil工具类登录代码如下：//loginStringuserPrincipal
^o^Smile^_^·2023-11-20 11:55

FLINK SQL将 数据导入至STARROCKS报错

报错信息："Message":"Thesizeofthisbatchexceedthemaxsize[104857600]ofjsontypedatadata[234201957].解决：'sink.buffer-flush.max-bytes' = '104857600',
朱云婷�·2023-11-20 11:53

flink 数据无法写入elasticsearch5且不报错

#前言其实和flink没啥关系，只是正好场景使用的是flink，问题在于elasticsearch5的参数设置#问题之前代码，数据无法写入，但是也不报错，后来添加了一个参数设置，就可以写入了#参数配置config.put
AinUser·2023-11-20 11:23

flink 查看写入starrocks的数据量 总行数

针对该connector:https://github.com/StarRocks/docs.zh-cn/blob/main/loading/Flink-connector-starrocks.md
Thomas2143·2023-11-20 11:51

Redis源码学习基本数据结构之zipmap

zipmap  Zipmap是为了实现保存Pair(String,String)数据的结构，是存储效率非常高的一种结构zipmap结构对于map:"foo"=>"bar","hello"=>"world":"foo""bar""hello""world"zmlen1字节键值对的个数len1字节表示keyorvalue长度(0-253)如果超过253则使用5字节第一个字节设为254后面四个字节表示长
lixin_karl·2023-11-20 10:52
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他