Flink源码学习

xorm源码学习

文章目录XORM源码浅析及实践ORMORMvs.SQLXORM软件架构ORM引擎Engine——DBM*core.DBGolang：database/sql源码基本结构连接复用，提高性能。增加数据库连接池数量连接管理database/sql主要内容：sql.DB创建数据库连接sql.Open()DB.conn可能需要创建新的连接连接释放清理无效连接数据库操作数据库操作Prepare()和Query
尚墨1111·2023-11-23 05:41

Spark 提交执行源码学习

SparkSubmit执行后，执行环境准备工作privatedefrunDriver():Unit={addAmIpFilter(None,System.getenv(ApplicationConstants.APPLICATION_WEB_PROXY_BASE_ENV))userClassThread=startUserApplication()//Thisabithacky,butweneed
ShiPF·2023-11-23 04:21

Vue 源码学习（一）new Vue 初始化阶段

介绍:本篇文章我们将粗略的去了解，在Vue实例创建的过程中，分别执行了什么操作，为了照顾功底不深的小伙伴我们省去了部分方法实现的详细源码，有兴趣的可以自己去下载源码文档查看，或者关注我的后续文章本节学习将让大家彻底了解Vue的结构和其执行顺序流程，让我们对Vue的使用更加行云流水1.首先我们来看下源码中，定义Vue这个文件夹中发生了什么①首先定义了Vue构造函数，在构造函数中加入了判断，是否使用n
石头山_S·2023-11-23 03:20

【Python大数据笔记_day11_Hadoop进阶之MR和YARN&ZooKeeper】

MR单词统计流程已知文件内容:  hadoophivehadoopsparkhive flinkhivelinuxhivemysql​input结果:   k1(行偏移量) v1(每行文本内容)   0
LKL1026·2023-11-22 21:37

计算机毕业设计之Python+Spark+Flink考研测与推荐系统 考研大数据分析 考研推荐系统 考研预测系统 考研大数据可视化 考研爬虫可视化 考研数据分析

开发技术前端：vue.js后端：springboot+mybatis-plus数据库：mysql算法(机器学习、深度学习)：协同过滤算法(基于用户、基于物品全部实现)、KNN爬虫：python、requests、chrome_driver大数据分析：spark、echarts特色/创新点结合百度地图api展示大学地理位置信息；通过KNN等机器学习深度学习算法进行预测；通过协同过滤算法(基于用户+基
计算机毕业设计大神·2023-11-22 21:10

Hive VS Spark

类似于spark的计算引擎还有很多，像mapreduce，flink等等。类似于hive的存储框架也是数不胜数，比如pig。最底层的存储往往都是使用hdfs。
AII派森·2023-11-22 16:55

flink1.10袋鼠云 迁移 flink1.15原生环境 事项汇总

)修改适配1DDL语法不通用(袋鼠云DDL中支持给别名DDL采用数据中台生成的模板,并把老版本DDL中的配置通过到相应参数中)2袋鼠云DDL支持给别名sql中字段和DDL中字段不一致.两种解决方案:1FlinkSQL
Thomas2143·2023-11-22 14:04

Sylph平台自定义数据源hdfs数据源

Sylph是一个一站式的大数据流计算平台，通过编译StreamSQL，sylph会自动生成ApacheFlink等分布式程序到ApacheYarn集群运行。
cherishpf·2023-11-22 14:24

DataWorks实践笔记-从入门到精通

在这个基础上，有Datahub数据总线引擎，实时计算Flink引擎
qq_43548990·2023-11-22 13:58

Flink之状态TTL机制

在Flink状态使用过程中有时需要清除State中不许需要的数据,否则State中的数据会越来越多,既增加了内存压力,也降低了计算效率.而TTL机制可以很好的帮我们解决这个分体,利用TTL机制可以将状态中的冷热数据分离
飞天小老头·2023-11-22 12:26

Flink 源码之 Side Output 踩坑

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录问题背景Flink的sideoutput为我们提供了数据分类输出的方式，根据条件将一个流分为多个数据流。
AlienPaul·2023-11-22 12:57

Flink：背压，busy time和延迟之间的关系探究

1.BackPressure（背压）在算子层面上很好理解，背压的出现代表下游的消费者的消费速度小于上游生产者的生产速度；但实际上在Flink的runtime中，每个算子由subtask组成，背压更多是一个
韩澈·2023-11-22 12:37

flink连接kafka报错

问题描述：通过本地idea方式连接kafka，报如下错误：可能原因：本地程序会查询本地配置，看是否存在ip映射，可能是本地ip映射不存在，导致连接kafka失败。(主要是由于kafka的server.properties文件中的zookeeper.connect配置的是主机名导致)解决办法：在本地hosts文件中配置ip与主机名的映射关系。
是爱学习的编程大白哦·2023-11-22 09:43

Flink基础（七）：状态的使用

Flink官网说，Flink是数据流上的有状态计算。那么问题来了，何为状态？
Hello Guava·2023-11-22 09:52

（二十）Flink Table API & SQL 编程指南 流式聚合性能优化

FlinkTableAPI和SQL使用户能够以更少的时间和精力定义高效的流分析应用程序。此外，FlinkTableAPI和SQL是高效优化过的，它集成了许多查询优化和算子优化。
京河小蚁·2023-11-22 09:21

Flink SQL流式聚合Mini-Batch优化原理浅析

FlinkSQL使得用户可以通过简单的聚合函数和GROUPBY子句实现流式聚合，同时也内置了一些优化机制来解决部分case下可能
王知无(import_bigdata)·2023-11-22 09:21

Flink 常见问题定位指南

但实际运行中，Flink作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况，甚至发生崩溃和重启，影响输出数据的质量，甚至会导致线上业务中断，造成报表断崖、监控断点、数据错乱等严重后果。
pucheung·2023-11-22 09:21

Flink Operator 使用指南 之 Flink Operator安装

介绍FlinkKubernetesOperator充当控制平面来管理ApacheFlink应用程序的完整部署生命周期。
麦田里的守望者··2023-11-22 09:21

(八）Flink DataStream API 编程指南 - 4 状态与容错 （中）

广播状态模式提供的API为了展示所提供的API，我们将从一个示例开始，然后再展示它们的全部功能。作为我们的运行示例，我们将使用这样的情况：我们有不同颜色和形状的对象流，并且我们想要找到遵循特定模式的相同颜色的对象对，例如矩形后面跟着三角形。我们假设这组有趣的模式会随着时间而演变。在此示例中，第一个流将包含Item具有一个Color和一个Shape属性的类型元素。另一个流将包含Rules.从Item
京河小蚁·2023-11-22 09:51

（八）Flink DataStream API 编程指南 - 4 状态与容错 （上）

KeyedDataStream如果你希望使用keyedstate，首先需要为DataStream指定key（主键）。这个主键用于状态分区（也会给数据流中的记录本身分区）。你可以使用DataStream中Java/ScalaAPI的keyBy(KeySelector)或者是PythonAPI的key_by(KeySelector)来指定key。它将生成KeyedStream，接下来允许使用keyed
京河小蚁·2023-11-22 09:21

（十六）Flink Datastream API 编程指南 Managing Execution

文章目录执行配置程序打包和分布式执行程序打包小结并行执行设置并行度Operator级别执行环境级别客户端级别系统级别设置最大并行度执行配置StreamExecutionEnvironment包含ExecutionConfig，它允许为运行时设置特定于作业的配置值。要更改影响所有作业的默认值，请参见配置。StreamExecutionEnvironmentenv=StreamExecutionEnv
京河小蚁·2023-11-22 09:21

Flink优化

文章目录资源配置调优内存设置并行度设置最优并行度计算Source端并行度的配置Transform端并行度的配置Sink端并行度的配置RocksDB大状态调优Checkpoint设置用FlinkParameterTool
未来影子·2023-11-22 09:49

Flink使用指南：状态计算完全搞懂了，你就是大佬！

系列文章目录Flink使用指南:面试必问内存管理模型，进大厂一定要知道！
XuTengRui·2023-11-22 09:46

Flink使用指南：Flink SQL聚合场景下的优化方案，一定要收藏！

系列文章目录Flink使用指南:教你FlinkSQL自定义Connector开发，使用SQL入库更方便！Flink使用指南：Flink设置全局变量，并在函数中获取，让你的代码更加优雅！
XuTengRui·2023-11-22 09:46

Flink Operator 使用指南 之 全局配置

背景在上一个章节中已经介绍了基本的Flink-Operator安装，但是在实际的数据中台的项目中，用户可能希望看到FlinkOperator的运行日志情况，当然这可以通过修改Flink-OperatorPOD
麦田里的守望者··2023-11-22 09:45

FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式

Flinkcdcsql的方式同步PG数据库在之前已经详细介绍过，但是有一个问题就是每个表需要占用一个slot，如果表比较多的情况用这种方法就不妥，于是我们开发了一套通用的PG数据库表同步工具。
lg4546·2023-11-22 08:59

flink 13.5 自定义connect之clickhouse

1.项目结构2.pom文件4.0.0com-wudl-ckflink-connector-clickhouse13.5jarFlinkConnectorClickHouse1.81.13.52.12.12.120.3.2
wudl5566·2023-11-22 06:58

Flink sql 实现 -connection-clickhouse的 source和 sink

1.场景2.版本mysqlflinkclickhouse5.7.20-logflink-1.13.120.11.4.135.7.20-logflink-1.13.220.11.4.135.7.20-logflink
wudl5566·2023-11-22 06:57

使用flink-connector-jdbc实现flink写入clickhouse、mysql等

适用范围：flink1.11.0及之后版本，包名为flink-connector-jdbc编辑pom.xml中的小节添加依赖。
ming_rw·2023-11-22 06:55

【Flink】使用JDBC connector写入ClickHouse

文章目录1.概述2.背景信息2.1背景信息3.Flink1.10.1+flink-jdbc3.2准备表4.Flink1.11.0+flink-connector-jdbc4.1准备数据4.2改造5.flink-clickhouse-sink5.1
九师兄·2023-11-22 06:20

flink-cdc,clickhouse写入，多路输出

1、场景kafka日志数据从kafka读取1、关联字典表：完善日志数据2、判断日志内容级别：多路输出低级：入clickhouse高级：入clickhouse的同时推送到kafka供2次数据流程处理。2、实现packagecom.ws.kafka2clickhouse;importcn.hutool.json.JSONUtil;importcom.ws.kafka2clickhouse.bean.C
qzWsong·2023-11-22 06:18

Flink 使用JDBC connector 写入 Clickhouse

写在前面Flink1.11.0对JDBCconnector进行了一次较大的重构重构之前（1.10.3以及之前版本），包名为flink-jdbc.重构之后（1.11.0以及之后版本），包名为flink-connector-jdbc.Flink1.11.0
chaos jin·2023-11-22 06:46

Doris系列之动态分区操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-22 05:32

数据治理入门

处理模式模式名称常见场景常见框架批处理夜间几个小时，无人值守hivesparkdatax流处理7*24H一直运行，无人值守maxwell,flink,flume,kafka即席处理人机交互接口访问web
十七✧ᐦ̤·2023-11-22 04:36

使用JMX监控ZooKeeper和Kafka

JVM默认会通过JMX的方式暴露基础指标，很多中间件也会通过JMX的方式暴露业务指标，比如Kafka、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink等等。
跟着大数据和AI去旅行·2023-11-22 01:34

Iceberg学习笔记（1）—— 基础知识

是一个面向海量数据分析场景的开放表格式（TableFormat），其设计的目的是解决数据存储和计算引擎之间的适配的问题表格式（TableFormat）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink
THE WHY·2023-11-21 22:50

Flink+Hologres 亿级用户实时UV精确去重最佳实践

UV、PV计算，因为业务需求不同，通常会分为两种场景：离线计算场景：以T+1为主，计算历史数据实时计算场景：实时计算日常新增的数据，对用户标签去重针对离线计算场景，Hologres基于RoaringBitmap，提供超高基数的UV计算，只需进行一次最细粒度的预聚合计算，也只生成一份最细粒度的预聚合结果表，就能达到亚秒级查询。具体详情可以参见往期文章>>Hologres如何支持超高基数UV计算(基于
阿里云技术·2023-11-21 22:32

盘一盘 Python 系列 - Cufflinks (下)

本文含8890字，37图表截屏建议阅读46分钟0引言本文是Python系列的Cufflinks补充篇。
weixin_38753422·2023-11-21 20:10

Flink运行时架构

1运行时相关的组件  Flink运行时架构主要包括四个不同的组件：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher
Quinto0·2023-11-21 19:14

4 Flink 运行架构

4Flink运行架构Flink运行时的组件Flink运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager
一直奔跑的马·2023-11-21 19:13

Flink-运行时架构介绍

文章目录Flink运行时架构系统架构整体架构作业管理器（JobManager）任务管理器（TaskManager）作业提交流程高层级抽象视角独立模式（Standalone）YARN集群数据流图（DataflowGraph
迷雾总会解·2023-11-21 19:11

Flink架构和运行流程

Flink概述Flink是什么Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算Flink特点高吞吐和低延迟.每秒处理数百万个事件,毫秒级延迟结果的准确性.Flink提供事件时间和处理时间
GoldXt·2023-11-21 19:04

Flink 运行架构和核心概念

Flink运行架构和核心概念几个角色的作用：客户端：提交作业JobManager进程任务管理调度JobMaster线程一个job对应一个JobMaster负责处理单个作业ResourceManager资源的分配和管理
Made in Program·2023-11-21 19:02

flink 1.17.1的pom.xml模板

flink1.17.1的pom.xml模板4.0.0com.zbqmyflink1.0-SNAPSHOTmyflinkhttp://www.example.com1.17.1cn.hutoolhutool-all5.7.12org.apache.flinkflink-streaming-java
诗风雅韵·2023-11-21 19:35

flink 1.13.2的pom.xml文件模板

flink1.13.2的pom.xml文件模板4.0.0com.zbqmyflink1.0-SNAPSHOTmyflink1.13.21.82.121.7.30org.apache.flinkflink-java
诗风雅韵·2023-11-21 19:29

2020-07-22 Flink去重方案总结

在本场Chat中，会基于Flink提供不同的去重方案，深入分析每一种方案的使用方式，并且提供代码参考，会讲到如下内容：MapState方式去重SQL方式去重HyperLogLog方式去重HyperLogLog
liuhensiyuhua·2023-11-21 18:43

【小爱学大数据】FlinkKafkaConsumer

今天小爱学习FlinkKafkaConsumer。ApacheFlink是一个流处理和批处理的开源框架，它提供了数据流程序设计模型，以及运行环境和分布式执行引擎。
爱开发V·2023-11-21 14:16

Vue 和 React源码学习指南，进阶必备

作为前端最火的两个框架，React和Vue几乎是面试必考的内容。特别是到了中高级前端岗，企业不仅要考察你对两个框架的应用，还会从源码层面考察你对框架的掌握程度，比如：Computed属性为什么能够在依赖改变的时候，自己发生变化？Vuex的Mutation和Action的区别？ReactFiber的理解和原理Vue和React的diff有什么不同如果你的目标是大厂，而上面的问题你只会从应用层面去解答
frontend_frank·2023-11-21 13:04

Flink 源码之 SQL TableSource 和 TableSink

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言FlinkSQL可以将多种数据源或数据落地端映射为table，使用起来非常方便。
AlienPaul·2023-11-21 13:01

Netty源码学习4——服务端是处理新连接的&netty的reactor模式

零丶引入在前面的源码学习中，梳理了服务端的启动，以及NioEventLoop事件循环的工作流程，并了解了Netty处理网络io重要的Channel，ChannelHandler，ChannelPipeline
快乐非自愿·2023-11-21 12:16
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他