Flink源码学习

flink学习之sql-client之踩坑记录

flink/bin目录下会看到这个脚本，最开始以为是和spark-shell差不多的。结果自行摸索无果，网上查的文章也写的很垃圾，自己查官网看下吧。SQL客户端|ApacheFlink直接.
cclovezbf·2023-12-04 02:00

==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-unit-files === Authentication is required to

systemctl命令启动应用程序时需要输入密码根据上面提示得知权限由polkit进行管理，对应的是org.freedesktop.systemd1.policy这个配置文件下进行修改即可[zhangflink
Appreciate(欣赏)·2023-12-03 23:19

初始化 Clouder Manager 数据库报错Unable to find JDBC driver for database type: MySQL

没有的新建），驱动名称也要修改为mysql-connector-java.jar再次执行后成功：sudo/opt/cloudera/cm/schema/scm_prepare_database.sh-hflinkv3mysqlscmscm123456
Appreciate(欣赏)·2023-12-03 23:17

【数据中台】开源项目（3）-Linkis

通过使用Linkis提供的REST/WebSocket/JDBC等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink等底层引擎，同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通
码农丁丁·2023-12-03 23:42

T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践

出行大数据平台负责人、ApacheKyuubicommitter杨华和T3出行高级大数据工程师李心恺共同分享了ApacheKyuubi(Incubating)在T3出行的最新实践与应用，包括基于Kyuubi设计的FlinkSQLEngine
网易杭研·2023-12-03 23:41

近期关注的大数据开源项目

截止至2022-02-08计算引擎ServiceGitStarContributorsReleaseLicenseApacheFlink18.1k1005v1.14.3Apache-2.0ApacheFlink
訾零·2023-12-03 23:11

Flink的API操作

1、Flink简介官网ApacheFlink®-数据流上的有状态计算ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。
羋学僧·2023-12-03 23:33

初识scala

为什么要用scala大数据很多框架是用scala写的，如：saprk、kafka、flink代码简洁多范式：面向对象编程（抽象现实世界）和函数式编程（编程简洁）兼容java环境并发模式使用Actor，可以简化编程
松松土_0b13·2023-12-03 18:19

Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门

1.概览多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。在之前的Doris版本中，用户数据只有两个层级：Database和Table。当我们需要连接一个外部数据目录时，我们只能在Database或Table层级进行对接。比如通过createexternaltable的方式创建一个外部数据目录中的表的映射，或通过crea
hf200012·2023-12-03 16:07

Flink入门（一）

整体框架Flink概述Flink上手部署Flink架构DataStreamAPI(算子)Flink中的时间和窗口：窗口就是范围处理函数：底层函数状态管理：容错机制：报错重启后能够从出错的位置继续执行FlinkSQL
十七✧ᐦ̤·2023-12-03 16:36

flink+kafka的端到端一致性

上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据。
另存為·2023-12-03 14:03

IDEA -source 1.5 中不支持 lambda 表达式解决方法

一直在用scala编写Spark或者Flink代码，对于Java的lambda表达式一直认为没有前者一直点(".")下去方便，偶然用后者写代码中间出现一些小的设置问题，记录一下：示例代码finalLocalEnvironmentenv
架构师联盟·2023-12-03 12:29

【Spring Boot 源码学习】自定义 Banner 信息打印

SpringBoot源码学习系列自定义Banner信息打印引言往期内容主要内容1.ResourceBanner打印1.1添加默认的banner.txt资源文件1.2指定任意路径的资源文件1.3添加自定义的信息
Huazie·2023-12-03 12:52

【Spring Boot 源码学习】Banner 信息打印流程

SpringBoot源码学习系列Banner信息打印流程引言往期内容主要内容1.printBanner方法2.关闭Banner信息打印3.SpringApplicationBannerPrinter类3.1LOG
Huazie·2023-12-03 12:52

【Spring Boot 源码学习】BootstrapRegistryInitializer 详解

SpringBoot源码学习系列BootstrapRegistryInitializer详解引言往期内容主要内容1.初识BootstrapRegistryInitializer2.加载BootstrapRegistryInitializer3
Huazie·2023-12-03 12:49

Flink（九）【时间语义与水位线】

《解忧杂货店》1、时间语义Flink中的时间语义有两个：事件时间和处理时间。事件时间也就是数据产生的时间，通常都是数据自带的一个属性。处理时间则是指数据传输到我们集群被处理的时间。
让线程再跑一会·2023-12-03 10:13

【数据中台】开源项目（5）-Amoro

介绍AmoroisaLakehousemanagementsystembuiltonopendatalakeformats.WorkingwithcomputeenginesincludingFlink
码农丁丁·2023-12-03 08:05

flink自定义source与自定义sink

flink自定义source与自定义sinkflink的source和sink即数据源和数据接收器。
k_wzzc·2023-12-03 08:21

【FreeRTOS】FreeRTOS 源码学习笔记（1） 文件结构 + stm32f103c8t6移植步骤

0.引言之前freeRTOS用过几次，但是项目赶工的急，一直没有认真的去里面看过，最近正好有空，准备到里面看下源码实现，毕竟核心文件就这么几个，认真看一下流程，对操作系统的雏形也就有一个认识了。而且一些常用的功能，队列，内存管理，信号量之类的，都有，基本上彻底弄懂一个，对以后理解别的也有帮助。1.FreeRTOS介绍FreeRTOS其实不用再多介绍了，现在太火了，主要是免费，感觉很多厂家的出场de
taotao830·2023-12-03 07:48

Kafka（六）利用Kafka Connect+Debezium通过CDC方式将Oracle数据库的数据同步至PostgreSQL中

简单介绍场景二的例子，将Oracle数据库的数据通过CDC方式同步至PostgrSQL中使用Debezium时遇到问题的排查思路场景一和场景三的实现思路ETL(Extract,Transform,andLoad)和FlinkCDC
JackSparrow414·2023-12-03 07:01

解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘

你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、Spark和Flink等工具来编写SQL查询。
Light Gao·2023-12-03 06:21

Flink-CDC 1.2 介绍及使用

CDC简介CDC是ChangeDataCapture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC的种类CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：基于查询的CDC基于Binlog的CDC开源产品Sqoop、Kafk
_大叔_·2023-12-03 06:45

【重点】Flink四大基石

摄入时间：数据进入Flink的时间；在系统内部，会把它当做事件时间来处理。事件时间在实际应用中更为广泛，从Flink1.12版本开始，Flink已经将事件时间作为默认的时间语义。
不进大厂不改名二号·2023-12-03 04:01

DAB-Deformable-DETR源码学习记录之模型构建（二）

书接上回，上篇博客中我们学习到了Encoder模块，接下来我们来学习Decoder模块其代码是如何实现的。其实Deformable-DETR最大的创新在于其提出了可变形注意力模型以及多尺度融合模块：其主要表现在Backbone模块以及self-attention核cross-attention的计算上。这些方法都在DINO-DETR中得到继承，此外DAB-DETR中的AnchorQuery设计与b
彭祥.·2023-12-03 03:00

AliExpress基于Flink的广告实时数仓建设

摘要：实时数仓以提供低延时数据指标为目的供业务实时决策，本文主要介绍基于Flink的广告实时数仓建设，主要包括以下内容：1.建设背景2.技术架构3.数仓架构4.实时OLAP5.实时保障6.未来规划建设背景广告是目前互联网流量变现的一种
王知无(import_bigdata)·2023-12-02 19:01

Hadoop进阶学习---MapReduce分布式计算架构

1.单词统计流程(文字简单描述)已知文件内容:hadoophivehadoopsparkhiveflinkhivelinuxhivemysql计算每个单词出现的次数2.MR底层计算原理[重点]MAP阶段第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片
Yan_bigdata·2023-12-02 19:30

Hdoop学习笔记（HDP）-Part.18 安装Flink

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:45

Flink系列：使用Debezium将MySQL数据库表数据采集到Kafka Topic，并将Kafka Topic数据同步到StarRocks数据库

Flink系列：使用Debezium将MySQL数据库表数据采集到KafkaTopic，并将KafkaTopic数据同步到StarRocks数据库在本篇文章中，我们将介绍如何使用ApacheFlink、
代码指四方·2023-12-02 18:36

docker踩坑记录：docker容器创建doris容器间无法通讯问题

先进行开发环境搭建，环境为BE1;FE1，原来使用官方例子，但是官方例子是创建了一个bridge使用172.20.80.0/24通讯，这样正常来说，使用fe去操作doris是没有问题的，但是我们现在要使用flink
Alaia.·2023-12-02 14:47

2021-01 Flink SQL CDC学习

Flink1.11引入了FlinkSQLCDC，基于社区的开源组件flink-cdc-connectors实现，这是一个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的
星路旅行者·2023-12-02 13:39

maven打包设置，将所有内容打进一个jar包内

${project.artifactId}org.springframework.bootspring-boot-maven-plugin2.6.3cn.Flink01ApplicationZIPrepackage
山高终有顶，人行无尽头·2023-12-02 09:15

Flink的部署模式和运行模式

集群角色Flink提交作业和执行任务，需要几个关键组件：客户端：代码由客户端获取并作转换，之后提交给JobmanagerJobmanager就是Flink集群的管事人，对作业进行中央调度管理；当从客户端获取到转换过的作业后会进一步进行处理
Stephen6Yang·2023-12-02 04:29

【已解决】Cannot find project Scala library 2.11.8 for module XXX

问题描述在flink示例程序调试过程中，reloadproject报错CannotfindprojectScalalibrary2.11.8formoduleHbasePrint报错如下图所示：问题解决经过搜索
mba1398·2023-12-02 02:41

FlinkSql-Temporal Joins-Lookup Join

说明在FlinkSQL中，TemporalJoins是一种常见的数据关联操作，特别适用于处理包含时间维度的数据。
PONY LEE·2023-12-01 17:25

Flink学习笔记(2)——Flink快速上手

目录一、Flink快速上手1.1、环境准备1.2创建项目1.3编写代码1.3.1批处理1.3.2流处理1.4本章总结一、Flink快速上手对Flink有了基本的了解后，接下来就要理论联系实际，真正上手写代码了
默萧756·2023-12-01 17:54

Flink快速上手 完整使用 (第二章)

Flink快速上手完整使用一、环境准备二、创建项目1、创建项目!
小坏讲微服务·2023-12-01 17:24

Flink代码初学记录

Flink代码初学记录第一次使用markdown编辑器言归正传，Flink代码学习Flink的架构和执行流程从WordCount开始分解代码设计算子拓扑总结第一次使用markdown编辑器哈哈哈，还挺有意思的嘛
AEsun·2023-12-01 16:53

Flink（八）【窗口】

今天开始继续学习Flink，接着上次的内容。今日摘录：他觉得一个人奋斗更轻松自在。跟没有干劲的人在一起厮混，只会徒增压力。-《解忧杂货店》1、窗口之前我们已经了解了Flink中基本的聚合操作。
让线程再跑一会·2023-12-01 16:21

初学Flink 学后总结

最近开始学习Flink，一边学习一边记录，以下是基于【尚硅谷】Flink1.13实战教程总结的笔记，方便后面温习目录初始Flink一：基础概念1.Flink是什么2.Flink主要应用场景
小鹿的周先生·2023-12-01 16:21

Flink源码解析零之重要名词的理解

名词解释1）StreamGraph根据用户通过StreamAPI编写的代码生成的最初的图。（1）StreamNode用来代表operator的类，并具有所有相关的属性，如并发度、入边和出边等。（2）StreamEdge表示连接两个StreamNode的边。2）JobGraphStreamGraph经过优化后生成了JobGraph，提交给JobManager的数据结构。（1）JobVertex经过优
数据与后端架构提升之路·2023-12-01 12:51

Apache Flink 进阶（三）：Checkpoint 原理解析与应用实践

简介：大家好，今天我将跟大家分享一下Flink里面的Checkpoint，共分为四个部分。首先讲一下Checkpoint与state的关系，然后介绍什么是state?
bigdata张凯翔·2023-12-01 12:23

flink on k8s部署--kubernetes operator方式&Application Mode方式(附构建flink镜像Dockerfile)

Flinkkubernetesoperator方式flinkkubernetesoperator官网地址需要kubernetesversion>=1.6，flinkversion>=1.13本次部署方案采用
辛友·2023-12-01 07:21

Flink on Kubernetes 计算和存储分离落地实践

将Flink从Yarn迁移到Kubernetes平台带来了许多优势。在这种架构下，将计算和存储解耦，计算部分运行在Kubernetes上，而存储则使用HDFS等分布式存储系统。
1661616sjsjsk·2023-12-01 07:51

Flink On K8s实践2:Flink Kubernetes Operator安装使用

在上一篇文章《FlinkOnK8s实践1:FlinkKubernetesOperator介绍》中讲解了FlinkKubernetesOperator是什么和它的架构，本文继续讲解如何安装和使用FlinkKubernetesOperator
BigdataOnK8s·2023-12-01 07:50

【Flink进阶】-- Flink kubernetes operator 快速入门与实战

1、课程目录2、课程链接https://edu.csdn.net/course/detail/38831
high2011·2023-12-01 07:49

2019-02-01

大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算（MapReduce、Spark）实时计算——流式计算(Storm、SparkStreaming)Flink
奔跑的风2019·2023-12-01 04:34

【Flink实战系列】Flink 消费 kafka 并行度设置多少合理(kafka 的 partition 和 Flink 的 subtask 对应关系) ?

Flink消费kafka数据并行度设置多少比较合理?最近一个朋友问我的问题,Flink消费kafka数据的时候,并行度设置多少比较合理呢?假如消费多个topic,又该怎么设置呢?
JasonLee实时计算·2023-11-30 22:34

flink 解决udf重复调用的问题（亲测有效）

问题针对如图的情况，udf会被调用4次，如果udf是计算型的，后果很严重。接下来介绍一下解决的办法。更改底层源码大神的博客继续往下看，有测试过程测试UDF1.写两个udfpublicclassUdf1extendsScalarFunction{publiclongeval(longordernumber
重生之我在异世界打工·2023-11-30 22:04

flink自定义metrics监控kafka消费

一背景因为业务需求，要在flink中监控kafka消费的数据量以及积压情况，在网上找了很久没找到直接能用的代码。在这里把自己的实现记录一下。
zyyBjtu·2023-11-30 22:04

Flink监控报警系统

Metric实时监控报警思路自己做Metric监控TaskMetrics点击右上角可以添加多个指标，我目前认为通过查看这几个指标可以大概知道任务的运行情况。checkpoint
重生之我在异世界打工·2023-11-30 22:03
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他