制胜Flink

【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据可视化接口实现

这里写自定义目录标题第1章数据可视化接口1.1设计思路1.2需求梳理1.2.1最终显示效果图1.2.2分析可视化大屏1.2.3接口执行过程第2章Sugar数据大屏2.1产品介绍2.2使用入口2.3创建数据大屏第3章总成交金额接口3.1Sugar组件：数字翻牌器3.1.1添加组件3.1.2配置组件3.1.3查询组件需要的数据格式3.1.4接口访问路径以及返回格式3.2数据接口实现3.2.1创建数据接
在学习的王哈哈·2023-09-13 13:31

FlinkCDC菜鸟教程/演示 Mysql基于Flink CDC 导入 Kafka

演示:Mysql基于FlinkCDC导入Kafka使用下面的内容创建一个docker-compose.yml文件：version:'2.1'services:mysql: image:debezium/
半部论语·2023-09-13 12:51

大数据开发：Flink内存模型与参数讲解

对Flink的内部运行机制的理解，是整个框架的学习当中，是非常关键的一部分，其中Flink基于内存的数据存储和管理，也是非常重要的知识点。今天的大数据开发学习分享，我们来讲讲Flink内存模型与参数。
成都加米谷大数据·2023-09-13 08:44

flink命令行提交jar包任务

1.环境准备1.1flink环境准备关于如何安装flink，这个写的非常详细，https://blog.csdn.net/qq_43699958/article/details/132826440在flink
码上无bug·2023-09-13 06:54

FlinkSql-滚动窗口-滑动窗口-追加模式/缩进模式

滚动窗口滚动窗口（TumblingWindows）滚动窗口有固定的大小，是一种对数据进行均匀切片的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（windowsize）。demo演示：场景：接收通过socket发送过来的数据，每30秒触发一次窗口计算逻辑（1）准备一个实体对象，消息对象packag
for your wish·2023-09-13 00:35

大数据Flink（七十三）：SQL的滚动窗口（TUMBLE）

在这种情况下，Flink将每隔5分钟开启一个新的窗口，其中每一条数都会划分到唯一一个5分钟的窗口中，如下图所示。
Lansonli·2023-09-13 00:35

大数据Flink（七十六）：SQL的渐进式窗口（CUMULATE）

文章目录SQL的渐进式窗口（CUMULATE）SQL的渐进式窗口（CUMULATE）渐进式窗口定义：渐进式窗口在其实就是固定窗口间隔内提前触发的的滚动窗口，其实就是TumbleWindow+early-fire的一个事件时间的版本。例如，从每日零点到当前这一分钟绘制累积UV，其中10:00时的UV表示从00:00到10:00的UV总数。
Lansonli·2023-09-13 00:48

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2023-09-12 19:25

使用OpenAI CLIP进行文本到图像和图像到图像的搜索

在车辆卡口数据中，需要快速检索和匹配大量的信息，找到嫌疑车辆进行布控；在物品和商品识别方面，需要进行相似性搜索，找到相关性证据，还有在一些重大节假日，安保问题以及重点人员的布控，以前我们只能基于结构化数据使用Flink
技术狂潮AI·2023-09-12 18:19

Docker网络

77:eth0@if78:mtu1500qdiscnoqueuestateUPgroupdefaultlink/ether02:42:ac:11:00:03brdff:ff:ff:ff:ff:fflink-netnsid0inet172.17.0.3
HeartBiuBurn·2023-09-12 15:15

棋牌游戏在战争中的趣味应用

大家都知道，棋牌游戏在战争中具有战棋推演的作用，消磨无聊的战争时间也是一个非常好的选择，但是除此之外，在历史中还有着一些有趣的应用，所谓用兵之道，存乎一心，常能出奇制胜。
白马笑北风·2023-09-12 14:33

基于 Flink CDC 高效构建入湖通道

本文整理自阿里云Flink数据通道负责人、FlinkCDC开源社区负责人，ApacheFlinkPMCMember&Committer徐榜江（雪尽），在StreamingLakehouseMeetup的分享
Apache Flink·2023-09-12 09:02

flink sql热加载自定义函数 不重启flink集群

publicstaticclassmyFunctionextendsScalarFunction{publicinteval(Stringvalue){returnvalue.length();}}第二步打包后放到一个位置比如：flink
wudl5566·2023-09-12 09:02

【跟小嘉学 Apache Flink】二、Flink 快速上手

系列文章目录【跟小嘉学ApacheFlink】一、ApacheFlink介绍【跟小嘉学ApacheFlink】二、Flink快速上手文章目录系列文章目录@[TOC](文章目录)一、创建工程1.1、创建Maven
小嘉丶学长·2023-09-12 09:29

flink on yarn任务中文乱码问题解决记录

开发反馈预生产部分部分flink任务出现中文乱码的问题找到乱码的flink任务所在的节点，登录服务器，执行locale命令：发现是locale没有设置好，使用vim编辑文本，写入中文都直接乱码对比其他几台机器
Java小田·2023-09-12 09:29

26、Flink 的SQL之概览与入门示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-09-12 09:28

Flink DataStream 体系

本专栏目录结构和参考文献请见大数据技术体系思维导图正文对Flink这种以流为核心的分布式计算引擎而言，数据流是核心数据抽象，表示一个持续产生的数据流，与ApacheBeam中的PCollection的概念类似
Shockang·2023-09-12 09:58

27、Flink 的SQL之SELECT (select、where、distinct、order by、limit、集合操作和去重)介绍及详细示例（1）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-09-12 09:57

【实战-06】正确设置flink参数，彻底站起来

参数宝典如何正确设置参数flinkTable模式下的参数Table模式下参数类相关DataStream模式下怎么设置参数？
笔生花·2023-09-12 07:11

Flink——Flink CheckPoint之两阶段提交协议（Two-Phase Commit Protocol）

文章目录两阶段提交协议1.两阶段提交的前提条件2.两阶段提交的基本算法a.第一阶段（提交请求阶段）b.第二阶段（提交执行阶段）3.两阶段提交的缺点Flink-两阶段提交协议1.Flink-Kafka构建端到端
aof_·2023-09-12 00:20

Flink CDC-MySQL CDC配置及DataStream API实现代码...可实现监控采集多个数据库的多个表

MySQLCDC配置第一步:启用binlog1.检查MySQL的binlog是否已启用showvariableslike'%log_bin%';2.若未启用binlog打开MySQL配置文件my.cnf(MySQL安装目录的etc文件夹下)找到[mysqld]部分，添加如下配置log-bin=mysql-bin#指定二进制日志文件的名称前缀server-id=1#唯一标识MySQL服务器的数字ex
aof_·2023-09-12 00:49

flink解析：EventTime与Watermark

版本：1.11当是EventTime类的应用时，Watermark才有意义（IngestTime也可以生成WaterMark，很少用），它是一个时间，表示后来的数据的EventTime都大于该Watermark，即不满足条件的记录不会被纳入计算，特别地，对于窗口算子，触发窗口计算与清理1.EventTime的分配与Watermark生成1.1通过SourceFunction在run方法中调用@Ov
王大为学习笔记·2023-09-11 22:15

Flink实战-实时读取日志文件和kafka，持续统计TOP10热门商品

从日志中读取数据做一些统计聚合，最终把想要的数据输出，基本是每个公司都会有的场景，比如用户分析，商品分析，实时大屏等等，我们最早的做法是全部读出来，写到redis或者es去，然后web端再去实时查询统计，其实有很多的弊端要么每次请求都会去重新算一遍耗性能不说还慢的不行，业务方接受不了或者直接把统计信息存进去，但要实时统计就比较麻烦，比如1小时存一个点，那业务方可能要的是当前10:05-11:05的
马飞·2023-09-11 21:22

flink 写入数据到 kafka 后，数据过一段时间自动删除

版本flink1.16.0kafka2.3流程描述：flink利用KafkaSource，读取kafka的数据，然后经过一系列的处理，通过KafkaSink，采用EXACTLY_ONCE的模式，将处理后的数据再写入到新的
xhaoDream·2023-09-11 19:41

Flink源码阅读之Checkpoint执行过程

前言对应Flink来说checkpoint的作用及重要性就不细说了，前面文章写过checkpoint的详细过程和checkpoint周期性触发过程。不熟悉checkpoint大概过程的同学可以查阅。
〇白衣卿相〇·2023-09-11 18:18

利智有多聪明？吃一次醋就让李连杰乖乖“听话”30年

【参选“亚洲小姐”，出奇制胜，所有人眼里的“花瓶”利智其实很聪明】利智25岁那年参选“亚洲小姐选美大
新波_1501·2023-09-11 18:45

flink 端到端一致性

背景我们经常会混淆flink提供的状态一致性保证和数据端到端一致性保证的关系，总以为他们表达的是同一个意思，事实上，他们不是一个含义，flink只能保证其维护的内部状态的一致性，而数据端到端的一致性需要数据源
lixia0417mul2·2023-09-11 14:59

基于 Flink CDC 高效构建入湖通道

本文整理自阿里云Flink数据通道负责人、FlinkCDC开源社区负责人，ApacheFlinkPMCMember&Committer徐榜江（雪尽），在StreamingLakehouseMeetup的分享
·2023-09-11 11:51

「Java工具类」验证码工具类java生成验证码工具类

通用工具类的分享；以及springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka、flink
程序员阿宁·2023-09-11 11:45

flink1.14 使用cdh 5.11 hive作为catalog，在编译时报错的问题

加入如下依赖即可，不需要再使用flink-shaded包了commons-configurationcommons-configuration1.10org.apache.htracehtrace-core3.1.0
xiaoyan5686670·2023-09-11 07:46

Flink不同版本间的编译区别

一、1.11.0版本及以前以前的方式是先编译flink-shaded-hadoop这个包，将hadoop和hive指定你对应生产的版本编译出flink-shaded-hadoop-2-uber_xxx包
FishMAN_已存在·2023-09-11 07:16

01 - Flink源码编译

本文以目前最新的Flinkrelease分支release-1.14讲解源码的编译。1.环境准备源码编译前需要事先准备3个工具:git，maven，JDK。
敲代码的卡普罗尼·2023-09-11 07:16

CDH6.2.0（别的也适用） 编译flink1.14.3

1.方法有两种1.1克隆cloudera提供的打包，然后下载flink一步一步按照教程来，比较麻烦。1.2采用大佬开发好的脚本，直接一个shell搞定。
jiayeliDoCn·2023-09-11 07:16

Flink 1.14.X集成Hudi 0.11.0详细步骤

HudiMaster节点最新代码打包a.最外层install（进flink群v：zoomake1024）mvncleaninstall-DskipTests-Dscala-2.12-Pflink-bundle-shade-hive1b
代码之巅·2023-09-11 07:45

CDH6配置Flink(编译安装)

一、环境CDH6.1.1(Hadoop3.0.0)、Flink1.10.1、Centos7.4、Maven3.6.3、Scala-2.12和CDH的原生jdk1.8二、安装包1.flink1.10.1tar
雷雷飘过·2023-09-11 07:45

Flink-1.12.0/1.14.3-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.12.0/1.14.3

**自己编译的Flink源码，并制作相应的parcel，已完成flink1.12和最新flink版本1.14.3.**如果不想自己编译，可以使用我编译和制作好的parcel文件。亲测可用。
陈一诺.·2023-09-11 07:14

hudi 编译

mvncleanpackage-Dmaven.test.skip=true-Dcheckstyle.skip=true-Drat.skip=true-Dspark3.0-DScala2.12-Dflink1.14
empcl·2023-09-11 07:44

flink1.14版本集成FlinkCDC报错

报错信息：错误原因：cdc目前支持到flink1.13.3,具体看githubpom,https://github.com/ververica/flink-cdc-connectors/blob/master
逐 梦·2023-09-11 07:13

Flink1.14源码编译失败，报错：npm ci --cache-max=0 --no-save

临时起意，想编译下1.14的源码，结果在flink-runtime-webmodule下报错，导致编译失败。
Better~Me·2023-09-11 07:13

flink-1.14编译报错 could not found kafka-schema-registry-client-5.5.2.jar 包

flink-1.14编译报错couldnotfoundkafka-schema-registry-client-5.5.2.jar包@TOC解决方案:进入http://packages.confluent.io
Bug毁损大师·2023-09-11 07:13

flink 1.14 编译

编译命令mvncleanpackage-DskipTests-Dcheckstyle.skip=true-Drat.skip=true-T8指定hadoop版本mvncleaninstall-DskipTests-Dhadoop.version=2.7.3-Dcheckstyle.skip-Drat.skip=true-Dspotless.check.skip=true-T8注意点-DskipTe
empcl·2023-09-11 07:12

大数据-玩转数据-Flink状态后端（下）

一、状态后端每传入一条数据，有状态的算子任务都会读取和更新状态。由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务(子任务)都会在本地维护其状态，以确保快速的状态访问。状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端（statebackend）。当使用checkpoint时，状态(state)会被持久化到checkpoint上，以防止数据的丢失并确保发生故障时
人猿宇宙·2023-09-11 06:56

大数据-玩转数据-Flink 容错机制

在Flink中，有一套完整的容错机制，最重要就是检查点（checkpoint）。
人猿宇宙·2023-09-11 06:23

国产化改造之Mysql迁移方案：Mysql Galera Cluster

平滑迁移并成功割接将是本次方案的重要方向，现场环境涉及需迁移数据780G左右，目标主机OS版本：BC-LinuxforEuler22.1064位，官网显示兼容大部分应用，现场测已兼容：mysql、es、redis、nginx、flink
羌俊恩·2023-09-11 05:39

Flink新特性之非对齐检查点（unaligned checkpoint）简介

前言在食用本文之前，建议看官先充分食用这两篇文章：《Chandy-Lamport分布式快照算法小记》与《深入理解Flink的轻量级异步屏障快照（ABS）算法》。
LittleMagic·2023-09-11 05:32

ClickHouse场景及其原理

这里直接从原始数据开始消费，通过Flink清洗任务将数据洗入数据仓库存储，在数据仓库经过作业清洗并在ClickHouse生成用户行为明细，可以称作无模型化明细数据。利用Click
有时需要偏执狂·2023-09-11 04:16

flink sql 13.2 读取与写入数据库的报错（踩坑）

flinksql读取与写入数据的报错（踩坑）flinksqlsinkmysql没有数据写入或数据写入中文乱码或报useSSLflinksqlsourcemysql任务执行正常没有任何报错信息（构建FlinkLookUp
cg6·2023-09-11 02:24

python连接hive数据库

下载对应的所需包文件fromimpala.dbapiimportconnectimportpandasaspdimportnumpyasnp#连接hivedefLinkHive(sql_select):
DB_UP·2023-09-11 01:07

Flink JobManager的高可用配置

背景在flink执行中，jobManager是一个负责执行流式应用执行和检查点生成的组件，一旦发生故障，那么其负责的所有应用都会被取消，所以我们需要对JobManager配置高可用的模式JobManager
lixia0417mul2·2023-09-10 23:45

flink时间处理语义

背景在flink中有两种不同的时间处理语义，一种是基于算子处理时间的时间，也就是以flink的算子所在的机器的本地时间为准，一种是事件发生的实际时间，它只与事件发生时的时间有关，而与flink算子的所在的本地机器的本地时间无关处理时间
lixia0417mul2·2023-09-10 23:15
上一页 80 81 82 83 84 85 86 87 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他