E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Flink大数据框架
福利「
Flink
Forward Asia 2023 」PPT 阅读合集!
2023年12月8日-9日,
Flink
ForwardAsia(FFA)峰会成功举行。
·
2024-02-19 11:20
后端flink大数据实时计算
Flink
和Kafka端到端数据一致性
Flink
内部把Checkpoint开启,设置Checkpoint模式为EXACTLY_ONCEenv.enableCheckpointing(1000*10L);env.getCheckpointConfig
今天好好洗头了嘛
·
2024-02-19 10:19
Flink
kafka
flink
分布式
Flink
介绍
Flink
介绍1.简介Apache
Flink
isaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreams.
Flink
hasbeendesignedtoruninallcommonclusterenvironments
·
2024-02-19 10:08
程序员
Flink
SQL Query 语法(三)- Join
主要引用官方文档https://ci.apache.org/projects/
flink
/
flink
-docs-release-1.13/docs/dev/table/sql/queries/joins
Alex90
·
2024-02-15 06:18
Hbase - 自定义Rowkey规则
在
Flink
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用
Flink
的DataSet的方式读取
kikiki2
·
2024-02-15 06:39
基于Apache
Flink
的实时计算引擎Blink在阿里搜索中的应用
阿里巴巴是世界上最大的电子商务零售商。我们在2015年的年销售额总计3940亿美元,超过eBay和亚马逊之和。阿里巴巴搜索(个性化搜索和推荐平台)是客户的关键入口,并承载了大部分在线收入,因此搜索基础架构团队需要不断探索新技术来改进产品。在电子商务网站应用场景中,什么能造就一个强大的搜索引擎?答案就是尽可能的为每个用户提供实时相关和准确的结果。同样一个不容忽视的问题就是阿里巴巴的规模,当前很难找到
weixin_34186950
·
2024-02-15 01:50
大数据
测试
人工智能
基于 Apache
Flink
的实时计算数据流业务引擎在京东零售的实践和落地
内容主要包括五个方面:京东零售实时计算的现状实时计算框架场景优化:TopN场景优化:动线分析场景优化:
FLINK
一站式机器学习点击查看更多技术内容一、京东零售实时计算的现状1.1现状技术门槛高、学习成本大
Apache Flink
·
2024-02-15 01:50
Flink
大数据
实时计算
flink
零售
低代码
大数据
Flink
在实时搜索引擎领域的应用
Apache
Flink
是一个流处理框架,它可以处理大规模的流数据,并提供了实时计算能力。在实时搜索引擎领域,
Flink
可以用于实时处理搜索关键词、计算搜索结
禅与计算机程序设计艺术
·
2024-02-15 01:46
flink
搜索引擎
大数据
基于Kafka的实时计算引擎如何选择?
以
Flink
和Spark为首的实时计算引擎,成为实时计算场景的重点考虑对象。那么,今天就来聊一聊基于Kafka的实时计算引擎如何选择?
Flink
orSpark?2.为何需要实时计算?
java菜
·
2024-02-14 19:37
Flink
教程
1.
Flink
运行框架1.1运行组件:作业管理器(JobManager):请求slot资源管理器(ResourceManager):管理slot任务管理器(TaskManager):提供slot,执行任务分发器
July2333
·
2024-02-14 15:20
02-
flink
基本架构
02-
flink
基本架构
flink
基本组件栈
flink
基本组件栈.pngAPI&Libraries同时提供了流计算和批计算的接口,同时在此基础上抽象出不同的应用类型的组件库Runtime核心层主要负责对上层不同接口提供基础服务
蜗牛写java
·
2024-02-14 13:54
Flink
基础系列34-
Flink
CEP简介
一.什么是CEP复杂事件处理(ComplexEventProcessing,CEP)
Flink
CEP是在
Flink
中实现的复杂事件处理(CEP)库CEP允许在无休止的事件流中检测事件模式,让我们有机会掌握数据中重要的部分一个或多个由简单事件构成的事件流通过一定的规则匹配
只是甲
·
2024-02-14 08:30
Flink
1.7.0 安装、配置与使用
本地单机安装Apache
Flink
是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个
Flink
运行时,提供支持流处理和批处理两种类型应用的功能。
编码前线
·
2024-02-13 22:57
Flink
SQL实战演练之CDC Connector
简介:公司实时项目组处理的业务数据以前是由业务团队把数据push到rabbitmq,然后我们通过
flink
转运到kafka,然后再做实时计算的,由于新业务逻辑变化会较大,导致推送过来的数据偶尔会出现偏差
Coder小咚
·
2024-02-13 10:43
Flink
第二篇:集群搭建
Flink
集群搭建.
Flink
可以选择的部署方式有:Local、Standalone(资源利用率低)、Yarn、Mesos、Docker、Kubernetes、AWS。
菜鸟Coders
·
2024-02-12 17:22
Hbase - 自定义Rowkey规则
在
Flink
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用
Flink
的DataSet的方式读取
大猪大猪
·
2024-02-12 15:45
Flink
指标(一)
Flink
自带一个度量系统,允许收集和公开指标到外部系统。
Alex90
·
2024-02-12 14:55
【大数据】
Flink
on Kubernetes 原理剖析
Flink
onKubernetes原理剖析1.基本概念2.架构图3.核心概念4.架构5.JobManager6.TaskManager7.交互8.实践8.1SessionCluster8.2JobCluster9
G皮T
·
2024-02-12 13:27
#
Flink
大数据
flink
kubernetes
k8s
部署
FLink
发布任务
/bin/
flink
run-corg.apache.
flink
.streaming.examples.socket.SocketWindowWordCountSocketWindowWordCount.jar
卡门001
·
2024-02-12 09:06
[1132]
Flink
与Kafka版本对应关系
以下为
Flink
和Kafka的版本对照表
Flink
版本Kafka版本1.12.X2.4.11.11.X2.4.11.10.X2.2.11.9.X2.2.01.8.X2.0.11.7.X2.0.10.10
周小董
·
2024-02-12 01:47
Java技术栈
flink
【
Flink
】
Flink
与Kafka版本对应关系
1.概述转载:
Flink
与Kafka版本对应关系转载这个主要是上次做
flink
kafka版本升级,忘记记录了。
九师兄
·
2024-02-12 01:17
大数据-flink
【
Flink
异常】
flink
与kafka版本匹配: NetworkClient$DefaultMetadataUpdater.handleServerDisconnect
文章目录1.异常详情2.报错原因及解决办法3.
Flink
与Kafka的版本匹配1.异常详情使用
flink
1.11的kafkaconnector读取0.9版本的kafka报错:[10:49:12:644]
search-lemon
·
2024-02-12 01:17
Flink
flink
Flink
Maven项目兼容多版本Kafka
主要有两种方法可以解决:修改jar包内部的包名或者使用自定义classloader
Flink
需要导入kafka-clients来支持对kafka的生产和消费。
weixin_30855099
·
2024-02-12 01:47
大数据
java
scala
大数据--
Flink
--流处理(二)
一、
flink
单节点安装部署下载1)下载安装包[root@localhost~]#wgethttp://us.mirrors.quenda.co/apache/
flink
/
flink
-1.9.1/
flink
无剑_君
·
2024-02-11 18:38
Flink
2.0 状态存算分离改造实践
本文整理自阿里云智能
Flink
存储引擎团队兰兆千在FFA2023核心技术(一)中的分享,内容关于
Flink
2.0状态存算分离改造实践的研究,主要分为以下四部分:
Flink
大状态管理痛点阿里云自研状态存储后端
·
2024-02-11 18:02
后端flink大数据
Spark 使用之操作Hudi表
Hudi编译我们使用如下软件环境:Scala2.12
Flink
1.15Spark3.3Hudi0.13.1Hudi编译的时候会遇到依赖下载缓慢的情况。需要换用国内源。修改settin
AlienPaul
·
2024-02-11 14:52
离线数仓(一)【数仓概念、需求架构】
前言今天开始学习数仓的内容,之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、
Flink
等基础组件。
让线程再跑一会
·
2024-02-11 11:58
离线数仓
大数据
Flink
-Concepts-Programming Model
多级抽象
flink
为开发streaming/batch应用提供了不同层级的抽象。最底层的抽象提供了有状态的流(statefulstreaming)。
耳边的火
·
2024-02-11 07:31
flink
启动找不到yarn-session.sh命令
这个错误其实很低级,主要就是我安装
flink
的时候,以为自己配置了环境变量,谁知其实并没有配置环境变量。
故乡的花又开了吗
·
2024-02-11 07:57
flink
flink
Flink
-CDC增量数据同步
1、介绍1.1什么是CDCCDC是ChangeDataCapture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。1.2CDC的种类CDC主要分为基于查询和基于Binlog两种方式,我们主要了解一下这两种之间的区别:基于查询的CDC基于Binlog的CDC开源产
小鱼干换酒钱
·
2024-02-11 07:26
#
Flink
flink
大数据
flink
cdc 3.0 架构设计学习
本文将会了解到
flink
cdc3.0版本的架构设计,从一个宏观层面来学习
flink
cdc3.0带来的新特性这也是作者目前觉得学习一项技术的思路和方法,就是首先先把demo跑起来体验一下,然后整体了解一下架构设计
Antgeek
·
2024-02-11 07:56
flinkcdc
flinkcdc
flink
实时数据同步
03 -
Flink
客户端源码CliFrontend
介绍通过"bin/
flink
run"提交jar包到
Flink
集群,在"bin/
flink
"脚本中实际是调用org.apache.
flink
.client.cli.CliFrontend#main触发真正的执行
敲代码的卡普罗尼
·
2024-02-11 07:26
Flink
flink
java
hadoop
Flink
CDC第三部分-同步mysql到mysql,ctrl就完事~(
flink
版本1.16.2)
注:1.16版本、1.17版本都可以使用火焰图,生产上最好关闭,详情见文章末尾
Flink
版本:1.16.2环境:LinuxCentOS7.0、jdk1.8基础文件:
flink
-1.16.2-bin-scala
草莓不苦
·
2024-02-11 07:25
运行环境
mysql
数据库
flink
【
flink
脚本系列】py
flink
-shell.sh 功能用法示例源码解析
py
flink
-shell.sh文章目录py
flink
-shell.sh脚本主要功能脚本加上中文注释该脚本多种用法及其代码示例
flink
中其他类似脚本脚本主要功能该脚本用于启动Py
Flink
的交互式Shell
BigDataMLApplication
·
2024-02-11 07:25
flink
flink
python
大数据
flink
cdc 3.0 源码学习之任务提交脚本
flink
-cdc.sh
大道至简,用简单的话来描述复杂的事,我是Antgeek,欢迎阅读.在
flink
3.0版本中,我们仅通过一个简单yaml文件就可以配置出一个复杂的数据同步任务,然后再来一句bashbin/
flink
-cdc.shmysql-to-doris.yaml
Antgeek
·
2024-02-11 07:55
flinkcdc
flink
flinkcdc
源码
Flink
CDC 2.0 实践
一、什么是
Flink
CDC1.1什么是
Flink
-CDC
Flink
-CDC是
Flink
上的CDC项目,该项目为各数据库产品提供CDC能力。
问简
·
2024-02-11 07:55
hadoop
flink
数据库
mysql
计算机毕业设计Python+Spark+LSTM微博大屏情感分析 微博大数据分析 微博情感分析 微博爬虫可视化 微博数据分析 微博采集分析平台
lstm情感分析(python实现)数据库:mysql创新点1.python+spark+springboot+vue.js综合开发平台属于我们自研一站式开发平台,该平台搭建一个java工程,不仅可以调用
大数据框架
计算机毕业设计大神
·
2024-02-10 12:42
计算机毕业设计Py
Flink
+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计
pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;3.使用hive数仓技术建表建库,导入.csv数据集;4.离线分析采用hive_sql完成,实时分析利用
Flink
计算机毕业设计大神
·
2024-02-10 10:56
实时计算框架
Flink
在教育行业的应用实践
如今,越来越多的业务场景要求OLTP系统能及时得到业务数据计算、分析后的结果,这就需要实时的流式计算如
Flink
等来保障。
Java架构师CAT
·
2024-02-10 09:20
Flink
快照分析:定位大状态和数据倾斜的算子
在
Flink
作业中,无论是SQL还是JAR模式,常常会直接或者间接地使用到状态(State)。当
Flink
进行快照时,用户定义的这些状态数据可以被保存在状态点中,以供后续的崩溃恢复。
程序员的隐秘角落
·
2024-02-10 09:06
夜天之书 #42 开源社群简明分类
例如为Apache
Flink
编写各种数据源的连接器
_tison
·
2024-02-10 08:56
java
人工智能
python
大数据
编程语言
Flink
核心技术浅析
1.
Flink
简介Apache
Flink
是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个
Flink
流执行引擎(streamingdataflowengine),提供支持流处理和批处理两种类型应用的功能
活长擅运动
·
2024-02-10 00:41
Flink
Table API&SQL编程指南之时间属性(3)
Flink
总共有三种时间语义:Processingtime(处理时间)、Eventtime(事件时间)以及Ingestiontime(摄入时间)。
大数据技术与数仓
·
2024-02-10 00:33
新人数据技术如何快速提升
对于数据平台和工具而言,一般情况下都是在Hadoop生态下做开发,但对于一些有特殊要求的团队,Spark和
Flink
已经得
晓阳的数据小站
·
2024-02-09 23:46
数据开发
数据
6.一文搞定
Flink
的多流转换
1.前言在之前的文章当中,我针对于
Flink
中状态相关的一系列内容按照我自己理解的方式进行了讲述,但是单纯从我写的内容上看,貌似都是围绕着单条流进行计算的,所以在感官上就很不全面,所以我就准备在这篇文章当中
迷茫的小黑狗
·
2024-02-09 19:12
初识kafka
目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、
Flink
等都支持与Kafka集成。
tracy_668
·
2024-02-09 14:07
Flink
从入门到实践(一):
Flink
入门、
Flink
部署
2)demo1:批处理(离线处理)(3)demo2-lambda优化:批处理(离线处理)(4)demo3:流处理(实时处理)(5)总结:实时vs离线(6)demo4:批流一体(7)对接Socket二、
Flink
秃了也弱了。
·
2024-02-09 12:52
大数据:Flink
flink
大数据
Flink
从入门到实践(二):
Flink
DataStream API
文章目录系列文章索引三、DataStreamAPI1、官网2、获取执行环境(Environment)3、数据接入(Source)(1)总览(2)代码实例(1.18版本已过时的)(3)使用Source接口4、数据处理(Transformation)(1)总览(2)Map(后续用该结果测试)(3)Filter(4)FlatMap(5)KeyBy(6)Reduce(7)Union(8)Connect(9
秃了也弱了。
·
2024-02-09 08:48
大数据:Flink
flink
大数据
Apache
Flink
前言最近在学习室内融合定位服务架构,业务架构上,涵盖了数据采集、处理、状态管理、实时计算和告警等多个方面,但有些问题:这套系统中包含了大量的有状态计算,目前是通过自设计内存对象进行管理,并利用Redis进行状态共享。这种方法要求开发者使用Java的并发工具,手动实现状态的持久化和恢复逻辑,这既复杂又容易出错。此外,当应用需要扩展或缩小时,开发者需要手动设计和实现多实例的适配,考虑内存对象的分配和平
DevDiary
·
2024-02-09 07:24
flink
大数据
使用 Kubernetes 部署
Flink
应用
作者:薄荷脑https://blog.csdn.net/zjerryj/article/details/100063858大数据技术与架构点击右侧关注,大数据开发领域最强公众号!暴走大数据点击右侧关注,暴走大数据!By大数据技术与架构场景描述:Kubernetes是目前非常流行的容器编排系统,在其之上可以运行Web服务、大数据处理等各类应用。这些应用被打包在一个个非常轻量的容器中,我们通过声明的方
王知无(import_bigdata)
·
2024-02-09 06:38
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他