E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据计算-Flink
Flink
之JDBCSink连接MySQL
输出到MySQL添加依赖org.apache.
flink
flink
-connector-jdbc3.1.0-1.17com.mysqlmysql-connector-j8.0.32启动MySQL,在test
十七✧ᐦ̤
·
2023-12-15 15:43
flink
mysql
大数据
flink
中如何把DB大表的配置数据加载到内存中对数据流进行增强处理
背景在处理
flink
的数据流时,比如处理商品流时,一般我们从kafka中只拿到了商品id,此时我们需要把商品的其他配置信息比如品牌品类等也拿到,此时就需要关联上外部配置表来达到丰富数据流的目的,如果外部配置表很大
lixia0417mul2
·
2023-12-15 15:08
flink
flink
数据库
大数据
以csv为源
flink
创建paimon 临时表相关 join 操作
环境:各组件版本如下kyuubi1.8.0
flink
1.17.1paimon0.5正式版本hive3.1.3阅读此文前,需涉及前置的知识点如下kyuubi整合
flink
yarnapplication
流月up
·
2023-12-15 15:00
大数据
flink
大数据
csv
paimon
临时表
join
计算机毕业设计Python+Spark知识图谱微博舆情预警系统 微博舆情分析 微博推荐系统 微博可视化 微博数据分析 微博大数据 微博爬虫 微博预测系统 大数据毕业设计 大数据毕业设计 机器学习
开发框架前端:vue.jselement-ui后端:springbootmybatis中间件:sparkhadoophive
flink
数据库:mysql关系型数据库neo4j图数据库算法:协同过滤推荐算法
计算机毕业设计大神
·
2023-12-15 12:19
【基础知识】大数据概述
发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala、spark、
flink
偏振万花筒
·
2023-12-15 12:39
大数据
Flink
集群搭建
1安装包下载根据自己的环境下载相应的
flink
安装包:https://
flink
.apache.org/downloads.html下载的版本要与自己的scala版本一致,我安装的scala版本为2.11
NemoonFish
·
2023-12-15 12:20
flink集群搭建
flink
flink
源码分析之功能组件(五)-高可用组件
简介本系列是
flink
源码分析的第二个系列,上一个《
flink
源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics
中间件XL
·
2023-12-15 11:21
flink
大数据
zookeeper
分布式
Flink
CDC--MySQL
Flink
CDC–MySQL
Flink
CDCMySQL版本单表CDC目标:利用
Flink
将MySQL增量数据同步到Doris执行流程第一步:操作数据库构建表,并加入数据mysql-uroot-pupdateusersetHost
清盏涂墨衣
·
2023-12-15 09:59
flink
mysql
全方位解读SeaTunnel MySQL CDC连接器:实现数据高效同步的强大工具
MySQLCDC源连接器支持的引擎SeaTunnelZeta
Flink
主要特性批量流式
DolphinScheduler社区
·
2023-12-15 07:41
大数据
物流实时数仓:采集通道搭建
hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问4.ClickHouse安装5.
Flink
超哥--
·
2023-12-15 06:34
物流实时数仓
大数据
flink
Scala教程
1.2Scala环境搭建1.3IDEA中Scala插件安装1.4HelloWorld案例1.4.1创建IDEA项目工程第一章Scala入门1.1概述1.1.1为什么学习ScalaSpark:新一代内存级
大数据计算
框架
Tanzhiyong97
·
2023-12-15 05:34
scala
spark
intellij-idea
Flink
核心概念
在
Flink
执行过程中,每一个算子(operator)可以包含一个或多个子任务(operatorsubtask),这些子任务在不同的线程、不同的物理机或不同的容
Stephen6Yang
·
2023-12-15 03:06
flink
flink
Flink
基本转换算子map/filter/flatmap
mapmap是大家非常熟悉的大数据操作算子,主要用于将数据流中的数据进行转换,形成新的数据流。简单来说,就是一个“一一映射”,消费一个元素就产出一个元素。我们只需要基于DataStream调用map()方法就可以进行转换处理。方法需要传入的参数是接口MapFunction的实现;返回值类型还是DataStream,不过泛型(流中的元素类型)可能改变。publicclassTransMap{publ
Stephen6Yang
·
2023-12-15 03:01
flink
flink
java
转换算子
flatmap
map
【
Flink
系列七】TableAPI和
Flink
SQL初体验
Apache
Flink
有两种关系型API来做流批统一处理:TableAPI和SQLTableAPI是用于Scala和Java语言的查询API,它可以用一种非常直观的方式来组合使用选取、过滤、join等关系型算子
周润发的弟弟
·
2023-12-15 03:48
从零开始搞大数据
flink
大数据
【
Flink
系列六】
Flink
里面的状态一致性
状态一致性有状态的流处理,内部每个算子任务都可以有自己的状态,对于流处理器内部来说,所谓的状态一致性,其实就是我们所说的计算结果要保证准确。一条数据不应该丢失,也不应该重复计算。再遇到有故障时可以恢复状态,恢复以后的重新计算,结果应该也是可以完全正确的。状态一致性的分类AT-MOST-ONCE(最多一次)当任务故障时,最简单的做法是什么都不干,既不恢复丢失的状态,也不重复丢失的数据。At-most
周润发的弟弟
·
2023-12-15 03:18
从零开始搞大数据
flink
大数据
【
Flink
名称解释一】什么是cataLog
Catalog提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。元数据可以是临时的,例如临时表、或者通过TableEnvironment注册的UDF。元数据也可以是持久化的,例如HiveMetastore中的元数据。Catalog提供了一个统一的API,用于管理元数据,并使其可以从TableAPI和SQL查询语句中来访问。
周润发的弟弟
·
2023-12-15 03:18
从零开始搞大数据
flink
大数据
【
Flink
系列四】Window及Watermark
3.1、window在
Flink
中Window可以将无限流切分成有限流,是处理有限流的核心组件,现在
Flink
中Window可以是时间驱动的(TimeWindow),也可以是数据驱动的(CountWindow
周润发的弟弟
·
2023-12-15 03:18
从零开始搞大数据
flink
大数据
Flink
Window中典型的增量聚合函数(ReduceFunction / AggregateFunction)
一、什么是增量聚合函数在
Flink
Window中定义了窗口分配器,我们只是知道了数据属于哪个窗口,可以将数据收集起来了;至于收集起来到底要做什么,其实还完全没有头绪,这也就是窗口函数所需要做的事情。
文文鑫
·
2023-12-15 03:45
#
Flink
flink
大数据
kyuubi整合
flink
yarn application model
目录概述配置
flink
配置kyuubi配置kyuubi-defaults.confkyuubi-env.shhive验证启动kyuubibeeline连接使用hivecatalogsql测试结束概述
flink
流月up
·
2023-12-15 03:14
大数据
flink
大数据
kyuubi
yarn
application
1.8.0
kyuubi
1.8.0
【
Flink
系列五】Checkpoint及Barrier原理
保存点Savepoint状态后端(statebackend)本文先设置一个前提,流处理的数据都是可回放的(可以理解成消费的kafka的数据)一致性检查点(checkpoints)图1checkpoint是
Flink
周润发的弟弟
·
2023-12-15 02:11
从零开始搞大数据
flink
大数据
【毕业设计】大数据淘宝用户行为数据分析与可视化 -
flink
文章目录0前言1、环境准备1.1
flink
下载相关jar包1.2生成kafka数据1.3开发前的三个小tip2、
flink
-sql客户端编写运行sql2.1创建kafka数据源表2.2指标统计:每小时成交量
caxiou
·
2023-12-14 19:08
大数据
毕业设计
大数据
数据分析
flink
源码分析之功能组件(六)-心跳组件
简介本系列是
flink
源码分析的第二个系列,上一个《
flink
源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics
中间件XL
·
2023-12-14 16:10
flink
中间件
rpc
Flink
-源算子-读取数据的几种方式
Flink
可以从各种来源获取数据,然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源(datasource),而读取数据的算子就是源算子(sourceoperator)。
Stephen6Yang
·
2023-12-14 16:04
flink
flink
大数据
读取数据
Flink
之流的转换
ProcessFuncion处理函数功能拥有富函数功能-生命周期方法-状态编程对元素的处理功能processElement,在不同的处理函数中,该方法的名字略有区别定时器编程TimeService:定时服务,可以用于注册定时器,删除定时器ontimer():定时器触发后会自动调用该方法,我们将需要完成的工作写到该方法中侧输出流分类processFunction:普通流DataStream调用key
十七✧ᐦ̤
·
2023-12-14 16:34
flink
数据库
大数据
Flink
之状态编程
状态的分类托管状态:由
Flink
统一管理的,状态的存储访问、故障恢复和重组等一系列问题都由
Flink
实现。算子状态:状态由算子内所
十七✧ᐦ̤
·
2023-12-14 16:34
flink
java
大数据
Flink
之keyby状态
KeyedState值状态:维护一个具体的值ValueState继承自StateTvalue():从状态中获取维护的数据update():更新状态列表状态:可以当成List使用,维护多个值add():添加一个状态addAll():添加多个状态,不会覆盖原有的状态get():获取状态update():将指定集合的数据直接更新到状态中,会覆盖原有的状态clear():清空状态Map状态:维护一个Map
十七✧ᐦ̤
·
2023-12-14 16:34
flink
windows
linux
大数据
【自定义Source、Sink】
Flink
自定义Source、Sink对ClickHouse进行读和批量写操作
ClickHouse官网文档
Flink
读取ClickHouse数据两种驱动ClickHouse官方提供ClickhouseJDBC.
不进大厂不改名二号
·
2023-12-14 16:03
flink
flink
clickhouse
java
Flink
项目系列
Flink
项目系列1-项目介绍-墨天轮
Flink
实时电商实战项目:基于尚硅谷开源项目的
Flink
电商实战项目(全流程)大数据
Flink
电商数仓实战项目流程全解(一)_尚硅谷
flink
sql大数据项目实战
清风明月一壶酒
·
2023-12-14 16:22
flink
大数据
【Table/SQL Api】
Flink
Table/SQL Api表转流读取MySQL
引入依赖jdbc依赖
flink
-connector-jdbc+mysql-jdbc-driver操作mysql数据库org.apache.
flink
flink
-connector-jdbc_${scala.binary.version
不进大厂不改名二号
·
2023-12-14 16:44
flink
sql
flink
mysql
java
Flink
的容错机制
容错机制容错:指出错后不影响数据的继续处理,并且恢复到出错前的状态。检查点:用存档读档的方式,将之前的某个时间点的所有状态保存下来,故障恢复继续处理的结果应该和发送故障前完全一致,这就是所谓的检查点。检查点的控制节点:jobManager里面的检查点协调器,向source节点的数据插入barrier标记。检查点的保存:-周期性触发保存-保存的时间点:所有算子恰好处理完一个相同的输入数据时(使用Ba
十七✧ᐦ̤
·
2023-12-14 16:44
flink
java
服务器
【源码解析】
flink
sql执行源码概述:
flink
sql执行过程中有哪些阶段,这些阶段的源码大概位置在哪里
文章目录一.sql执行流程源码分析1.Sql语句解析成语法树阶段(SQL->SqlNode)2.SqlNode验证(SqlNode–>Operation)3.语义分析(Operation->RelNode)4.优化阶段(RelNode->optimize->Transformation)5.生成ExecutionPlan并执行二.源码分析小结`sqlnode->relnode->优化->pipel
roman_日积跬步-终至千里
·
2023-12-14 12:20
#
flink源码
flink
sql
大数据
Flink
之DataStream API的转换算子
简单转换算子函数的实现方式自定义类,实现函数接口:编码麻烦,使用灵活匿名内部类:编码简单Lambda:编码简洁publicclass
Flink
02_FunctionImplement{publicstaticvoidmain
十七✧ᐦ̤
·
2023-12-07 00:13
flink
c#
java
Flink
基础之DataStream API
合并的两条流的数据类型可以不一致connec后,得到的是ConnectedStreams合并后需要根据数据流是否经过keyby分区coConnect:将两条数据流合并为同一数据类型keyedConnectpublicclass
Flink
09
十七✧ᐦ̤
·
2023-12-07 00:11
flink
linq
数据库
flink
运行报Exception in thread “main“ java.lang.IllegalStateException
问题描述运行
flink
程序时报异常,异常信息如下:Exceptioninthread"main"java.lang.IllegalStateException:NoExecutorFactoryfoundtoexecutetheapplication.atorg.apache.
flink
.core.execution.DefaultExecutorServiceLoader.getExecutor
大数据魔法师
·
2023-12-06 20:20
错误解决方法
flink
java
大数据
flink
安装与配置-脚本一键安装(超简单)
文章目录前言使用shell脚本一键安装1.复制脚本2.增加执行权限3.执行脚本4.加载用户环境变量5.浏览器访问总结前言本文介绍了使用shell脚本一键安装和配置Apache
Flink
单机版的方法。
大数据魔法师
·
2023-12-06 20:48
大数据
flink
大数据
flink
报错:akka.pattern.AskTimeoutException: is that the recipient actor didn‘t send a reply
通讯超时akka.pattern.AskTimeoutException:Asktimedouton[Actor[akka://...]]after[10000ms]Akka超时导致,一般有两种原因:一是集群负载比较大或者网络比较拥塞,二是业务逻辑同步调用耗时的外部服务。如果负载或网络问题无法彻底缓解,需考虑调大akka.ask.timeout参数的值(默认只有10秒);另外,调用外部服务时尽量异
青云游子
·
2023-12-06 17:47
Flink
flink
大数据
Hive的使用技巧
一.Hive常用交互命令[zhang
flink
@
flink
v1hive]$bin/hive-help1.在Hive命令行里创建一个表student,并插入1条数据2.
Appreciate(欣赏)
·
2023-12-06 16:10
hive
hive
数据仓库
Temporal table join requires an equality condition on fields of table
报错信息org.apache.
flink
.table.api.TableException:Temporaltablejoinrequiresanequalityconditiononfieldsoftable
Direction_Wind
·
2023-12-06 12:34
报错调试记录
bug
flink
聊聊
flink
的NetworkEnvironmentConfiguration
序本文主要研究一下
flink
的NetworkEnvironmentConfigurationNetworkEnvironmentConfiguration
flink
-1.7.2/
flink
-runtime
go4it
·
2023-12-06 10:35
Flink
读写Doris
Flink
DorisConnector可以支持通过
Flink
操作(读取、插入、修改、删除)Doris中存储的数据。
shangjg3
·
2023-12-06 08:49
Doris
大数据
数据仓库
doris
sql
flink
Flink
流批一体计算(23):
Flink
SQL之多流kafka写入多个mysql sink
WITH子句1.准备工作生成数据sourcekafkajson数据格式:topiccase_kafka_mysql:{"ts":"20201011","id":8,"price_amt":211}topic
flink
_test
victory0508
·
2023-12-06 07:55
Flink
flink
sql
kafka
从0到1实现
Flink
实战实时风控系统的经验总结
本文将分享从零开始构建
Flink
实时风控系统的经验,并提供相关示例代码。一、搭建
Flink
环境首先,我们需要搭建
Flink
环境。以下是一些基本步骤:安装Java和Scala开发环境。
沃威2268731
·
2023-12-06 05:14
实战技术
flink
大数据
聊聊
flink
Table的Set Operations
序本文主要研究一下
flink
Table的SetOperations实例UnionTableleft=tableEnv.fromDataSet(ds1,"a,b,c");Tableright=tableEnv.fromDataSet
go4it
·
2023-12-05 22:46
flink
入门基础知识整理(持续更新)
目录1.入门概念1.1核心特点1.1.1批流数据1.1.2容错能力1.1.3高吞吐低延迟1.1.4大规模复杂计算1.1.5多平台部署2.API介绍2.1API层次2.2DataStream体系2.3数据读取(Source)2.3.1内存读取2.3.2文件读取2.3.3SOCKET接入2.3.4自定义读取2.4数据转换处理(Transformation)2.5数据输出(Sink)3.时间与窗口3.1
大胡在进步
·
2023-12-05 21:02
java
分布式
实时大数据
大数据
flink
Flink
入门之概念介绍(一)
Flink
作为近几年甚是火爆的数据实时处理框架,吸引了一大批程序员的学习,更是凭借着流批一体化,高效实时数据计算,尤其是在数据量特别大的情况下,每秒钟的数据处理量高达7TB,受到了一大批企业的青睐,纷纷将
大数据程序员
·
2023-12-05 21:31
Flink
flink
大数据
编程语言
java
Flink
快速入门
大数据处理框架发展史大数据-3v-tpezy-分而治之批处理流处理-微信运动、信用卡月度账单、国家季度GDP增速MPI-节点间数据通信-c和pythonMR-2004谷歌提出的编程范式-hadoop/storm/spark/
flink
Hadoop-MR
WaiSaa
·
2023-12-05 21:30
Java
大数据
flink
大数据
Flink
从入门到精通系列(三)
4、
Flink
运行时架构4.1、系统架构
Flink
就是一个分布式的并行流处理系统,简单来说,它会由多个进程构成,这些进程一般会分布运行在不同的机器上。
后端技术那点事
·
2023-12-05 21:00
Flink系列
大数据系列
flink
大数据
Flink
运行时架构
并行度
数据流图
算子链
Flink
入门之DataStream API及kafka消费者
DataStreamAPI主要流程:获取执行环境读取数据源转换操作输出数据Execute触发执行获取执行环境根据实际情况获取StreamExceptionEnvironment.getExecutionEnvironment(conf)创建本地环境StreamExecutionEnvironment.createLocalEnvironment()创建远程环境createRemoteEnviron
十七✧ᐦ̤
·
2023-12-05 21:00
flink
kafka
linq
【
Flink
从入门到精通 01】流式处理概念
“
Flink
中流式处理的概念是实时计算的基石,也是你踏入
Flink
的第一步。”今天和大家一起聊聊流式处理的通用概念。如果还不清楚这些概念的同学,今天的分享一定会给你带来收获的。
编程理想国
·
2023-12-05 21:30
大数据
#
Flink
flink
大数据
big
data
java
kafka
Flink
快速入门
Flink
概述Apache
Flink
是一个计算框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。
知而行2016
·
2023-12-05 21:28
flink
scala
大数据
上一页
27
28
29
30
31
32
33
34
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他