E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
#flink核心概念
TensorFlow中的三种图
图(graph)是TensorFlow用于表达计算任务的一个
核心概念
。Graphgraph被定义为一些operation和tensor的集合。
LuDon
·
2024-01-24 08:28
Flink
运行架构以及容错机制
Flink
运行架构以及容错机制1.
Flink
的角色区分1.1JM1.2TM1.3SLOT2.
Flink
-Cluster模式的任务提交流程2.1
Flink
OnYarn的任务提交流程2.1.1yarn相关概念
李姓门徒
·
2024-01-24 07:42
Flink
大数据
flink
架构
大数据
【极数系列】
Flink
初相识(01)
#【极数系列】
Flink
初相识(01)引言
Flink
官网:https://
flink
.apache.org/
Flink
版本:https://
flink
.apache.org/blog/
Flink
文档:https
浅夏的猫
·
2024-01-24 07:18
极数系列
flink
大数据
java
分布式
【极数系列】
Flink
环境搭建(02)
【极数系列】
Flink
环境搭建(02)引言1.linux直接在linux上使用jdk11+
flink
1.18.0版本部署2.docker使用容器部署比较方便,一键启动停止,方便参数调整3.windows
浅夏的猫
·
2024-01-24 07:18
极数系列
flink
大数据
数据分析
【
Flink
-1.17-教程】-【四】
Flink
DataStream API(5)转换算子(Transformation)【分流】
【
Flink
-1.17-教程】-【四】
Flink
DataStreamAPI(5)转换算子(Transformation)【分流】1)使用filter简单实现2)使用侧输出流实现所谓“分流”,就是将一条数据流拆分成完全独立的两条
bmyyyyyy
·
2024-01-24 07:48
Flink
flink
java
算法
#flink-分流
#flink-侧输出流
#datastream-api
大数据
Flink
多流转换(1)—— 分流&合流
目录分流代码示例使用侧输出流合流联合(Union)连接(Connect)简单划分的话,多流转换可以分为“分流”和“合流”两大类目前分流的操作一般是通过侧输出流(sideoutput)来实现,而合流的算子比较丰富,根据不同的需求可以调用union、connect、join以及coGroup等接口进行连接合并操作分流将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream,得到
THE WHY
·
2024-01-24 07:47
Flink
大数据
flink
java
python
大数据
flink
-java使用介绍,
flink
,java
1、环境准备文档:https://nightlies.apache.org/
flink
/
flink
-docs-release-1.18/zh/仓库:https://github.com/apache/
flink
raoxiaoya
·
2024-01-24 07:47
Java
flink
java
大数据
Flink
(十五)【
Flink
SQL Connector、savepoint、CateLog、Table API】
1、常用Connector读写之前我们已经用过了一些简单的内置连接器,比如'datagen'、'print',其它的可以查看官网:Overview|Apache
Flink
环境准备:#1.先启动hadoopmyhadoopstart
让线程再跑一会
·
2024-01-24 07:17
Flink
flink
大数据
记一次
Flink
通过Kafka写入MySQL的过程
一、前言总体思路:source-->transform-->sink,即从source获取相应的数据来源,然后进行数据转换,将数据从比较乱的格式,转换成我们需要的格式,转换处理后,然后进行sink功能,也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS文件存储。思路:pom部分放到最后面。二、方案及代码实现2.1Source部分Source部分构建一个web对象用于保存数据等操作,代码
梦痕长情
·
2024-01-24 07:17
flink
kafka
mysql
spark-
flink
设计思想之吸星大法-1
Spark和
Flink
都是大数据处理框架,它们的设计思想有一些不同之处。以下是对它们设计思想的简要对比:数据模型和计算模型:Spark:Spark使用弹性分布式数据集(RDD)作为其核心数据结构。
{BOOLEAN}
·
2024-01-24 07:47
spark
flink
大数据
【极数系列】
Flink
项目入门搭建(03)
【极数系列】
Flink
项目入门搭建(03)引言gitee地址:https://gitee.com/shawsongyue/aurora.git源码直接下载可运行,模块:aurora_
flink
Flink
浅夏的猫
·
2024-01-24 07:16
极数系列
flink
大数据
java
Vue3 setup 介绍
在本专栏中,我们将深入学习Vue.js的
核心概念
、组件开发、状态管理、路由和性能优化等方面的知识。无论你是初学者还
俊刚、
·
2024-01-24 06:10
Vue
Vue3
javascript
前端
vue.js
Docker基本管理与部署
使用场景虚拟机与容器的区别Docker的
核心概念
及安装方式Docker
核心概念
CentOS安装Docker的两种方式Docker镜像的创建Docker镜像Docker镜像的创建方法安装部署Dockerdocker
灬小特曼
·
2024-01-24 06:36
云计算基础
docker
linux
翘首以盼的Docker他迈着优美的步伐向我们走来啦(Docker基本管理)
Docker基本管理一、Docker概述1、Docker是什么2、Docker与虚拟机的区别3、Docker的使用场景二、Docker的
核心概念
及安装方式1、Docker
核心概念
(1)镜像(2)容器(3
17_yyang
·
2024-01-24 06:31
docker
centos
docker基本管理:上篇(docker理论概述和基础命令)
文章目录docker理论:Docker概述什么是DockerDocker与虚拟机的区别Docker的使用场景Docker的功能Docker的
核心概念
及安装方式docker基础命令:一.安装docker二
长大要当太空人
·
2024-01-24 06:48
docker容器
Docker基本管理
目录1.概述为什么要用到容器Docker概述容器与虚拟机的区别Linuxnamespace的六大类型Docker
核心概念
镜像容器仓库2.安装Docker设置阿里云镜像源安装docker查看docker版本信息
Ybaocheng
·
2024-01-24 06:45
docker
容器
运维
Streaming -- Operators -- Windows
本文档主要介绍在
Flink
中如何执行窗口,以及程序员如何从它提供的功能中获得最大的好处。窗口
Flink
程序的一般结构如下所示。第一个片段引用键控流,而第二个片段引用非键控流。
qing_feng
·
2024-01-24 06:33
10.
Flink
实时项目之订单维度表关联
1.维度查询在上一篇中,我们已经把订单和订单明细表join完,本文将关联订单的其他维度数据,维度关联实际上就是在流中查询存储在hbase中的数据表。但是即使通过主键的方式查询,hbase速度的查询也是不及流之间的join。外部数据源的查询常常是流式计算的性能瓶颈,所以我们在查询hbase维度数据的基础上做一些优化及封装。phoenix查询封装phoenix作为hbase的一个上层sql封装,或者叫
选手一号位
·
2024-01-24 04:46
Python 面向对象 9: 模块和包
一、内容总览1.1、模块1.2、包1.3、发布模块二、模块2.1、模块的概念:模块是Python程序架构的一个
核心概念
每一个以扩展名py结尾的Python源代码文件都是一个模块模块名同样也是一个标识符,
有怪兽103
·
2024-01-24 04:09
Flink
架构--官网译文(v1.11)
Flink
是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序。
LQC_gogogo
·
2024-01-24 02:53
Storm和hadoop对比及storm组件
stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息HDFS,MR数分钟,数小时不会主动停止终于完成的时候storm优点:跨语言,可伸缩,低延迟,秒级容错
核心概念
smartjiang
·
2024-01-24 02:01
Flink
源码:TM 端恢复及创建 KeyedState 的流程
本文仅为笔者平日学习记录之用,侵删原文:https://mp.weixin.qq.com/s/eaALnpd_qHQg6fxI12fQjg本文会详细分析TM端恢复及创建KeyedState的流程,恢复过程会分析RocksDB和Fs两种StateBackend的恢复流程,创建流程会介绍Checkpoint处恢复的State如何与代码中创建的State关联起来。一、RocksDBKeyedStateB
longLiveData
·
2024-01-24 01:08
Flink
基础系列32-Table API和
Flink
SQL之窗口
一.窗口 时间语义,要配合窗口操作才能发挥作用。最主要的用途,当然就是开窗口、根据时间段做计算了。下面我们就来看看TableAPI和SQL中,怎么利用时间字段做窗口操作。 在TableAPI和SQL中,主要有两种窗口:GroupWindows和OverWindows1.1分组窗口(GroupWindows) 分组窗口(GroupWindows)会根据时间或行计数间隔,将行聚合到有限的组(Gr
只是甲
·
2024-01-24 00:52
新课标《不同的季节》《做一个指南针》案例分析
案例3不同的季节围绕
核心概念
地球围绕太阳公转产生四季,要求一二年级能够描述一年中季节变化的现象,举例说出季节变化对动植物和人们生活的影响,并能够简单制作季节礼盒,本课案例主要涉及季节变化及其对人类生活和动植物的影响
萝卜_c88c
·
2024-01-24 00:47
语义分割常用评价指标
希望能够帮助更多学习者和研究人员掌握语义分割中的评估
核心概念
。也欢迎大家在实践和理论研究上互相讨论,共同
Metaphysicist.
·
2024-01-23 23:30
人工智能
机器学习
算法
语义分割
深度学习
机器视觉
【k8s】K8S中的IP地址(Node IP、Pod IP、Cluster IP、External IP、Internal-IP)
文章目录1.概述1.1service种类2.NodeIP3.PodIP4.ServiceClusterIP4.1ClusterIP原理5.ExternalIP参考关联文章:《k8s
核心概念
2service
云川之下
·
2024-01-23 23:19
docker
k8s
paas
Node
IP
Cluster
IP
Pod
IP
【大数据精讲】全量同步与CDC增量同步方案对比
目录背景名词解释问题与挑战
Flink
CDCDataX工作原理调度流程五、DataX3.0六大核心优势性能优化背景名词解释CDCCDC又称变更数据捕获(ChangeDataCapture),开启cdc的源表在插入
话数Science
·
2024-01-23 20:44
面试
大数据
大数据
I.
Flink
中的 状态
目录前言:
Flink
中的状态
Flink
是一个框架和分布式处理引擎,用于对无边界和有边界的数据流进行有状态的计算。
莫噶
·
2024-01-23 18:29
Flink
flink
大数据
Flink
---处理函数
目录前言一、基本处理函数1.1处理函数的功能和使用1.1.1功能1.1.2使用1.2ProcessFunction解析1.2.1抽象方法.processElement()1.2.2非抽象方法.onTimer()1.2.3处理函数的分类(1)ProcessFunction(2)KeyedProcessFunction(3)ProcessWindowFunction(4)ProcessAllWindo
莫噶
·
2024-01-23 18:29
Flink
flink
报错Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the
Exceptioninthread"main"org.apache.
flink
.runtime.client.JobExecutionException:Jobexecutionfailed.atorg.apache.
flink
.runtime.jobmaster.JobResult.toJobExecutionResult
莫噶
·
2024-01-23 18:58
报错
apache
kafka
分布式
Flink
算子:数据处理的魔法师
这部分内容将描述
Flink
DataStreamAPI中基本的数据转换API,数据转换后各种数据分区方式,以及算子的链接策略。数据流转换1.Map:输入一个元素同时输出一个元素。
莫噶
·
2024-01-23 18:58
Flink
flink
II.
Flink
中的 状态
目录按键分区状态(KeyedState)1.1值状态(ValueState)1.2列表状态(ListState)1.3归约状态(ReducingState)1.5聚合状态(AggregatingState)1.5Map状态(MapState)算子状态(OperatorState)CheckpointedFunction这篇文章是详细化上一篇文章按键分区状态(KeyedState)按键分区状态(Ke
莫噶
·
2024-01-23 18:27
Flink
flink
大数据
机器学习 | 深入理解并掌握
核心概念
在如今数字化时代的浪潮下,机器学习已经成为人工智能领域的璀璨明星。它像一面魔镜,赋予计算机系统学习和改进的能力,让机器能够从海量数据中提取规律、预测未来,甚至做出智能决策。本专栏将带您踏上机器学习的奇妙之旅,探索其原理、方法和应用。我们将揭开机器学习背后的神秘面纱,解释监督学习、无监督学习、强化学习等不同类型的机器学习算法。目录初识人工智能机器学习概述机器学习算法分类模型评估深度学习概述Jupyt
亦世凡华、
·
2024-01-23 17:42
#
机器学习
机器学习
人工智能
深度学习
基础概念
经验分享
DataStream API(源算子)
目录源算子1,从集合中读取数据2,从文件读取数据3,从Socket读取数据4,从Kafka读取数据5,自定义源算子6,
Flink
支持的数据类型6.1
Flink
支持多种数据类型,包括但不限于:6.2对于POJO
佛系爱学习
·
2024-01-23 16:17
flink知识点
大数据
flink
使用
Flink
处理Kafka中的数据
目录使用
Flink
处理Kafka中的数据前提:一,使用
Flink
消费Kafka中ProduceRecord主题的数据具体代码为(scala)执行结果二,使用
Flink
消费Kafka中ChangeRecord
佛系爱学习
·
2024-01-23 16:46
flink的使用
flink
kafka
大数据
大数据系列——
Flink
理论
概述
Flink
是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架,既可以处理有界的批量数据集,也可以处理无界的实时流数据,为批处理和流处理提供了统一编程模型,其代码主要由Java实现,部分代码由
mql007007
·
2024-01-23 16:11
大数据
flink
scala
剑指大数据——
Flink
学习精要(Java版)
剑指大数据——
Flink
学习精要(Java版)写在前面本书内容读者对象本书作者程序员硬核技术丛书。
小术晓术
·
2024-01-23 16:41
大数据
java
flink
Flink
从0到1学习——
Flink
不可以连续 Split(分流)?
前言今天上午被
Flink
的一个算子困惑了下,具体问题是什么呢?
zhisheng_blog
·
2024-01-23 16:40
大数据
Flink
流式计算
Flink
大数据
Java
Flink
基础介绍
Flink
基础介绍学习目标
Flink
基本介绍大数据发展历史
Flink
性能比较
Flink
在阿里的现状
Flink
集群安装伪分布式安装StandAlone模式安装StandAlone的高可用模式Yarn模式Yarn-Session
Flink
Baby 看你们浪。
·
2024-01-23 16:10
flink
spark
big
data
搭建
Flink
编程f的开发环境
职业技能大赛训练学习#搭建
Flink
编程f的开发环境
Flink
是一个以java和scala作为开发语言的开源大数据的一个项目对于我们初次使用者来说javamavengit这三个辅助工具必不可少java安装步骤
YaoYan..
·
2024-01-23 16:40
java
scala
Flink
编程——基础环境搭建
启动集群步骤3:提交作业(Job)步骤4:停止集群总结准备环境搭建我们先把电脑的准备环境给安装好,这样后面才能顺利的学习和时间因为后面可能用到的有:Kafka、MySQL、ElasticSearch等,另外像
Flink
不二人生
·
2024-01-23 16:40
#
Flink
编程
flink
大数据
前后端分离基于Oauth2的SSO单点登录怎样做?
前后端分离的
核心概念
是后端仅返回前端所需的数据,不再渲染HTML页面,前端HTML页面通过AJAX调用后端的RESTFULAPI接口并使用JSON数据进行交互PS:关于单点
zlt2000
·
2024-01-23 16:53
第2章 大模型的基础知识2.2 大模型的关键技术2.2.1 模型架构
2.
核心概念
与联系在深入探讨模型架构之前,我们首先需要了解一些
核心概念
。2.1模型架构模型架构是指模型的组成部分和它们之间的关系。在大模型中,常见的架构包括卷积神经
OpenChat
·
2024-01-23 16:00
机器学习开发实战代码案例详解
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
Agent
RPA
大数据学习之
Flink
算子、了解(Source)源算子(基础篇二)
Source源算子(基础篇二)目录Source源算子(基础篇二)二、源算子(source)1.准备工作2.从集合中读取数据可以使用代码中的fromCollection()方法直接读取列表也可以使用代码中的fromElements()方法直接列出数据获取3.从文件中读取数据说明:4.从Socket读取数据(1)编写StreamWordCount(2)在Linux环境的主机bigdata1上,执行下列
十二点的泡面
·
2024-01-23 14:22
Flink
算子
大数据
学习
flink
大数据学习之
Flink
算子、了解(Transformation)转换算子(基础篇三)
Transformation转换算子(基础篇三)目录Transformation转换算子(基础篇三)三、转换算子(Transformation)1.基本转换算子1.1映射(Map)1.2过滤(filter)1.3扁平映射(flatmap)1.4基本转换算子的例子2.聚合算子(Aggregation)2.1按键分区(keyBy)2.2简单聚合2.3归约聚合(reduce)3.用户自定义函数(UDF)
十二点的泡面
·
2024-01-23 14:22
算子
Flink
大数据
学习
flink
大数据学习之
Flink
算子、了解DataStream API(基础篇一)
DataStreamAPI(基础篇)注:本文只涉及DataStream原因:随着大数据和流式计算需求的增长,处理实时数据流变得越来越重要。因此,DataStream由于其处理实时数据流的特性和能力,逐渐替代了DataSet成为了主流的数据处理方式。目录DataStreamAPI(基础篇)前摘:一、执行环境1.创建执行环境2.执行模式3.触发程序执行二、源算子(source)三、转换算子(Trans
十二点的泡面
·
2024-01-23 14:51
Flink
算子
大数据
学习
flink
RabbitMQ(不完整版)
文章目录RabbitMQ入门1.什么是MQ2.为什么要用MQ流量消峰应用解耦异步处理3.MQ的分类ActiveMQKafkaRocketMQRabbitMQ4.RabbitMQRabbitMQ的概念四大
核心概念
凇:)
·
2024-01-23 12:46
rabbitmq
分布式
java
用
flink
cdc debezium来捕获数据库的删除内容
我在用
flink
cdc把数据从sqlserver写到doris正常情况下sqlserver有删除数据,doris是能捕获到并很快同步删除的。
后季暖
·
2024-01-23 11:17
数据库
flink
学习之窗口处理函数
窗口处理函数什么是窗口处理函数
Flink
本身提供了多层API,DataStreamAPI只是中间的一环,在更底层,我们可以不定义任何具体的算子(比如map(),filter(),或者window()),
吃草料的羊
·
2024-01-23 10:16
flink
学习
大数据
Spring SpEL在
Flink
中的应用-SpEL详解
前言Spring表达式语言SpringExpressionLanguage(简称SpEL)是一个支持运行时查询和操做对象图的表达式语言。语法相似于EL表达式,但提供了显式方法调用和基本字符串模板函数等额外特性。SpEL在许多组件中都得到了广泛应用,如SpringData、SpringSecurity、SpringWebFlow等。它提供了一种非常灵活的方式来查询和操作对象图,从而简化了复杂的业务逻
shandongwill
·
2024-01-23 10:16
Java
Flink
flink
大数据
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他