--Flink

Flink1.14 SplitEnumerator概念入门讲解与源码解析 (二)

目录SplitEnumerator概念SplitEnumerator源码voidstart()voidhandleSplitRequest(intsubtaskId,@NullableStringrequesterHostname);voidaddSplitsBack(Listsplits,intsubtaskId);voidaddReader(intsubtaskId);CheckpointTs
Stray_Lambs·2023-10-18 17:36

Flink SQL 时区 -- 时间字符串转时间戳并转换时区

文章目录一、数据需求：二、探索路程1、UNIX_TIMESTAMP+CONVERT_TZ2、UNIX_TIMESTAMP三、解决方案TIMESTAMPADD+TO_TIMESTAMP一、数据需求：将时间字符串格式化，转变成时间戳，再加8小时后写入clickhouse2023-10-17T03:00:42.506205807---->2023-10-1711:00:42.506二、探索路程1、UNI
//承续缘_纪录片·2023-10-18 17:34

Flink1.14 SourceReader概念入门讲解与源码解析 (三)

目录SourceReader概念SourceReader源码方法voidstart();InputStatuspollNext(ReaderOutputoutput)throwsException;ListsnapshotState(longcheckpointId);CompletableFutureisAvailable();voidaddSplits(Listsplits);参考Source
Stray_Lambs·2023-10-18 17:04

Flink对于CEP的大概实现

CEP和状态机状态机的表示和如何作用在流上Flink中CEP的一般代码结构如下:valinput=env.fromElements(newEvent(1,"barfoo",1.0),newEvent(2
天之見證·2023-10-18 15:18

Flink系列（二）Flink 配置文件详解

安装好Flink后，我们来看下安装路径下的配置文件。安装目录下主要有flink-conf.yaml配置、日志的配置文件、zk配置、FlinkSQLClient配置。
香山上的麻雀·2023-10-18 14:56

尚硅谷Flink（四）处理函数

目录处理函数基本处理函数按键分区处理函数（KeyedProcessFunction）定时器（Timer）和定时服务（TimerService）//1、事件时间的案例//2、处理时间的案例//3、获取process的当前watermark侧输出流状态管理什么是状态按键分区状态值状态（ValueState）列表状态（ListState）Map状态（MapState）归约状态（ReducingState
Int mian[]·2023-10-18 12:47

尚硅谷Flink（完）FlinkSQL

FlinkSQLTableAPI和SQL是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。
Int mian[]·2023-10-18 12:11

回顾 | Apache Flink x Iceberg Meetup · 上海站精彩回顾 (附PPT下载)

4月17日，ApacheFlinkMeetup上海站圆满结束！
Apache Flink·2023-10-18 11:46

精彩回顾 | Apache Flink Meetup · 北京站（附PPT下载）

9月21日下午，2019年度最后一场Meetup在帝都圆满落幕，来自阿里巴巴、小米、贝壳找房的资深专家们现场分享了小米的Flink应用实践、贝壳找房的实时数仓建设、Flink资源管理机制以及FlinkPythonAPI
Apache Flink·2023-10-18 11:46

Flink-Gelly：Iterative Graph Processing

Gelly利用Flink的高效迭代算子来支持海量数据的迭代式图处理。
老羊_肖恩·2023-10-18 11:26

修炼k8s+flink+hdfs+dlink（五：安装dockers，cri-docker，harbor仓库）

一：安装docker。（所有服务器都要安装）安装必要的一些系统工具sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm2添加软件源信息sudoyum-config-manager--add-repohttps://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.reposudose
宇智波云·2023-10-18 08:40

【实战】flink读取hive写入redis

一、业务背景业务需求：需要实时统计截止到目前存量订购用户数根据指标口径：截止到目前依旧处于订购状态的用户分析：根据离线计算统计出来的，目前存量用户有2E多，而要实时统计该指标，需要将新的订购日志与这2E多数据进行比对，当前该用户如果不是订购状态，则存量订购用户数+1。并且统计的存量用户的清单表在hive中，如果每来一条日志，就去查询一下hive表，太慢了。所以将数据加载到redis中，不仅可以比对
槐序i·2023-10-18 07:28

Flink 自定义Sink 之 写入HDFS

org.apache.flinkflink-connector-filesystem_${scala.binary.version}${flink.version}org.apache.hadoophadoop-common
magic_kid_2010·2023-10-18 07:56

springboot和flink 大数据实时写入hdfs

一：flink官网API:https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/datastream
bigdata_czq·2023-10-18 07:25

2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)

、如何指定文件格式4、读取文件系统4.1开启目录监控4.2可用的Metadata5、写出文件系统5.1创建分区表5.2滚动策略、文件合并、分区提交5.3指定SinkParallelism6、示例_通过FlinkSQL
广阔天地大有可为·2023-10-18 07:54

源码解析flink文件连接源TextInputFormat

背景：kafka的文件系统数据源可以支持精准一次的一致性,本文就从源码看下如何TextInputFormat如何支持状态的精准一致性TextInputFormat源码解析首先flink会把输入的文件进行切分
lixia0417mul2·2023-10-18 05:34

flink进阶篇-05-Flink流处理 API

1、Environment1.1getExecutionEnvironment1）创建一个执行环境，表示当前执行程序的上下文。2）如果程序是独立调用的，则此方法返回本地执行环境；3）如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。//获得批处
先锋成员5A·2023-10-18 03:24

Seatunnel源码解析(4) - 启动Spark/Flink程序

Seatunnel源码解析(4)-启动Spark/Flink程序需求公司在使用Seatunnel的过程中，规划将Seatunnel集成在平台中，提供可视化操作。
張不惑·2023-10-18 01:13

Flink的 Dispatcher详解

Dispatcher总结一、概述1、Dispatcher负责接收客户端提交的JobGraph对象。dispatcherGateway.submitJob(jobGraph,rpcTimeout)2、Dispatcher会根据接收的JobGraph对象为任务创建JobManagerRunner服务。JobManagerRunnerjobManagerRunner=createJobManagerRu
猫猫爱吃小鱼粮·2023-10-17 22:17

Flink 的集群资源管理

集群资源管理一、ResourceManager概述1、ResourceManager作为统一的集群资源管理器，用于管理整个集群的计算资源，包括CPU资源、内存资源等。2、ResourceManager负责向集群资源管理器申请容器资源启动TaskManager实例，并对TaskManager进行集中管理。3、当新的Job提交到集群后，JobManager会向ResourceManager申请作业执行
猫猫爱吃小鱼粮·2023-10-17 22:17

三、Flink使用累加器在WordCount中统计单词数量

在作业结束时，Flink会汇总（合并）所有部分的结果并将其发送给客户端。适用于调试过程或在你想快速了解有关数据更多信息时。Flink目前有如下内置累加器。IntCounter
猫猫爱吃小鱼粮·2023-10-17 22:47

Flink的ResourceManager详解（一）

ResourceManager总结一、概述1、ResourceManager管理Flink集群中的计算资源，计算资源主要来自TaskManager组件。
猫猫爱吃小鱼粮·2023-10-17 22:47

十二、Flink自定义 FlatMap 方法

，可以输出0到多个元素2）使用1.匿名内部类2.lambda表达式3.实现FlatMapFunction接口4.继承RichFlatMapFunction2、代码实现importorg.apache.flink.api.common.functions.FlatMapFunction
猫猫爱吃小鱼粮·2023-10-17 22:16

四、Flink使用广播状态和定时器实现word_join_count有效时间1分钟

1、版本说明2、代码实现importorg.apache.flink.api.common.state.BroadcastState;importorg.apache.flink.api.common.state.MapState
猫猫爱吃小鱼粮·2023-10-17 22:16

十八、Flink自定义多并行Source

2、代码实现importorg.apache.flink.configuration.Configuration;importorg.apache.flink.streaming.api.datastream.DataStrea
猫猫爱吃小鱼粮·2023-10-17 22:46

十三、Flink使用local模式执行任务 并开启Flink的webUI

1、概述1）webUI依赖org.apache.flinkflink-runtime-web_${scala.binary.version}${flink.version}2）调用StreamExecutionEnvironment.createLocalEnvironmentWithWebUI
猫猫爱吃小鱼粮·2023-10-17 22:46

2、Calcite 源码编译与运行

例如：Hive、Flink3）架构Calcite的各个组件可以分为4种类型1.查询优化器（QueryO
猫猫爱吃小鱼粮·2023-10-17 22:09

Flink日志收集到数据库/kafka

引言我们做项目过程中发现flink日志不同模式启动，存放位置不同，查找任务日志很不方便，具体问题如下：原始flink的日志配置文件log4j-cli.propertiesappender.file.append
半度、·2023-10-17 19:23

flinkdashboard未授权

flinkwebui增加账号密码yuminstallhttpd-tools-yhtpasswd-c/usr/local/nginx/conf.d/.ngpasspdflink2024flink_2024
for your wish·2023-10-17 19:53

尚硅谷Flink（三）时间、窗口

1️时间、窗口窗口️是啥Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。
Int mian[]·2023-10-17 18:01

Flink 实践教程-进阶（7）：基础运维

流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器，是基于ApacheFlink构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。
腾讯云大数据·2023-10-17 17:10

一篇大数据调优

一、flinkflink官网1、Flink是如何支持批流一体的？
i am cscs·2023-10-17 17:27

2021-01-29-Flink-34(Flink 实时业务需求案例 )

1.业务数据的采集canal2.Canal的使用1.添加⼀个普通⽤户CREATEUSERcanalIDENTIFIEDBY'canal123';创建一个用户GRANTSELECT,REPLICATIONSLAVE,REPLICATIONCLIENTON.TO'canal'@'%';添加权限FLUSHPRIVILEGES;刷新如果失败:修改密码的安全权限setglobalvalidate_passw
冰菓_·2023-10-17 15:39

Flink的算子列表状态的使用

背景算子的列表状态是平时比较常见的一种状态，本文通过官方的例子来看一下怎么使用算子列表状态算子列表状态算子列表状态支持应用的并行度扩缩容，如下所示:使用方法参见官方示例，我加了几个注解：publicclassBufferingSinkimplementsSinkFunction>,CheckpointedFunction{//要实现CheckpointedFunction接口privatefina
lixia0417mul2·2023-10-17 12:13

使用FlinkCatalog将kafka的数据写入hive

packagecom.atguigu.flink.test_hk;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment
青云游子·2023-10-17 10:53

Pyflink教程(一)：table_api&sql

具体定义请参考官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.16/zh/docs/dev/table/overview/本文主要针对实际使用中比较常用的
yuxj记录学习·2023-10-17 09:57

大数据开发复习（1）

就业岗位介绍面试流程最重要的是简历基础复习JavamysqlLinuxday02HDFSMapReducehive(sqlboy)HBASEday03kafkaredisesday04scalasparkflinkday05etl
小码上线·2023-10-17 09:55

Flink系列Table API和SQL之：创建表环境和创建表

Flink系列TableAPI和SQL之：创建表环境和创建表一、快速上手TableAPI和SQL二、创建表环境三、创建表1.连接器表(ConnectorTables)2.虚拟表(VirtualTables
最笨的羊羊·2023-10-17 08:19

24、Flink 的table api与sql之Catalogs（java api操作数据库、表）-2

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-10-17 08:13

24、Flink 的table api与sql之Catalogs（介绍、类型、java api和sql实现ddl、java api和sql操作catalog）-1

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-10-17 08:12

24、Flink 的table api与sql之Catalogs（java api操作视图）-3

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-10-17 07:38

Flink内存管理

Flink内存管理1.简介自从2003-2006年，Google发表了三篇著名的大数据相关论文（GoogleFS，MapReduce，BigTable）后，内存问题一直困扰大数据工程师们。
寇寇寇先森·2023-10-17 04:03

十一、Flink Table

简介Flink具有两个关系API-表API和SQL-用于统一流和批处理。
木戎·2023-10-17 01:48

浅谈大数据之Flink-2

Flink作为一款以流处理见长的大数据引擎，相比其他流处理引擎具有众多优势。本节将对流处理的一些基本概念进行细化，这些概念是入门流处理的必备基础，至此你将正式进入数据流的世界。
`FUTURE`·2023-10-16 16:34

浅谈大数据之Flink

1.3.4FlinkFlink是由德国3所大学发起的学术项目，后来不断发展壮大，并于2014年年末成为Apache顶级项目之一。在德语中，“flink”表示快速、敏捷，以此来表征这款计算框架的特点。
`FUTURE`·2023-10-16 16:33

Flink 源码之 SQL 执行流程

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言本篇为大家带来Flink执行SQL流程的分析。它的执行步骤概括起来包含：解析。
AlienPaul·2023-10-16 13:02

Flink基础系列2-Flink部署

一.Standalone模式1.1Standalone模式概述Flink中每一个TaskManager都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask为了控制一个TaskManager
只是甲·2023-10-16 13:12

Flink(9)TransForm分组后聚合

keyBy意思：分组之意。DataStream->KeyedStream：逻辑的将一个流拆分成不相交的“分区”，每个分区包含相同的key元素，在内部以hash的形式实现。滚动聚合算子(RollingAggregation)sum()min()max()minBy()maxBy()reduce()//转换成SensorReading类型DataStreamdataStream=inputStream
hk_faith·2023-10-16 07:03

大数据学习笔记，学习清单

大数据目前技术组件有很多，比如有hdfs,hive,spark,flink,kafka,clickhouse,cdh,nifi,streamset等等技术，主流的开发语言有Java，Scala，Python
平凡天下·2023-10-16 06:59

Flink Sink Kafka 自定义Topic与自定义分区

FlinkSinkKafka自定义Topic与自定义分区需求背景：Flink处理完成数据后，需要将消息传给Kafka，为了避免数据倾斜，根据消息的主键进行Hash取模，自定义输出到对应的Topic，为了提升从
znmdwzy·2023-10-16 05:24
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他