大数据计算-Flink

Flink之DataStream的常用转换算子

1、Map[DataStream->DataStream]（1）说明调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的Data-Stream[T]，其中数据格式可能会发生变化，常用作对数据集内数据的清洗和转换。例如将输入数据集中的每个数值全部加1处理，并且将数据输出到下游数据集2、FlatMap[DataStream->DataStream]（1）说明该算子主要
Relian哈哈·2023-11-15 11:56

[Flink]Flink常用的DataStream转换算子

目录3.1Map3.2FlatMap3.3Filter3.4KeyBy3.5Reduce3.6Fold3.7Aggregations3.8Window3.9WindowAll4.0Aggregationsonwindows4.1Union4.2Split4.3select3.1MapDataStream→DataStream一对一转换,即输入的记录和输出的记录相等。importorg.apache
just-do-it-zzj·2023-11-15 11:54

flink常用转换算子总结

表达式的写法，通过各种lamda表达式可以简化代码的编写，让代码看起来更加简洁，比如大家熟知的filter，map等方法，前者可以对集合中的数据进行过滤，后者可以很方便的对对象数据进行字段的规整转换等操作在flink
逆风飞翔的小叔·2023-11-15 11:24

Flink（五）【DataStream 转换算子（上）】

前言这节注定是一个大的章节，我预估一下得两三天，涉及到的一些东西不懂就重新学，比如Lambda表达式，我只知道Scala中很方便，但在Java中有点发怵了；一个接口能不能new来构造对象?答案是可以的，匿名内部类嘛。但这些好多都是不用不知道的事情。不得不感慨还是学习爽啊，不懂就练，再不懂就问；辛苦自己倒也无妨，可是感情就不一样了，不懂就问？等到问的时候人家就要和你saygoodbye了。1、基本转
让线程再跑一会·2023-11-15 11:50

java.lang.ArithmeticException: Division undefined

一、问题在flinksql中有一个除法计算，运行在内存之后报了如下的错误。
爬台阶的蚂蚁·2023-11-15 10:07

Flink的DataStream API的使用------执行环境（Execution Environment）

Flink的DataStreamAPI的使用文章目录***Flink的DataStreamAPI的使用***一、执行环境（ExecutionEnvironment）1、创建执行环境1.1、getExecutionEnvironment1.2
BrotherXu·2023-11-15 08:52

Flink TableAPI和SQL（五）基本API（四）流和表之间的转换

文章目录将表（Table）转换成流（DataStream）将流（DataStream）转换成表（Table）支持的数据类型全代码展示：在Flink中我们可以将Table再转换成DataStream，然后进行打印输出
Alienware^·2023-11-15 08:52

Flink - Table API 之流与表转换

Flink-TableAPI数据转换1.DataStream或DataSet转换为Table目前有两种方式将DataStream或DataSet转换为Table一种是通过注册Table的方式,将DataSet
笔墨新城·2023-11-15 08:22

Flink-Table API 和 Flink SQL简介 | 新老版本Flink批流处理对比 | 读取文件和Kafka消费数据 | API 和 SQL查询表

GitHubhttps://github.com/SmallScorpion/flink-tutorial.gitTableAPI和FlinkSQL是什么Flink对批处理和流处理，提供了统一的上层APITableAPI
SmallScorpion·2023-11-15 08:46

Flink Table 和 DataStream 转换

文章目录FlinkTable和DataStream转换1.表(Table)转换为流(DataStream)1.1处理（仅插入）流1.1.1fromDataStream()方法：1.1.1.1fromDataStream
coding or coded·2023-11-15 08:45

关于Flink的批处理和流处理的 Table & SQL API详解

首先看一下FlinkTableAPI和SQL使用，构建应用步骤。
LBJ_小松鼠·2023-11-15 08:15

21、Flink 的table API与DataStream API 集成（3）- changelog流处理、管道示例、类型转换和老版本转换示例

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:43

21、Flink 的table API与DataStream API 集成（1）- 介绍及入门示例、集成说明

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:12

flink 学习（十五）flink table api

目录前言1、引入依赖2、基于流创建表3、表转换成流4、TableAPI5、SQL6、tableEnv创建表7、sql创建表8、explain前言flink提供了TableAPI和SQL的方式，可以通过sql
_lrs·2023-11-15 08:42

21、Flink 的table API与DataStream API 集成（2）- 批处理模式和inser-only流处理

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:08

flink 8081 web页面无法被局域网内其他机器访问

实现`http://localhost:8081/#/overview`可以被局域网其他机器访问
Thomas2143·2023-11-15 05:17

Hadoop3.3.4分布式安装

注意：下文中的flinkv1、flinkv2、flinkv3是三台服务器的别名1.集群部署规划注意：NameNode和SecondaryNameNode不要安装在同一台服务器注意：ResourceManager
Appreciate(欣赏)·2023-11-15 04:39

Flink SQL --命令行的使用（02）

1、窗口函数：1、创建表：--创建kafka表CREATETABLEbid(bidtimeTIMESTAMP(3),priceDECIMAL(10,2),itemSTRING,WATERMARKFORbidtimeASbidtime)WITH('connector'='kafka','topic'='bid',--数据的topic'properties.bootstrap.servers'='ma
新手小农·2023-11-15 01:27

第四篇|Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？
wrr-cat·2023-11-15 01:40

【Flink】Flink的处理函数、TopN案例和侧输出流

目录一、基本处理函数（ProcessFunction）1、处理函数的概念2、ProcessFunction解析(1)抽象方法.processElement()（2）非抽象方法.onTimer()3、处理函数的分类（1）ProcessFunction（2）KeyedProcessFunction（3）ProcessWindowFunction（4）ProcessAllWindowFunction（5
不断学习的克里斯·2023-11-15 01:38

Flink-处理函数

目录1.基本处理函数（ProcessFunction）1.1处理函数的功能和使用1.2ProcessFunction解析1.3处理函数的分类2.按键分区处理函数（KeyedProcessFunction）2.1定时器（Timer）和定时服务（TimerService）2.2KeyedProcessFunction的使用3.窗口处理函数3.1窗口处理函数的使用3.2ProcessWindowFunc
芝士雪豹.·2023-11-15 01:08

0基础学习PyFlink——水位线（watermark）触发计算

在《0基础学习PyFlink——个数滚动窗口(TumblingCountWindows)》和《0基础学习PyFlink——个数滑动窗口（SlidingCountWindows）》中，我们发现如果窗口中元素个数没有把窗口填满
breaksoftware·2023-11-15 01:07

Flink CDC 经典13 问

Flinkcdc2.1.1发布后，更新了很多新功能以及知识点，今天为大家全面总结了CDC的知识点如无锁算法及面试高频考点。
GOD_WAR·2023-11-14 20:31

Flink cdc技术实践

1.技术详情CDC的实现方式主要有两种，分别是基于查询和基于日志：基于查询：查询后插入、更新到数据库即可，无须数据库的特殊配置以及账号权限。它的实时性基于查询频率决定，只能通过提高查询频率来保证实时性，而这必然会对DB造成巨大压力。此外，因为是基于查询，所以它无法捕获两次查询之间数据的变更记录，也就无法保证数据的一致性。基于日志：通过实时消费数据的变更日志实现，因此实时性很高。而且不会对DB造成很
大数据开发工程师-宋权·2023-11-14 19:51

Flink CDC入门实践--基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL

文章目录前言1.环境准备2.准备数据2.1MySQL2.2postgres3.启动flink和flinksqlclient3.1启动flink3.2启动flinkSQLclient4.在flinkSQLCLI
不爱学习的小妞·2023-11-14 19:46

flink cdc

文章目录flinkcdc1依赖包2stream3checkpoint,savepiont断点续存flinkcdc环境要求：flink版本：1.12+java版本：java8+git：https://github.com
老鼠扛刀满街找猫@·2023-11-14 19:46

Flink CDC

1、FlinkCDC的介绍：是一种技术，可以帮助我们实时的捕获数据库中数据的变化，并将这些变化的数据以流的形式传输到其他的系统中进行处理和存储。
新手小农·2023-11-14 19:58

实时数仓-Flink使用总结

阿里云实时计算Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台，支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。
高阳很捷迅·2023-11-14 18:42

33、Flink 的Table API 和 SQL 中的时区

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-14 10:15

Flink SQL --Flink 整合 hive

1、整合#1、将依赖包上传到flink的lib目录下flink-sql-connector-hive-3.1.2_2.12-1.15.2.jar#2、重启flink集群yarnapplication-listyarnapplication-killapplication
新手小农·2023-11-14 10:41

Flink SQL 练习

--1、实时统计道路拥堵情况，--统计最近15分钟，每隔1分钟统计一次，--统计车流量和平均车速--将统计结果保存到数据库中--1、创建kafkasource表CREATETABLEcars(card_idString,--车牌号road_idString,--道路编号city_idString,--城市编号car_idString,--卡口编号com_idString,--摄像头编号fxStri
新手小农·2023-11-14 10:41

Flink SQL -- CheckPoint

1、开启CheckPointcheckpoint可以定时将flink任务的状态持久化到hdfs中，任务执行失败重启可以保证中间结果不丢失#修改flink配置文件vimflink-conf.yaml#checkppint
新手小农·2023-11-14 10:11

Flink SQL -- 反压

1、测试反压：1、反压：指的是下游消费数据的速度比上游产生数据的速度要小时会出现反压，下游导致上游的Task反压。2、测试反压：使用的是DataGenCREATETABLEwords(wordSTRING)WITH('connector'='datagen','rows-per-second'='100000',--每秒随机生成的数据量'fields.word.length'='4');CREAT
新手小农·2023-11-14 10:36

快速灵敏的Flink2

flink基础知识TumblingEventTimeWindows滚动开窗packageorg.apache.flink.streaming.api.windowing.assigners;importorg.apache.flink.annotation.PublicEvolving
罗刹海是市式市世视士·2023-11-14 08:10

Flink Table和SQL动态表的理解(更新流和追加流)、动态表的种类

目录1.动态表1.1更新流(upsert、retract)的连续查询1.2追加流(append-only)的连续查询2.FlinkTable中动态表的种类注意：如果Timestamp属性列被用于计算，则下游的
Bulut0907·2023-11-14 05:42

Flink Table & SQL AppendStreamTableSink、RetractStreamTableSink、UpsertStreamTableSink 相关区别和变化

FlinkTable&SQLStreamTableSink有三类接口:AppendStreamTableSink、UpsertStreamTableSink、RetractStreamTableSink
wppwpp1·2023-11-14 05:42

Flink-SQL源码解读（一）window算子的创建的源码分析

本文大体框架参考https://blog.csdn.net/LS_ice/article/details/90711744flink版本：1.9Intro作为无限流的核心机制，流可以分割为大小有限的窗口
小凯Alex·2023-11-14 05:10

Flink必知必会系列之回撤流(RetractStream)源码解读

1.定义Flink中，KafkaSource是非回撤流，GroupBy是回撤流。
王知无(import_bigdata)·2023-11-14 05:39

Flink Table API和Flink SQL处理Row类型字段案例

从数据源获取Row类型数据流并使用FlinkTableAPI和FlinkSQL进行处理。
猫猫爱吃小鱼粮·2023-11-14 05:08

Flink SQL处理回撤流（Retract Stream）案例

FlinkSQL支持处理回撤流（RetractStream），下面是一个使用FlinkSQL消费回撤流的案例：假设有一个数据流，包含用户的姓名和年龄，希望计算每个姓名的年龄总和。
猫猫爱吃小鱼粮·2023-11-14 04:02

Flink1.12 使用WatermarkStrategy生成时间戳

Flink1.12版本后建议使用assignTimestampsAndWatermarks(WatermarkStrategy)的方式生成watermark，之前使用的assignTimestampsAndWatermarks
柏舟飞流·2023-11-14 01:14

使用Flink读取HBase数据

使用FlinkDataStreamAPI进行相关操作，依赖包如下：org.apache.hbasehbase-client${hbase.version}org.apache.hbasehbase-common
柏舟飞流·2023-11-14 01:14

Flink DataStream API编程

消费Kafka主题数据importorg.apache.flink.api.common.eventtime.WatermarkStrategy;importorg.apache.flink.api.common.serialization.SimpleStringSchema
柏舟飞流·2023-11-14 01:14

flink1.18.0 sql-client报错

报错FlinkSQL>select*fromt1;[ERROR]CouldnotexecuteSQLstatement.Reason:org.apache.flink.table.api.ValidationException
Thomas2143·2023-11-14 00:34

flink的键值分区状态自动过期ttl配置

背景flink的状态清理之前一直都是通过处理函数的ontimer设置定时器的方式清理掉那些无用的状态，但是这种方式容易出错而且代码也不优雅，使用flink提供的状态ttl的方式可以解决这个问题flink
lixia0417mul2·2023-11-13 22:07

flink对状态ttl进行单元测试

背景在处理键值分区状态时，使用ttl设置过期时间是我们经常使用的，但是任何代码的修改都需要首先进行单元测试，本文就使用单元测试来验证一下状态ttl的设置是否正确测试状态ttl超时的单元测试首先看一下处理函数：//处理函数publicclassMyStateProcessFunctionextendsKeyedProcessFunction{//键值分区状态ValueStatepreviousInp
lixia0417mul2·2023-11-13 22:36

flink的副输出sideoutput单元测试

背景处理函数中处理输出主输出的数据流数据外,也可以输出多个其他的副输出的数据流数据，当我们的处理函数有副输出时，我们需要测试他们功能的正确性，本文就提供一个测试flink副输出单元测试的例子测试flink
lixia0417mul2·2023-11-13 22:34

java table类api_Flink的Table API

TableAPI是SQL语言的超集并专门为ApacheFlink设计的，TableAPI是Scala和Java语言集成式的API。
nicole.yu·2023-11-13 20:07

Flink之Java Table API的使用

JavaTableAPI的使用使用JavaTableAPI开发添加依赖创建表环境创建表查询表输出表使用示例表和流的转换流DataStream转换成表Table表Table转换成流DataStream示例数据类型自定义函数UDF标量函数表函数聚合函数表聚合函数API方法汇总基本方法列操作聚合操作Joins合并操作排序GroupWindowsOverWindows使用JavaTableAPI开发添加依
CodeDevMaster·2023-11-13 20:01

Flink自定义aggregate聚合函数的步骤

第一步：将dataStream转换城windowedStream//kafka中的数据示例452437,3255022,5099474,pv,1511658000813974,1332724,2520771,buy,1511658000524395,3887779,2366905,pv,1511658000470572,3760258,1299190,pv,1511658001543789,311
Vincer_DB·2023-11-13 16:04
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他