#flink运行模式

flink 学习（十五）flink table api

目录前言1、引入依赖2、基于流创建表3、表转换成流4、TableAPI5、SQL6、tableEnv创建表7、sql创建表8、explain前言flink提供了TableAPI和SQL的方式，可以通过sql
_lrs·2023-11-15 08:42

21、Flink 的table API与DataStream API 集成（2）- 批处理模式和inser-only流处理

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-15 08:08

playwright在vscode+jupyter中出现NotImplementedError问题

刚开始使用sync_playwright，在playwright的Conda运行环境中，以console模式和单文件直接运行模式，都能正常运行。
阆遤·2023-11-15 08:56

flink 8081 web页面无法被局域网内其他机器访问

实现`http://localhost:8081/#/overview`可以被局域网其他机器访问
Thomas2143·2023-11-15 05:17

Hadoop3.3.4分布式安装

注意：下文中的flinkv1、flinkv2、flinkv3是三台服务器的别名1.集群部署规划注意：NameNode和SecondaryNameNode不要安装在同一台服务器注意：ResourceManager
Appreciate(欣赏)·2023-11-15 04:39

Spark学习笔记【基础概念】

文章目录前言Spark基础Spark是什么spark和hadoop区别Spark核心模块Spark运行模式Spark运行架构运行架构Executor与Core（核）并行度（Parallelism）有向无环图
java路飞·2023-11-15 03:40

Flink SQL --命令行的使用（02）

1、窗口函数：1、创建表：--创建kafka表CREATETABLEbid(bidtimeTIMESTAMP(3),priceDECIMAL(10,2),itemSTRING,WATERMARKFORbidtimeASbidtime)WITH('connector'='kafka','topic'='bid',--数据的topic'properties.bootstrap.servers'='ma
新手小农·2023-11-15 01:27

第四篇|Flink DataStream API 中的多面手——Process Function详解

在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？
wrr-cat·2023-11-15 01:40

【Flink】Flink的处理函数、TopN案例和侧输出流

目录一、基本处理函数（ProcessFunction）1、处理函数的概念2、ProcessFunction解析(1)抽象方法.processElement()（2）非抽象方法.onTimer()3、处理函数的分类（1）ProcessFunction（2）KeyedProcessFunction（3）ProcessWindowFunction（4）ProcessAllWindowFunction（5
不断学习的克里斯·2023-11-15 01:38

Flink-处理函数

目录1.基本处理函数（ProcessFunction）1.1处理函数的功能和使用1.2ProcessFunction解析1.3处理函数的分类2.按键分区处理函数（KeyedProcessFunction）2.1定时器（Timer）和定时服务（TimerService）2.2KeyedProcessFunction的使用3.窗口处理函数3.1窗口处理函数的使用3.2ProcessWindowFunc
芝士雪豹.·2023-11-15 01:08

0基础学习PyFlink——水位线（watermark）触发计算

在《0基础学习PyFlink——个数滚动窗口(TumblingCountWindows)》和《0基础学习PyFlink——个数滑动窗口（SlidingCountWindows）》中，我们发现如果窗口中元素个数没有把窗口填满
breaksoftware·2023-11-15 01:07

Flink CDC 经典13 问

Flinkcdc2.1.1发布后，更新了很多新功能以及知识点，今天为大家全面总结了CDC的知识点如无锁算法及面试高频考点。
GOD_WAR·2023-11-14 20:31

Flink cdc技术实践

1.技术详情CDC的实现方式主要有两种，分别是基于查询和基于日志：基于查询：查询后插入、更新到数据库即可，无须数据库的特殊配置以及账号权限。它的实时性基于查询频率决定，只能通过提高查询频率来保证实时性，而这必然会对DB造成巨大压力。此外，因为是基于查询，所以它无法捕获两次查询之间数据的变更记录，也就无法保证数据的一致性。基于日志：通过实时消费数据的变更日志实现，因此实时性很高。而且不会对DB造成很
大数据开发工程师-宋权·2023-11-14 19:51

Flink CDC入门实践--基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL

文章目录前言1.环境准备2.准备数据2.1MySQL2.2postgres3.启动flink和flinksqlclient3.1启动flink3.2启动flinkSQLclient4.在flinkSQLCLI
不爱学习的小妞·2023-11-14 19:46

flink cdc

文章目录flinkcdc1依赖包2stream3checkpoint,savepiont断点续存flinkcdc环境要求：flink版本：1.12+java版本：java8+git：https://github.com
老鼠扛刀满街找猫@·2023-11-14 19:46

Flink CDC

1、FlinkCDC的介绍：是一种技术，可以帮助我们实时的捕获数据库中数据的变化，并将这些变化的数据以流的形式传输到其他的系统中进行处理和存储。
新手小农·2023-11-14 19:58

实时数仓-Flink使用总结

阿里云实时计算Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台，支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。
高阳很捷迅·2023-11-14 18:42

33、Flink 的Table API 和 SQL 中的时区

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan·2023-11-14 10:15

jvm基本常识

JVM的关系OracleJDK与OpenJDK查看JDK版本OpenJDK的来历OracleJDK的来历OracleJDK与OpenJDK的区别VM和Hotspot的关系JVM和Java的关系JVM的运行模式
陈同学：·2023-11-14 10:32

Flink SQL --Flink 整合 hive

1、整合#1、将依赖包上传到flink的lib目录下flink-sql-connector-hive-3.1.2_2.12-1.15.2.jar#2、重启flink集群yarnapplication-listyarnapplication-killapplication
新手小农·2023-11-14 10:41

Flink SQL 练习

--1、实时统计道路拥堵情况，--统计最近15分钟，每隔1分钟统计一次，--统计车流量和平均车速--将统计结果保存到数据库中--1、创建kafkasource表CREATETABLEcars(card_idString,--车牌号road_idString,--道路编号city_idString,--城市编号car_idString,--卡口编号com_idString,--摄像头编号fxStri
新手小农·2023-11-14 10:41

Flink SQL -- CheckPoint

1、开启CheckPointcheckpoint可以定时将flink任务的状态持久化到hdfs中，任务执行失败重启可以保证中间结果不丢失#修改flink配置文件vimflink-conf.yaml#checkppint
新手小农·2023-11-14 10:11

Flink SQL -- 反压

1、测试反压：1、反压：指的是下游消费数据的速度比上游产生数据的速度要小时会出现反压，下游导致上游的Task反压。2、测试反压：使用的是DataGenCREATETABLEwords(wordSTRING)WITH('connector'='datagen','rows-per-second'='100000',--每秒随机生成的数据量'fields.word.length'='4');CREAT
新手小农·2023-11-14 10:36

Xxl-Job 快速入门

Quartz的区别二、快速入门2.1启动xxl-job-admin2.2创建一个新的定时任务2.3在调度中心新增定时任务三、操作指南3.1新建执行器3.2创建任务3.3其他概念3.3.1路由策略3.3.2任务运行模式
JAVA开发区·2023-11-14 09:55

快速灵敏的Flink2

flink基础知识TumblingEventTimeWindows滚动开窗packageorg.apache.flink.streaming.api.windowing.assigners;importorg.apache.flink.annotation.PublicEvolving
罗刹海是市式市世视士·2023-11-14 08:10

Flink Table和SQL动态表的理解(更新流和追加流)、动态表的种类

目录1.动态表1.1更新流(upsert、retract)的连续查询1.2追加流(append-only)的连续查询2.FlinkTable中动态表的种类注意：如果Timestamp属性列被用于计算，则下游的
Bulut0907·2023-11-14 05:42

Flink Table & SQL AppendStreamTableSink、RetractStreamTableSink、UpsertStreamTableSink 相关区别和变化

FlinkTable&SQLStreamTableSink有三类接口:AppendStreamTableSink、UpsertStreamTableSink、RetractStreamTableSink
wppwpp1·2023-11-14 05:42

Flink-SQL源码解读（一）window算子的创建的源码分析

本文大体框架参考https://blog.csdn.net/LS_ice/article/details/90711744flink版本：1.9Intro作为无限流的核心机制，流可以分割为大小有限的窗口
小凯Alex·2023-11-14 05:10

Flink必知必会系列之回撤流(RetractStream)源码解读

1.定义Flink中，KafkaSource是非回撤流，GroupBy是回撤流。
王知无(import_bigdata)·2023-11-14 05:39

Flink Table API和Flink SQL处理Row类型字段案例

从数据源获取Row类型数据流并使用FlinkTableAPI和FlinkSQL进行处理。
猫猫爱吃小鱼粮·2023-11-14 05:08

Flink SQL处理回撤流（Retract Stream）案例

FlinkSQL支持处理回撤流（RetractStream），下面是一个使用FlinkSQL消费回撤流的案例：假设有一个数据流，包含用户的姓名和年龄，希望计算每个姓名的年龄总和。
猫猫爱吃小鱼粮·2023-11-14 04:02

Flink1.12 使用WatermarkStrategy生成时间戳

Flink1.12版本后建议使用assignTimestampsAndWatermarks(WatermarkStrategy)的方式生成watermark，之前使用的assignTimestampsAndWatermarks
柏舟飞流·2023-11-14 01:14

使用Flink读取HBase数据

使用FlinkDataStreamAPI进行相关操作，依赖包如下：org.apache.hbasehbase-client${hbase.version}org.apache.hbasehbase-common
柏舟飞流·2023-11-14 01:14

Flink DataStream API编程

消费Kafka主题数据importorg.apache.flink.api.common.eventtime.WatermarkStrategy;importorg.apache.flink.api.common.serialization.SimpleStringSchema
柏舟飞流·2023-11-14 01:14

flink1.18.0 sql-client报错

报错FlinkSQL>select*fromt1;[ERROR]CouldnotexecuteSQLstatement.Reason:org.apache.flink.table.api.ValidationException
Thomas2143·2023-11-14 00:34

flink的键值分区状态自动过期ttl配置

背景flink的状态清理之前一直都是通过处理函数的ontimer设置定时器的方式清理掉那些无用的状态，但是这种方式容易出错而且代码也不优雅，使用flink提供的状态ttl的方式可以解决这个问题flink
lixia0417mul2·2023-11-13 22:07

flink对状态ttl进行单元测试

背景在处理键值分区状态时，使用ttl设置过期时间是我们经常使用的，但是任何代码的修改都需要首先进行单元测试，本文就使用单元测试来验证一下状态ttl的设置是否正确测试状态ttl超时的单元测试首先看一下处理函数：//处理函数publicclassMyStateProcessFunctionextendsKeyedProcessFunction{//键值分区状态ValueStatepreviousInp
lixia0417mul2·2023-11-13 22:36

flink的副输出sideoutput单元测试

背景处理函数中处理输出主输出的数据流数据外,也可以输出多个其他的副输出的数据流数据，当我们的处理函数有副输出时，我们需要测试他们功能的正确性，本文就提供一个测试flink副输出单元测试的例子测试flink
lixia0417mul2·2023-11-13 22:34

java table类api_Flink的Table API

TableAPI是SQL语言的超集并专门为ApacheFlink设计的，TableAPI是Scala和Java语言集成式的API。
nicole.yu·2023-11-13 20:07

Flink之Java Table API的使用

JavaTableAPI的使用使用JavaTableAPI开发添加依赖创建表环境创建表查询表输出表使用示例表和流的转换流DataStream转换成表Table表Table转换成流DataStream示例数据类型自定义函数UDF标量函数表函数聚合函数表聚合函数API方法汇总基本方法列操作聚合操作Joins合并操作排序GroupWindowsOverWindows使用JavaTableAPI开发添加依
CodeDevMaster·2023-11-13 20:01

Flink自定义aggregate聚合函数的步骤

第一步：将dataStream转换城windowedStream//kafka中的数据示例452437,3255022,5099474,pv,1511658000813974,1332724,2520771,buy,1511658000524395,3887779,2366905,pv,1511658000470572,3760258,1299190,pv,1511658001543789,311
Vincer_DB·2023-11-13 16:04

Flink从入门到精通之-12Flink CEP

Flink从入门到精通之-12FlinkCEP在Flink的学习过程中，从基本原理和核心层DataStreamAPI到底层的处理函数、再到应用层的TableAPI和SQL，我们已经掌握了Flink编程的各种手段
潘小磊·2023-11-13 14:31

Flink从入门到精通之-11Table API 和 SQL

Flink从入门到精通之-11TableAPI和SQL如图11-1所示，在Flink提供的多层级API中，核心是DataStreamAPI，这是我们开发流处理应用的基本途径；底层则是所谓的处理函数（processfunction
潘小磊·2023-11-13 14:01

zynq双核AMP实验之cpu1唤醒代码

一·多核CPU的运行模式    从软件的角度看，多核处理器的运行模式有AMP（非对称多处理）、SMP（对称多处理）和BMP（受约束多处理）三种运行模式。    
卡ka罗特·2023-11-13 14:16

Apache Doris 系列： 基础篇-Flink DataStream 读写Doris

简介本文介绍Flink如何流式写入ApacheDoris，分为一下几个部分：FlinkDorisconnectorDorisFE节点配置FlinkDataStream写DorisFlinkDorisconnectorFlinkDorisconnector
修破立生·2023-11-13 12:42

Doris：读取Doris数据的N种方法

目录1.MySQLClient2.JDBC3.查询计划4.SparkDorisConnector5.FlinkDorisConnector1.MySQLClientDoris采用MySQL协议，高度兼容
m0_37559973·2023-11-13 12:59

Flink之处理函数 （ProcessFunction）

之前所介绍的流处理API，无论是基本的转换、聚合，还是更为复杂的窗口操作，其实都是基于DataStream进行转换的；所以可以统称为DataStreamAPI，这也是Flink编程的核心。
四维大脑·2023-11-13 11:04

Flink学习（3）——Window（窗口机制）API

1.Window的概念无论是无界的数据流还是有界的，Flink都可以做到接收一个数据就立即处理一个数据，最终我们可以得到整个数据流的所有数据的统计结果。
常识与偏见·2023-11-13 11:02

Flink

1.Flink简介1.1初识FlinkFlink项目的理念是：“ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源的有状态的流处理框架”。
不吃香菜lw·2023-11-13 11:31

Flink CDC 2.0及其他数据同步工具对比

CDC的全称是ChangeDataCapture，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为CDC。基于查询的CDC：离线调度查询作业，批处理。依赖表中的更新时间字段，每次执行查询去获取表中最新的数据；无法捕获删除事件，从而无法保证数据一致性；无法保障实时性，基于离线调度存在天然的延迟。基于日志的CDC：实时消费日志，流处理。例如MySQL的binlog日志完整记录了数据库中的变
贾斯汀玛尔斯·2023-11-13 07:54
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他