大数据框架flink

一文解开主流开源变更数据捕获技术之Flink CDC的入门使用

CDC的分类特性应用场景支持数据源实战FlinkDataStream方式代码示例FlinkSQL方式代码示例概述定义flink-cdc-connectors官网https://github.com/ververica
IT小神·2023-08-04 04:26

Kudu-客户端API编程、生态整合(Spark、Flink、Impala)

编程接口环境准备创建表插入数据查询数据修改表结构更新数据删除数据更新和插入删除表Hadoop生态整合整合概述集成SparkSparkshell中操作Kudu代码整合Kudu+Spark-项目准备DDLCUD批处理读写Kudu特别注意集成Flink
迷雾总会解·2023-08-04 04:25

Flink之FileSink将数据写入parquet文件

Flink之FileSink将数据写入parquet文件在使用FileSink将数据写入列式存储文件中时必须使用forBulkFormat,列式存储文件如ORCFile、ParquetFile,这里就以
飞天小老头·2023-08-03 23:53

Flink之JDBC Sink

这里介绍一下FlinkSink中jdbcsink的使用方法,以mysql为例,这里代码分为两种,事务和非事务非事务代码importorg.apache.flink.connector.jdbc.JdbcConnectionOptions
飞天小老头·2023-08-03 23:53

flinksql 中使用 处理时间时， 时区差八个小时的问题 （在 flink 1.13 以后不会在出现时区问题了）

目录原因：解决：代码实操：原因：使用事件时间进行开窗时，需要事件进行触发，比如开一个小时的窗口，在2:15分有数据过来，下一条数据在3:15分到达，那么窗口将会在3:15触发计算，输出2：00-3:00这个时间段内的统计数据，create_time也是3:15。很明显这种情况与想要的触发时间不同。解决：使用处理时间代替事件时间，不管是否有数据，到达窗口触发时间后都会触发计算的。问题：直接使用处理时
fyl005·2023-08-03 20:55

关于flink1.11 flink sql使用cdc时区差8小时问题

在连接参数中设置‘server-time-zone’=‘Asia/Shanghai’比如：WITH(‘connector’=‘mysql-cdc’,‘hostname’=‘xxx’,‘port’=‘3306’,‘username’=‘root’,‘password’=‘root’,‘database-name’=‘xxx’,‘table-name’=‘xxx’,‘server-time-zone’
Zhikuan53·2023-08-03 20:54

FlinkCDC时间问题timestamp等

1.采集时间变成时间戳问题1.1针对时间类型转换使用flinkcdcV2.3.0（及其以下版本）采集时间，源库中为yyyy-MM-dd类型采集后变为时间戳源库数据样式：采集后的json数据{"before
zhu.hh·2023-08-03 20:54

实测解决 flink cdc mysql 时间字段差8小时/差13小时问题

//自定义时间转换配置properties.setProperty("converters","dateConverters");properties.setProperty("dateConverters.type","com.ysservice.utils.MySqlDateTimeConverter");//构建mysqlSourceMySqlSourcemysqlCdcSource=MyS
普罗米修斯之火·2023-08-03 20:49

FLinkCDC读取MySQl中的日期问题

问题描述：在通过FlinkCDC读取MySQL的BinLog日志的时候，发现读取到日期类型的数据和数据库中存储的相差八小时。
YPeiQi·2023-08-03 20:49

FLinkCDC读取MySQl时间戳时区相关问题解决汇总

FlinkCDC时间问题timestamp等https://blog.csdn.net/qq_30529079/article/details/127809317FLinkCDC读取MySQl中的日期问题
csdn-延·2023-08-03 20:16

Grafana+Alter+webhook发预警给钉钉

上文写了如何FlinkMetric发送监控消息最后在grafana展现。
榛西·2023-08-03 20:13

flink学习之十二-eventTime中的watermark

在flink中使用eventtime时，一般需要自定义TimestampExtractors/WatermarkEmitters，实现AssignerWithPeriodicWatermarks或者AssignerWithPunctuatedWatermarks
AlanKim·2023-08-03 14:08

Flink DataStream API详解

DataStreamAPI参考：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/datastream_api.htmlDataSourcesSource
LJiaWang·2023-08-03 11:26

Flink State 和 Fault Tolerance详解

有状态操作或者操作算子在处理DataStream的元素或者事件的时候需要存储计算的中间状态，这就使得状态在整个Flink的精细化计算中有着非常重要的地位：记录数据从某一个过去时间点到当前时间的状态信息。
LJiaWang·2023-08-03 11:26

FLINK SQL 时间戳转换

1.TO_TIMESTAMP时间戳类型转换问题上图是来自阿里巴巴FlinkSQL开发手册,案例中TO_TIMESTAMP可以将13位bigint类型的UNIX时间戳转换成TIMESTAMP的日期类型2017
qq_43193797·2023-08-03 10:19

Apache Flink概述

Flink是构建在数据流之上的一款有状态的流计算框架，通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，难度大
LJiaWang·2023-08-03 10:15

Flink Windows（窗口）详解

在Flink中编写一个窗口计算的基本结构如下：KeyedWindowsstream.keyBy(...).window(...)
LJiaWang·2023-08-03 10:15

Flink

Flink（ApacheFlink）是一个开源的分布式流处理引擎和批处理框架。它是由Apache软件基金会维护的项目，旨在处理大规模数据的实时流式处理和批处理任务。
summer_west_fish·2023-08-03 10:15

Grafana制作图表-自定义Flink监控图表

，就是处理数据的延迟数据抓取，这个的说明看下下面的文章metrics.latency.interval:60metrics.reporter.promgateway.class:org.apache.flink.metrics.prometheus.PrometheusPushGatewayReportermetrics
顶尖高手养成计划·2023-08-03 10:14

Flink程序富函数中使用定时任务查询mysql

Flink程序富函数中使用定时任务查询mysql出现内存堆积问题描述flink程序在跑的过程中，发现跑几天就停掉了，看日志发现是代码中的ResultSet和Statement堆积的太多，引起的内存溢出，
锋火连天·2023-08-03 10:14

flink任务性能优化

将下游数据需要的数据以参数的形式向下传递3、当服务器资源有限的情况下，慎用RocksDBStateBackendRocksDBStateBackendperformancewillbepoorbecauseofthecurrentFlinkmemoryconfiguration
如果丶可以坑·2023-08-03 10:14

Flink读取mysql数据库(java)

代码如下:packagecom.weilanaoli.ruge.vlink.flink;importcom.ververica.cdc.connectors.mysql.source.MySqlSource
Jmayday·2023-08-03 10:44

启动Flink显示初始化状态怎么解决？

启动Flink显示初始化状态怎么解决？
锋火连天·2023-08-03 10:43

消息队列的选型及当下几种流行队列的优缺点分析

消息队列选型必须是开源产品，有bug可以修改源码；近几年比较流行，社区活跃度高，流行的产品与周边生态系统会有一个比较好的集成和兼容，比如，Kafka和Flink就有比较好的兼容性，Flink内置了Kafka
我是pp呀·2023-08-03 05:17

Flink(5)读取数据源的几种方式

执行环境创建一个执行环境，表示当前执行程序的上下文，如果程序是独立调用的则此方法返回本地执行环境，如果从命令行客户端调用程序提交到集群，则此方法返回此集群的执行环境，也就是是说，getExecutionEnvironment(),会根据查询运行的方式决定返回什么样的运行环境。是最常用的一种创建执行环境的方式。#流处理环境StreamExecutionEnvironmentenv=StreamExe
hk_faith·2023-08-03 02:19

伴鱼基于 Flink 构建数据集成平台的设计与实现

▼关注「ApacheFlink」，获取更多技术干货▼摘要：数据仓库有四个基本的特征：面向主题的、集成的、相对稳定的、反映历史变化的。
Apache Flink·2023-08-02 21:14

【Flink】Flink 部署性能优化

1.概述转载：面向流批一体的FlinkRuntime新进展首先是关于调度部分的性能优化。
九师兄·2023-08-02 21:44

Flink简介/运行框架/流与批/分层API

FlinkFlink起源于Stratosphere项目Flink项目的理念是："ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架"ApacheFlink是一个框架和分布式处理引擎
syyyyyyyyyyyyyyh·2023-08-02 21:44

实时平台如何管理多个 Flink 版本？（上）

Flink社区本身迭代速度非常快，目前阿里云有一大波的人专职做Flink开源，另外还拥有活跃的社区贡献者，所以功能开发较快，bug修复速度较快，几乎每4个月一个大版本，每个大版本之间迭代的功能非常多，代码变动非常大
zhisheng_blog·2023-08-02 21:44

Flink的架构以及任务调度流程

flink架构体系JobManager处理器也称之为Master，用于协调分布式执行，它们用来调度task，协调检查点(CheckPoint)，协调失败时恢复等。
@Peanut·2023-08-02 21:14

Flink JobManger、TaskManger、TaskSlots、Client作用

文章目录JobMangerTaskManagerTaskSlotsClient上图，是我们Flink-WEB-UI一部分截图Flink系统主要由两个组件组成，分别为JobManager和TaskManager
保护我方胖虎·2023-08-02 21:13

一文带你学会如何基于Flink构建实时计算平台

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据
袋鼠云数栈·2023-08-02 21:42

【Flink】浅谈Flink架构和调度

【Flink】浅谈Flink架构和调度Flink架构Flink是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。
小猪猪家的大猪猪·2023-08-02 21:12

Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）

Flink非对齐checkpoint原理（FlinkUnalignedCheckpoint）为什么提出UnalignedCheckpoint（UC）？
过悟·2023-08-02 21:21

Flink系列-基本概念：Streaming 101: The world beyond batch

Editor'snote:Thisisthefirstpostinatwo-partseriesabouttheevolutionofdataprocessing,withafocusonstreamingsystems,unboundeddatasets,andthefutureofbigdata.Seeparttwo.Also,checkout"StreamingSystems,"byTyle
神奇的考拉·2023-08-02 19:07

九、Kafka 消费位点

检查点使得ApacheFlink具有容错能力，并确保了即时发生故障也能保证流应用程序的语义。检查点是以固定的间隔来触发的，该间隔可以在应用中配置。
木戎·2023-08-02 18:56

FlinkRuntimeException: Cannot read the binlog filename and position via ‘SHOW MASTER STATUS‘. Make s

执行flinkcdc报错错误明细：io.debezium.DebeziumException:org.apache.flink.util.FlinkRuntimeException:Cannotreadthebinlogfilenameandpositionvia'SHOWMASTERSTATUS
醇氧·2023-08-02 17:08

离线数仓中，为什么用两个flume，一个kafka

因为flink直接取的事件时间用kafka是为了速度快，并且数据不丢，那为什么既用了kafkachannel，也用了kafka，而不只用kafkachannel呢？
青云游子·2023-08-02 17:04

Vulmap和struts-scan联合使用

介绍Vulmap是一款web漏洞扫描和验证工具,可对webapps进行漏洞扫描,并且具备漏洞利用功能,目前支持的webapps包括activemq,flink,shiro,solr,struts2,tomcat
十三2·2023-08-02 17:20

Flink-Table API 和 SQL(基本API、流处理的表、时间属性和窗口、聚合查询、联结查询、函数、SQL客户端、连接到外部系统)

文章目录TableAPI和SQL快速上手基本API程序架构创建表环境创建表表的查询输出表表和流的转换流处理中的表动态表和持续查询将流转换成动态表原理用SQL持续查询-更新查询&追加查询将动态表转换为流(Append-only、Retract、Upsert)时间属性和窗口事件时间处理时间窗口（Window）聚合（Aggregation）查询分组聚合窗口聚合开窗（Over）聚合应用实例—TopN联结（
迷雾总会解·2023-08-02 16:11

Flink Watermark 源码分析

随着flink的快速发展与API的迭代导致新老版本差别巨大遂重拾flink，在回顾到时间语义时对watermark有了不一样的理解。
小王是个弟弟·2023-08-02 10:09

二.Flink基本架构

2.0JobManager与TaskManagerFlink运行时包含了两种类型的处理器：JobManager处理器：也称之为Master，用于协调分布式执行，它们用来调度task，协调检查点，协调失败时恢复等
临时_01e2·2023-08-02 08:10

所有集群启动的命令

local模式）启动Spark集群standalone模式(不用了)关闭standalone模式HA下的standalone模式关闭HA-standalone模式Yarn模式（重点）关闭Spark集群启动flink
不懂开发的程序猿·2023-08-02 08:34

Flink系列之：动态发现新增分区

Flink系列之：动态发现新增分区一、动态发现新增分区二、FlinkSQL动态发现新增分区三、FlinkAPI动态发现新增分区为了在不重新启动Flink作业的情况下处理主题扩展或主题创建等场景，可以将Kafka
最笨的羊羊·2023-08-02 08:19

Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法

Kafka系列之：记录一次KafkaTopic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法一、背景二、解决方法三、实现自动发现新的分区一、背景生产环境Kafka集群压力大，Topic
最笨的羊羊·2023-08-02 08:47

Flink（二十二）Flink 的table api与sql之创建表的DDL

Flink系列文章Flink（一）1.12.7或1.13.5详细介绍及本地安装部署、验证Flink（二）1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式（前两种及
一瓢一瓢的饮 alanchan·2023-08-02 06:01

大数据Flink（五十三）：Flink流处理特性、发展历史以及Flink的优势

文章目录Flink流处理特性、发展历史以及Flink的优势一、Flink流处理特性二、发展历史
Lansonli·2023-08-02 03:00

Flink教程-keyby 窗口数据倾斜的优化

在大数据处理领域，数据倾斜是一个非常常见的问题，今天我们就简单讲讲在flink中如何处理流式数据倾斜问题。
大数据技术与应用实战·2023-08-02 02:31

大数据开发：Flink API编程初级入门

作为大数据生态圈越来越活跃的框架，Flink的热度持续走高，自然也成为大数据学习阶段必须攻克的一大重难点。
成都加米谷大数据·2023-08-02 00:49

大数据Flink（五十五）：Flink架构体系

文章目录Flink架构体系一、Flink中的重要角色二、Flink数据流编程模型三、Libraries支持
Lansonli·2023-08-01 22:03
上一页 88 89 90 91 92 93 94 95 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他