大数据框架flink

余老师带你学习大数据框架全栈第十三章Hudi第一节核心技术

1.前言1.1为什么产生数据湖数据量比较大，越来越不满足处理结构化的数据，比如说数仓，数仓就是处理结构化数据。什么是结构化数据，就是数据成数据库来的，传统型的数据库有：MySQL数据库、Oracle、SQLserver，从这些库里面过来的数据都是结构化数据。日志、json、xml是属于半结构化数据，结构化数据和半结构化数据就是当前数仓所做的功能。数据湖的产生就是为了解决非结构化数据和二进制数据，主
weixin_45810046·2023-10-11 20:55

修炼k8s+flink+hdfs+dlink（四：k8s（一）概念）

一：概念1.概述1.1kubernetes对象.k8s对象包含俩个嵌套对象字段。spec（规约）：期望状态status（状态）：当前状态当创建对象的时候，会按照spec的状态进行创建，如果这些实例中有些失败了。那么会重新启动一个新的来替换这个实例。对象样例按照规定，app要求主体是json格式。但是也可以使用YAML清单格式，后续通过http访问app的时候，会将信息转化位JSON格式或者其他受支
宇智波云·2023-10-11 18:05

大数据开发-Flink-数据流DataStream和DataSet

DataStream的三种流处理Api1.1DataSource1.2Transformation1.3Sink二、DataSet的常用Api2.1DataSource2.2Transformation2.3SinkFlink
往事随风_h·2023-10-11 14:01

Flink程序启动报错could not be determined automatically

couldnotbedeterminedautomatically通过idea中的报错可以定位到错误位置修改为如下的方式即可，根据你的返回值来定的，不要写和我一样的哦！！！
故乡的花又开了吗·2023-10-11 12:01

Flink报错：Could not connect to BlobServer at address localhost/127.0.0.1:39203

Flink报错：CouldnotconnecttoBlobServerataddresslocalhost/127.0.0.1:39203Flink报错：CouldnotconnecttoBlobServerataddresslocalhost
xuxi01·2023-10-11 12:31

启动flink报错：[ERROR] Could not get JVM parameters and dynamic configurations properly.

启动flink报错：[ERROR]CouldnotgetJVMparametersanddynamicconfigurationsproperly.把下面设置修改为1024mjobmanager.heap.size
消八哥·2023-10-11 12:30

Flink: Could not connect to BlobServer at address localhost/127.0.0.1:34036

描述提交flink的作业时，报如下错误：Causedby:org.apache.flink.util.FlinkException:Couldnotuploadjobfiles.........CouldnotconnecttoBlobServerataddresslocalhost
runing_an_min·2023-10-11 12:00

flink报错处理：Could not get JVM parameters and dynamic configurations properly.

在服务器上运行flink时，发生报错：CouldnotgetJVMparametersanddynamicconfigurationsproperly。
卖香油的少掌柜·2023-10-11 12:29

Flink报错: Could not forward element to next operator

Flink版本1.9.1程序报错:原因:watermark的event_time为null导致
雾岛与鲸·2023-10-11 12:58

【Flink】Flink报错 Could not forward element to next operator

因为没有出现我自己的代码，全是flink内部错误该异常几乎都是由于程序业务逻辑有误，或者数据流里存在未处理好的脏数据导致的，继续向下追溯异常栈一般就可以看到具体的出错原因，比较常见的如POJO内有空字段
九师兄·2023-10-11 12:57

【Flink】Flink 报错 Initial AbstractPagedOutputView Segment may not be null

文章目录1.概述2.源码分析1.概述写了一个FLinkSQL报错InitialAbstractPagedOutputViewSegmentmaynotbenull写的SQL如下报错信息如下2.源码分析根据报错找到报错的位置
九师兄·2023-10-11 12:57

【Flink】Flink 任务报错 Could not perform checkpoint for operator

1.概述一个Flink做检查点的时候报错`Couldnotperformcheckpointforoperator`详情如下报错原因：检查点没保存，反压了2.源码解读在节点收到Barrier的时候做检查点
九师兄·2023-10-11 12:57

【基础篇】一、什么是Flink

文章目录1、Flink是什么2、有界流和无界流3、有状态流处理4、Flink的特点5、Flink对比SparkStreaming6、Flink的应用场景7、Flink的分层API1、Flink是什么ApacheFlink
-代号9527·2023-10-11 12:26

【基础篇】二、Flink的批处理和流处理API

、批处理有界流2、流处理有界流3、流处理无界流4、Thegenerictypeparametersof'Collector'aremissing0、demo模块创建创建个纯Maven工程来做演示，引入Flink
-代号9527·2023-10-11 12:26

Flink使用lambda表达式报错：InvalidTypesException：could not be determined automatically, due to type erasure.

在写Flink程序的时候（以最简单的WordCount案例为例），有时会使用Lambda表达式来简化，如下边程序中的flatMap算子和Map算子处，都是用了Lambda表达式来简写：publicstaticvoidmain
Aimo_Hassa·2023-10-11 12:56

Flink报错could not be loaded due to a linkage failure

文章目录1、报错2、原因3、解决1、报错在Flink上提交作业，点Submit没反应，F12看到接口报错信息为：大概意思是，由于链接失败，无法加载程序的入口点类xx。
-代号9527·2023-10-11 12:52

修炼k8s+flink+hdfs+dlink（四：k8s（二）组件）

一：控制平面组件。控制平面组件会为集群做出全局决策，比如资源的调度。以及检测和响应集群事件，例如当不满足部署的replicas字段时，要启动新的pod）。1.kube-apiserver。该组件负责公开了KubernetesAPI，负责处理接受请求的工作。API服务器是Kubernetes控制平面的前端。2.kube-controller-manager。负责运行控制器进程。从逻辑上讲，每个控制器
宇智波云·2023-10-11 10:54

基于Binlog、FlinkCDC、Doris实现实时数据同步

基于Binlog、FlinkCDC、Doris实现数据实时同步Docker部署MySQLdockerpullmysql:5.7.32通过挂载的方式开启一个mysql镜像dockerrun-p3307:3306
何以问_·2023-10-11 07:38

4、mysql--＞kafka--＞mysql

全部使用Flinkcdc最新版本实现，虽然代码精简，但确属全网最全，最完整的案例，没有之一。
vandh·2023-10-11 07:01

Spark分布式计算框架之SparkStreaming+kafka

2、MR&Storm&Spark&flink的区别MR：针对数据进行处理，没封装高级的算子，自己实现逻辑
embelfe_segge·2023-10-11 04:12

Flink - CEP监控下单付款超时通知

在电商领域通常会有这样一种需要，如果客户下单了，但是在10分钟内不付款，应该需要通知客服，再由客服寻问客户为什么还没有付款，从而提高付款效率，我们可以采用Flink-CEP的超时机制来处理。
大猪大猪·2023-10-11 02:18

大数据开发：Hadoop分布式架构简介

作为最早开源的大数据框架，Hadoop经历了相当长的一段黄金发展时期，在大数据的发展当中，Hadoop也在随着大趋势不断优化调整，但是分布式架构始终是不变的主旨。
加米谷大数据张老师·2023-10-11 00:26

pyflink读取kafka数据写入mysql实例

依赖包下载https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-kafka/1.17.1/版本flink：1.16.0kafka
墨痕诉清风·2023-10-10 23:31

Apache Flink 开发环境搭建和应用的配置、部署及运行

前言本文主要面向于初次接触Flink、或者对Flink有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用Flink，并着手相关开发调试工作。
000X000·2023-10-10 23:54

Flink各类运行环境介绍

Flink各类运行环境介绍1.开发环境开发环境主要指本地电脑代码开发环境开发环境的准备本地环境需要安装环境语言：java1.8maven工具开发工具：例如IntelliJIDEA，并配置环境具备了开发所依赖的各类环境后
王亭_666·2023-10-10 23:54

IDEA中搭建flink开发环境，看这一篇就够了，亲测有效

在使用flink进行应用开发的时候，通常都是将开发的应用程序，提交到flink集群中，但是这样对应用程序开发调试很不方便，所谓磨刀不误砍柴工，下面我整理一个在mac上使用idea开发flink程序的配置教程
小李哥编程·2023-10-10 23:24

第二课 Flink 安装部署、环境配置及运行应用程序（1）

视频地址【ApacheFlink入门教程】3.Flink安装部署、环境配置及运行应用程序_哔哩哔哩_bilibiliApacheFlinkChina社区出品，ApacheFlink教程第二弹《Flink
起名-困难户·2023-10-10 23:51

2.Flink之开发环境搭建和应用的配置、部署及运行

本文主要面向于初次接触ApacheFlink（以下简称Flink）、或者对Flink有了解但是没有实际操作过的同学。
吃胖点儿·2023-10-10 23:49

Flink开发环境搭建与提交运行Flink应用程序

Flink开发环境搭建与提交运行Flink应用程序Flink概述环境Flink程序开发项目构建添加依赖安装Netcat实现经典的词频统计批处理示例流处理示例FlinkWebUI命令行提交作业编写Flink
CodeDevMaster·2023-10-10 23:48

如何降低 Flink 开发和运维成本？阿里云实时计算平台建设实践

摘要：本文整理自阿里云高级技术专家，ApacheFlinkContributor周凯波（宝牛），在FFA2022平台建设专场的分享。
Apache Flink·2023-10-10 22:10

Flink session集群运维

1、集群jobmanager挂了kubectldescribepodsession-deployment-only-84b8d674c7-ckl9w-nflinkkubectlgetpod-nflink-owidekubectldescribepodsession-deployment-only
wangqiaowq·2023-10-10 22:51

大数据hudi之集成flink:常见基础问题

目录5.15.1存储一直看不到数据数据有重复MergeOnRead写只有log文件5.15.1存储一直看不到数据如果是streaming写，请确保开启checkpoint，Flink的writer有3种刷数据到磁盘的策略
浊酒南街·2023-10-10 21:06

【数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式&写入模式&Bucket索引】

数据湖Hudi-10-Hudi集成Flink-读取方式&限流&写入方式一、读取方式1流读（StreamingQuery）二、限流三、写入方式1.CDC数据同步1.使用第二种方式cdc+kafka进行mysql
Apache Minor Trend·2023-10-10 21:36

大数据hudi之集成flink:sql-client方式

目录启动sql-client插入数据查询数据更新数据流式插入启动sql-client1）修改flink-conf.yaml配置vim/opt/module/flink-1.13.6/conf/flink-conf.yamlclassloader.check-leaked-classloader
浊酒南街·2023-10-10 21:36

大数据hudi之集成flink:写入方式

目录CDC数据同步离线批量导入全量接增量CDC数据同步CDC数据保存了完整的数据库变更，当前可通过两种途径将数据导入hudi:第一种：通过cdc-connector直接对接DB的binlog将数据导入hudi，优点是不依赖消息队列，缺点是对dbserver造成压力。第二种：对接cdcformat消费kafka数据导入hudi，优点是可扩展性强，缺点是依赖kafka。注意：如果上游数据无法保证顺序，
浊酒南街·2023-10-10 21:36

【数据湖Hudi-8-Hudi集成Flink-入门】

数据湖Hudi-8-Hudi集成Flink-入门Hudi集成Flink入门1.Hudi集成Flink版本对照关系2.Flink环境准备3.FlinkSQLClient方式处理任务1.修改配置2.创建表格
Apache Minor Trend·2023-10-10 21:06

Hudi-集成Flink

文章目录集成Flink环境准备sql-client方式启动sql-client插入数据查询数据更新数据流式插入code方式环境准备代码类型映射核心参数设置去重参数并发参数压缩参数文件大小Hadoop参数内存优化读取方式流读
迷雾总会解·2023-10-10 21:32

第7节 hudi 0.9 与Flink 1.12.2 集成测试

安装Flink从hudi0.9的编译pom中查看，编译时用的flink版本是1.12.2,在官网下载Indexof/dist/flink/flink-1.12.2（1）上传到集群中因为是测试流程，先单节点上传至
第一次看海·2023-10-10 21:27

flink实战--flinkSQL写入hudi的四种方式

简介hudi官方提供了下面四种方式写入hudi，可以根据不通同的业务需求选择合适的写入方式。bulk_insertIndexbootstrapChangelogModeInsertModebulk_insert用于快速导入快照数据到hudi。基本特性bulk_insert可以减少数据序列化以及合并操作，于此同时，该数据写入方式会跳过数据去重，所以用户需要保证数据的唯一性。bulk_insert在批
阿华田512·2023-10-10 21:56

Hudi第三章：集成Flink

系列文章目录Hudi第一章：编译安装Hudi第二章：集成SparkHudi第二章：集成Spark(二)Hudi第三章：集成Flink文章目录系列文章目录前言一、环境准备1.上传并解压2.修改配置文件3.
超哥--·2023-10-10 21:23

Flink实时处理之DataStream

Flink的API概览1、dataStream的数据源1、socket数据源从socket当中接收数据，并统计最近5秒钟每个单词出现的次数第一步：node01开发socket服务node01执行以下命令开启
我还不够强·2023-10-10 19:20

Flink异常：TaskExecutor中不存在LOG文件的问题解决

Flink异常：TaskExecutor中不存在LOG文件的问题解决一、问题描述在使用Flink进行大数据处理时，出现了一个异常：“FlinkExceptionThefileLOGdoesnotexistontheTaskExecutor
静谧星光c·2023-10-10 18:00

Flink实现kafka到kafka、kafka到doris的精准一次消费

1流程图2Flink来源表建模--来源-城市topicCREATETABLENJ_QL_JC_SSJC_SOURCE(recordstring)WITH('connector'='kafka','topic
DLoong+·2023-10-10 14:34

flink - operator - KeyedStream - KeyedProcessFunction

描述数据在KeyBy后对key按hash结果进入对应的KeyedProcessFunctionsubtask同个key的数据的所有数据都会进入同一个KeyedProcessFunctionsubtask不同key的数据也有可能进入同一个KeyedProcessFunctionsubtask同一个KeyedProcessFunctionsubtask中所有数据共享普通变量同一个KeyedProces
spongebobZ·2023-10-10 13:37

【快速入门】JVM之类加载机制与Native

Springboot、事务、算法、数据库（Oracle、MySQL等）、缓存、中间件（各种类型的）、并发异步、消息中间件、微服务、netty（最起码要知道有这个东西吧）、大数据相关（Hive、spark、flink
冰红茶不会渴·2023-10-10 13:03

Flink系列之Flink的应用场景（一）

ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsoverunboundedandboundeddatastreamsDT
当_下·2023-10-10 11:23

flink以增量+全量的方式更新广播状态

背景flink在实现本地内存和db同步配置表信息时，想要做到类似于增量(保证实时性)+全量(保证和DB数据一致)的效果，那么我们如何通过flink的广播状态+外部定时器定时全量同步的方式来实现呢？
lixia0417mul2·2023-10-10 09:34

flink中使用外部定时器实现定时刷新

背景：我们经常会使用到比如数据库中的配置表信息，而我们不希望每次都去查询db，那么我们就想定时把db配置表的数据定时加载到flink的本地内存中，那么如何实现呢？
lixia0417mul2·2023-10-10 09:29

Flink同步Kafka数据到ClickHouse分布式表

gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。什么是ClickHouse？ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。列式数据库更适合于OLAP场景(对于大多数查询而言，处理速
大数据技术派·2023-10-10 06:45

弹性资源组件elastic-resource设计(二)-集群

本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一)集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口
中间件XL·2023-10-10 04:09
上一页 59 60 61 62 63 64 65 66 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他