大数据计算-Flink

flink写入es版本控制问题

本次讨论各种情况es写入的版本控制问题，以及flink1.6.x与es6.x的小插曲1：测试不控制版本号的create覆盖操作Requests.indexRequest().index("test").
溜溜留·2024-01-05 06:32

Flink写入Elasticsearch（es）问题汇总记录

Flink写入Elasticsearch（es）问题汇总1、报错信息:org.apache.flink.client.program.ProgramInvocationException:Themainmethodcausedanerror
qq_38558851·2024-01-05 06:32

Flink读取Kafka数据批量写入ES(elasticsearch)

Flink实时消费kafka数据，数据经过处理，富化、清洗等操作，写入ES。在流式计算中，此场景十分常见。
m0_67401228·2024-01-05 06:29

flink将数据写入到kafka

前言在之前的一篇中，我们谈到在flink中如何读取来自kafka指定topic的数据，在实际生产环境中，比较常见的场景是，kafka作为数据源，flink程序读取到kafka的数据后，进行初步的处理后，
逆风飞翔的小叔·2024-01-05 06:25

flink将数据写入redis

前言通过flink分析出来的数据，经常需要写入到外部存储系统，以供其他应用来使用这些数据，比如redis就是一个很好的存储数据库，写入到redis后，应用可以读取redis中的数据做统计、分析、计算等1
逆风飞翔的小叔·2024-01-05 06:55

flink on yarn任务启停脚本(实现一键读取ck启动，保存ck停止）

1.问题描述flink同步任务，长期任务过多，某个任务停止保存checkpoint或者savepoint后，修改代码，使用命令行读取检查点重新启动需要人工去hdfs上找寻检查点保存位置。
tuoluzhe8521·2024-01-05 06:20

flink table view datastream互转

String,f2:Inner,f3:Int)caseclassInner(f3:String,f4:Int)测试代码packagecom.yy.table.convertimportorg.apache.flink.streaming.api.scala.StreamExecutionEn
Thomas2143·2024-01-05 06:48

flink如何写入es

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、写入到Elasticsearch5二、写入到Elasticsearch7总结前言Flinksink流数据写入到es5和es7
shandongwill·2024-01-05 06:47

【flink番外篇】9、Flink Table API 支持的操作示例（13）- Row-based（map、flatmap、aggregate、group window aggregate等）操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-05 05:42

【flink番外篇】9、Flink Table API 支持的操作示例（12）- Over Windows（有界和无界的over window）操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-05 05:41

【flink番外篇】9、Flink Table API 支持的操作示例（1）-完整版

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-05 05:40

【flink番外篇】9、Flink Table API 支持的操作示例（14）- 时态表的join（java版本）

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-05 05:07

大数据计算基础真题回忆

转载学长2021的真题转载链接注：每年的课件可能会有更改，内容不一样，所以读者复习的时候以所在年份的课件为准20202021笔者2023秋2023都是大题，没有选择题。改进的近似算法中，结合具体的例子说明，“多次运行取平均”和"多次运行取中间值"的两个思想是怎么体现的。(10分)为什么要在哈希分片的过程中引入虚拟桶，虚拟桶工作的流程。（6分）一共两个问，卷子前面会给期望和方差的公式以及切比雪夫和切
旅僧·2024-01-05 05:53

记录Flink 线上碰到java.lang.OutOfMemoryError: GC overhead limit exceeded如何处理？

这个问题是FlinkTM内存中我们常见的，看到这个问题我们就要想到下面这句话：程序在垃圾回收上花了很多时间，却收集一点点内存，伴随着会出现CPU的升高。是不是大家出现这个问题都会出现上面这种情况呢。
yzw_ai_sx·2024-01-05 02:40

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取
kikiki2·2024-01-05 00:48

Flink源码-集群启动-ResourceMangaer启动

image.pngResourceManger负责任务Slot的申请，其中主要是内部的SlotManager管理Slot,下边分析下RM的启动过程。核心主要是启动两个心跳服务，维持和TM,JM的心跳。启动SlotManager管理Slot资源
飞_侠·2024-01-04 22:08

Flink | Checkpoint 机制详解

一、Checkpoint简介Flink的Checkpoint机制是其可靠性的基石。
坨坨的大数据·2024-01-04 20:32

Flink 的时间属性及原理解析

Flink的API大体上可以划分为三个层次：处于最底层的ProcessFunction、中间一层的DataStreamAPI和最上层的SQL/TableAPI，这三层中的每一层都非常依赖于时间属性。
程序猿进阶·2024-01-04 18:57

流式湖仓增强，Hologres + Flink构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
阿里云大数据AI技术·2024-01-04 16:07

Flink 任务指标监控

TaskManager指标Job指标资源监控指标数据流监控指标任务监控指标网络监控指标容错监控指标数据源监控指标数据存储监控指标JobManager指标TaskManager指标Job指标当使用ApacheFlink
墨子白·2024-01-04 16:03

Flink状态容错savepoint与checkpoint

本文目录CheckpointsStateBackendsSavepointsCheckpoints与Savepoints区别Flink可以保证exactlyonce，与其容错机制checkpoint和savepoint
大数据技术派·2024-01-04 16:33

FlinkSQL处理Canal-JSON数据

Flink支持将Canal的JSON消息解析为INSERT、UPDA
实时即未来·2024-01-04 11:34

Flink Watermark和时间语义

Flink中的时间语义时间语义：EventTime：事件创建时间；IngestionTime：数据进入Flink的时间；ProcessingTime：执行操作算子的本地系统时间，与机器无关。
程序猿进阶·2024-01-04 06:51

docker搭建Dinky —— 筑梦之路

简介Dinky是一个开箱即用、易扩展，以ApacheFlink为基础，连接OLAP和数据湖等众多框架的一站式实时计算平台，致力于流批一体和湖仓一体的探索与实践。
筑梦之路·2024-01-04 03:40

Flink应用介绍

前言：Flink自2014年开源以来，网上对Flink的介绍不可胜数；作为一个灵活的实时计算框架，Flink到底能用来做什么？
i7杨·2024-01-04 03:37

在与面试官面试之后的某些回想

4.我感觉在面试官说完后，我还是很懵，比如人家说flink架构时，我回答的是运行架构，
劝学-大数据·2024-01-03 17:22

基于 Flink 的百亿数据去重实践

在工作中经常会遇到去重的场景，例如基于App的用户行为日志分析系统，用户的行为日志从手机客户端上报到Nginx服务端，通过Logstash、Flume或其他工具将日志从Nginx写入到Kafka中。由于用户手机客户端的网络可能出现不稳定，所以手机客户端上传日志的策略是：宁可重复上报，也不能丢日志。所以导致Kafka中必然会出现日志重复的情况，即：同一条日志出现了2条或2条以上。通常情况下，Flin
zhisheng_blog·2024-01-03 16:52

Flink 维表关联方案

Flink维表关联方案1、FlinkDataStream关联维表1）概述1.分类实时数据库查找关联（Per-RecordReferenceDataLookup）预加载维表关联（Pre-LoadingofReferenceData
猫猫爱吃小鱼粮·2024-01-03 16:49

Flink-Paimon 案例

Flink-Paimon案例1、下载FlinkJar包并解压tar-xzfflink-*.tgz2、下载PaimonJar包放进Flink的lib中cppaimon-flink-*.jar/lib/3、
猫猫爱吃小鱼粮·2024-01-03 16:49

数睿通2.0功能更新：支持多版本 Flink 切换，新增数据标签模块

文章目录引言支持多版本Flink切换功能展示使用方法数据标签合并微服务Bug修复，细节优化结语引言小伙伴们，大家好，数睿通2.0数据中台迎来了12月份的更新，由于年底工作繁忙，所以本次更新内容稍微少了点
小螺旋丸·2024-01-03 10:22

数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

引言数睿通2.0数据中台迎来了11月份的更新，感谢大家的支持，本次更新主要包括以下内容：数据库支持MongoDB数据接入支持MongoDB，支持自定义SQL采集，支持停止运行中的任务数据生产支持FlinkJar
小螺旋丸·2024-01-03 10:21

新年快乐—数睿通2.0数据中台全新功能模块发布

文章目录引言数据集成数据库管理文件管理数据接入贴源数据数据开发数据生产sql作业开发FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块
小螺旋丸·2024-01-03 10:43

Spark一：Spark介绍、技术栈与运行模式

一、Spark简介Spark官网https://spark.apache.org/1.1Spark是什么Spark是一种通用的大数据计算框架，是基于RDD(弹性分布式数据集)的一种计算模型。
eight_Jessen·2024-01-03 09:11

Flink-【时间语义、窗口、水位线】

1.时间语义1.1事件时间：数据产生的事件（机器时间）；1.2处理时间：数据处理的时间（系统时间）。：可乐可乐的生产日期=事件时间（可乐产生的时间）；可乐被喝的时间=处理时间（可乐被处理【喝掉=处理】的时间）。机器时间：可能不准确（例如：A可乐厂的时钟比较慢，B可乐厂的时钟比较快，但实际上B产生可乐的时间比A产生可乐的时间慢，却被先处理了）系统时间：相对准确（处理机器设置的时间，一般无误【当然分布
可乐manman·2024-01-03 09:58

Flink的检查点算法

Flink的恢复机制基于应用状态的一致检查点。在有状态的流应用中，一个一致性检查点是：在所有tasks处理了一个（相同的）输入后，当前时间点每个task的state副本。
XueminXu·2024-01-03 09:52

Flink实时电商数仓（十）

common模块回顾appBaseApp:作为其他子模块中使用Flink-StreamAPI的父类，实现了StreamAPI中的通用逻辑，在其他子模块中只需编写关于数据处理的核心逻辑。
十七✧ᐦ̤·2024-01-03 09:50

如何在Flink SQL中轻松实现高效数据处理：最佳实践揭秘Protobuf自定义格式

目录FlinkSQLProtobufFormat设计要点1.引言2.为什么需要自定义Protobuf格式3.自定义Protobuf格式的
数据与后端架构提升之路·2024-01-03 00:39

Flink学习-处理函数

简介处理函数是Flink底层的函数，工作中通常用来做一些更复杂的业务处理，处理函数分好几种，主要包括基本处理函数，keyed处理函数，window处理函数。
demon7552003·2024-01-02 17:29

【flink番外篇】9、Flink Table API 支持的操作示例（11）- Group Windows（tumbling、sliding和session）操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-02 14:22

【flink番外篇】9、Flink Table API 支持的操作示例（8）- 时态表的join（scala版本）

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-02 14:21

【flink番外篇】9、Flink Table API 支持的操作示例（10）- 表的OrderBy、Offset 和 Fetch、insert操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-02 14:21

【flink番外篇】9、Flink Table API 支持的操作示例（9）- 表的union、unionall、intersect、intersectall、minus、minusall和in的操作

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2024-01-02 14:49

引领大数据进入新时代，腾讯发布第四代数智融合计算平台“天工”

“腾讯大数据-天工”，该平台以最新的“数据协同、技术互通、平台大脑”技术理念为基础，在确保数据安全这一重要前提下，真正实现万亿级数据分析无人“自动驾驶”，进而推动大数据和人工智能技术融合为一，引领全球大数据计算进入下一时代
爱踢边鼓·2024-01-02 12:10

Spark内容分享(二十三)：Spark on K8s 在茄子科技的实践

目录Spark与云原生1.传统大数据计算集群的缺陷2.公有云带来的优势3.如何充分利用公有云带来的优势？
之乎者也··2024-01-02 11:30

Flink自定义MySQLSource读取MySQL数据

先查看数据库连接池实现MySQL连接池MySQL表student的实体采用caseclass定义objectDomain{caseclassAccess(time:Long,domain:String,traffic:Long)caseclassStudent(id:Int,name:String,age:Int)}实现RichSourceFunction来自定义MySQLSourcepackag
喵星人ZC·2024-01-02 10:51

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-02 08:59

最容易出错的 Hive Sql 详解

前言在进行数仓搭建和数据分析时最常用的就是sql，其语法简洁明了，易于理解，目前大数据领域的几大主流框架全部都支持sql语法，包括hive，spark，flink等，所以sql在大数据领域有着不可替代的作用
奔跑者-辉·2024-01-02 07:30

Flink 的window机制(二) 窗口函数

WindowFunction前面指定了窗口的分配器,接着我们需要来指定如何计算,这事由windowfunction来负责.一旦窗口关闭,windowfunction去计算处理窗口中的每个元素.windowfunction可以是ReduceFunction,AggregateFunction,orProcessWindowFunction中的任意一种.ReduceFunction,Aggregate
万事万物·2024-01-02 05:34

Apache Flink连载（二十三）：Flink HA - Flink基于Yarn HA

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.YarnHA配置2.启动测试</
IT贫道·2024-01-02 04:42

Apache Flink连载（二十二）：Flink HA - Flink基于Standalone HA

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录Flink基于StandaloneHA1.StandaloneHA配置2.启动测试Flink基于Standalon
IT贫道·2024-01-02 04:11
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他