大数据框架flink

Flink 运行时组件的高可用

高清大图:https://www.processon.com/v/643971c7cbedfb624bee1cff如感兴趣，点赞加关注，非常感谢！！！
·2023-06-21 22:11

任务调度器-DolphinScheduler3集群安装

crontab调度，虽然也可以用，但这些调度器没有可视化界面，查询日志、任务进度、补数都不太好用，后面接触到了DolphinScheduler，这款调度器开源免费，支持关系数据库调度、Hive、Spark、Flink
白杨Shayne·2023-06-21 19:57

Flink CDC、OGG、Debezium等基于日志开源CDC方案对比

先上一张图，后面再慢慢介绍：CDC概述CDC的全称是ChangeDataCapture，在广义的概念上，只要能捕获数据变更的技术，我们都可以称为CDC。我们目前通常描述的CDC技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC主要分以下两类基于查询的CDC：优点是实现简单，是通过批处理实现的，需要依赖离线调度，不能保证数据强一致性和实时性；基于日志的CDC：实现比较复杂，但是可
白杨Shayne·2023-06-21 19:56

【Python】让 plotly 可视化更上一层：cufflinks 包

数据说明五、折线图六、散点图七、气泡图八、柱状图九、箱型图box十、直方图十一、小提琴图十二、热力图heatmap十三、3d图十四、散点矩阵图十五、子图一、导读今天给大家推荐一个高级的可视化神器：cufflinks
旅途中的宽~·2023-06-21 15:12

中原银行 OLAP 架构实时化演进

摘要：本文整理自中原银行数据信息部杜威科，在FlinkForwardAsia2022行业案例专场的分享。
·2023-06-21 14:23

只需 2 小时，变身 Flink 实战派：Flink-Learning实战营火热报名中

加入Flink-Learning实战营，动手体验真实有趣的实战场景。只需2小时，让您变身Flink实战派。实战营采取了Flink专家在线授课，专属社群答疑，小松鼠助教全程陪伴的学习模式。
·2023-06-21 14:52

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

本篇内容主要分为四个部分：实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上
·2023-06-21 14:18

基于 Apache Flink 的实时计算数据流业务引擎在京东零售的实践和落地

内容主要包括五个方面：京东零售实时计算的现状实时计算框架场景优化：TopN场景优化：动线分析场景优化：FLINK一站式机器学习点击查看更多技术内容一、京东零售实时计算的现状1.1现状技术门槛高、学习成本大
·2023-06-21 14:18

Flink 在 讯飞 AI 营销业务的实时数据分析实践

摘要：本文整理自科大讯飞中级大数据工程师汪李之在FlinkForwardAsia2021的分享。
·2023-06-21 14:14

中原银行实时风控体系建设实践

摘要：本文整理自中原银行数据平台中心开发工程师陈玉强在FlinkForwardAsia2021行业实践专场的演讲。
·2023-06-21 14:14

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实
·2023-06-21 14:06

Flink 零基础实战教程：如何计算实时热门商品

在上一篇入门教程中，我们已经能够快速构建一个基础的Flink程序了。本文会一步步地带领你实现一个更复杂的Flink应用程序：实时热门商品。
·2023-06-21 14:06

中原银行 OLAP 架构实时化演进

摘要：本文整理自中原银行数据信息部杜威科，在FlinkForwardAsia2022行业案例专场的分享。
·2023-06-21 14:04

如何实时统计最近 15 秒的商品销售额｜Flink-Learning 实战营

为进一步帮助开发者学习使用Flink，ApacheFlink中文社区近期发起Flink-Learning实战营项目。
·2023-06-21 14:03

Flink 学习五 Flink 时间语义

Flink学习五Flink时间语义1.时间语义在流式计算中.时间是一个影响计算结果非常重要的因素!(窗口函数,定时器等)Flink可以根据不同的时间概念处理数据。
C0oOder·2023-06-21 13:19

万字长文详述ClickHouse在京喜达实时数据的探索与实践 | 京东云技术团队

1前言京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。
·2023-06-21 12:20

Elasticsearch与Clickhouse数据存储对比 | 京东云技术团队

1背景京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。
·2023-06-21 12:20

尘锋信息基于 Apache Paimon 的流批一体湖仓实践

尘锋信息基于ApachePaimon构建流批一体湖仓，主要分享：整库入湖，TB级数据近实时入湖基于Flink+Paimon的数仓批ETL建设基于Flink+Paimon的数仓流ETL建设数仓OLAP与数据地图点击进入
·2023-06-21 12:48

Flink 学习二 Flink 编程基础API

Flink学习二Flink编程基础API1.基础依赖引入org.apache.flinkflink-java1.14.4org.apache.flinkflink-streaming-java_2.121.14.4org.apache.flinkflink-clients
C0oOder·2023-06-21 11:26

Flink 学习六 Flink 窗口计算API

Flink学习六Flink窗口计算API1.窗口(window)概念和分类窗口window是处理无限流的核心就是把无界的数据流,按照一定的规则划分成一段一段的有界的数据流(桶),然后再这个有界的数据流里面去做计算
C0oOder·2023-06-21 11:26

什么是DRTP？在证券行业的应用？

常见的DRTP框架包括ApacheStorm、ApacheFlink、ApacheSpark等。二、DRTP在证券行业的应用DRTP在
星际棋手·2023-06-21 07:13

Flink 学习四 Flink 基础架构

Flink学习四Flink基础架构&算子链&槽位文章大部分数据来源:https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/concepts
C0oOder·2023-06-21 06:01

零基础如何学习大数据？

1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。
我想去吃ya·2023-06-21 06:14

Flink 学习七 Flink 状态(flink state)

Flink学习七Flink状态(flinkstate)1.状态简介流式计算逻辑中,比如sum,max;需要记录和后面计算使用到一些历史的累计数据,状态就是:用户在程序逻辑中用于记录信息的变量在Flink
C0oOder·2023-06-21 05:19

JRC Flink流作业调优指南

作者：京东物流康琪本文综合ApacheFlink原理与京东实时计算平台（JRC）的背景，详细讲述了大规模Flink流作业的调优方法。
·2023-06-21 02:25

Flink 学习十 FlinkSQL

Flink学习十FlinkSQL1.FlinkSQL基础概念flinksql基于flinkcore,使用sql语义方便快捷的进行结构化数据处理的上层库;类似理解sparksql和sparkcore,hive
C0oOder·2023-06-21 00:51

Flink 学习八 Flink 容错机制 & checkpoint & savepoint

Flink学习八Flink容错机制&checkpoint&savepointhttps://nightlies.apache.org/flink/flink-docs-release-1.14/docs
C0oOder·2023-06-21 00:21

Flink 学习九 Flink 程序分布式运行部署

Flink学习九Flink程序分布式运行部署1.Job执行计划层级说明备注StreamGraph用户代码生成的最初的图程序的运行流程图JobGraph将多个符合条件的节点多个符合条件的节点合并,减少序列化和反序列化
C0oOder·2023-06-21 00:21

Flink 学习一 Flink 简介

Flink学习一https://flink.apache.org/1.快速认识Flink1.1离线批计算与实时流式计算批计算：有界流流式计算：无界流批计算：针对有界流，在计算结果前可以看到整个数据集；流计算
C0oOder·2023-06-21 00:49

Flink 流批一体在字节跳动的探索与实践

本文整理自火山引擎云原生计算产品经理付振雄在全球互联网架构大会（GIAC）上的演讲。作者｜火山引擎云原生计算产品经理-付振雄背景字节跳动旗下拥有今日头条、抖音等多款产品，每天服务着数亿用户，由此产生的数据量和计算量也是很大的：EB级别海量的存储空间每天平均70PB数据的增量每秒钟百万次数的实时推荐请求超过400万核的流式计算资源、500万核的批式计算资源这对我们的整个架构，包括计算架构和存储架构都
字节跳动云原生计算·2023-06-20 22:06

大数据测试基本知识

常用大数据框架结构1.大数据测试常用到的软件工具工具推荐，对于测试数据构造工具有：Datafaker、DbSchema、Onlinetestdatagenerator等；ETL测试工具有：RightData
小赖同学啊·2023-06-20 18:10

Flink流批一体计算（2）：Flink关键特性

Flink是高吞吐、高性能、低时延的实时流处理引擎，能够提供ms级时延处理能力。无界流，程序必须持续不断地对到达的数据进行处理。批处理是有界数据流处理的范例。可
victory0508·2023-06-20 18:09

Flink流批一体计算（1）：流批一体和Flink概述

ApacheFlink应运而生数字化经济革命的浪潮正在颠覆性地改变着人类的工作方式和生活方式，数字化经济在全球经济增长中扮演着越来越重要的角色，以互联网、云计算、大数据、物联网、人工智能为代表的数字技术近几年发展迅猛
victory0508·2023-06-20 18:36

Ambari2.75集成flink-1.14.4

ambari集成flink详情可参考：Ambari2.7.5安装Flink1.13.2_不饿同学的博客-CSDN博客_ambari安装flink这里说一下安装过程遇到的问题：1、安装时报错：Error:
码道功成·2023-06-20 16:07

es字段映射

PUT_template/metric_datatest{"index_patterns":["flink-*"],"aliases":{"test-all":{}},"settings":{"number_of_shards
scan724·2023-06-20 14:18

Flink Table/Sql自定义Kudu Sink实战(其它Sink可参考)

目录1.背景2.原理3.通过Trino创建Kudu表4.FlinkKuduTableSinkProject项目4.1pom.xml4.2FlinkKuduTableSinkFactory.scala4.3META-INF
Bulut0907·2023-06-20 13:42

FlinkCDC数据同步Bug——同步性能由于写入并行度限制无法提升问题的解决

项目场景：项目为数据同步工具FlinkCDC性能压测，压测过程中发现无论是使用MySQLCDCConnector还是MongoDBCDCConnector，或者使用Flink1.13或者flink1.16
csdn_lan·2023-06-20 13:28

基于flinkcdc和superset的实时大屏实践

准备环境：1）EMR-Flink-Cluster3.36.1（HDFS2.8.5YARN2.8.5Flink1.12-vvr-3.0.2）2）Rds-Mysql5.7.263）EMR-Hadoop-Cluster4.9.0
csdn_lan·2023-06-20 13:58

使用 JMX-Exporter 监控 Kafka 和 Zookeeper

JVM默认会通过JMX的方式暴露基础指标，很多中间件也会通过JMX的方式暴露业务指标，比如Kafka、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink等等。
·2023-06-20 12:58

Flink 流批一体在 Shopee 的大规模实践

Flink流批一体在Shopee的大规模实践1.流批一体在Shopee的应用场景2.批处理能力的生产优化2.1稳定性2.2易用性3.与离线生态的完全集成3.1开发层面3.2执行层面4.平台在流批一体上的建设和演进
明月清风，良宵美酒·2023-06-20 10:37

尚硅谷大数据Flink1.17实战教程-笔记02【部署】

尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】视频地址：尚硅谷大数据Flink1.17实战教程从入门到精通_哔哩哔哩_bilibili尚硅谷大数据Flink1.17实战教程-笔记01【Flink
upward337·2023-06-20 10:56

flink 实时数仓构建与开发[记录一些坑]

记-flink实时数仓搭建、开发、维护笔记业务场景描述数仓架构数仓分层odsdimdwddws数仓建模注意项数仓建模开发规范命名规范问题与原因分析1、debezium采集pg表，数据类型问题2、业务库出现大批量刷表数据
cg6·2023-06-20 08:24

flink taskmanager oom 调优过程

flinktaskmanageroom调优过程flink版本：1.14.3问题背景savepoint保存逐步增大，单个任务一次savepoint10G以上。
cs3520·2023-06-20 04:49

flink Spark 和 Flink对比

文章目录前言1.数据处理架构2.数据模型和运行架构3.Spark还是Flink？前言  ApacheSpark是一个通用大规模数据分析引擎。
但行益事莫问前程·2023-06-20 04:49

Flink大状态优化笔记

一、问题表现1、taskmanager不断重启。2、吞吐量不断下降，数据堆积，checkpoint失败二、解决：1、由于我们是程序开发，自定义状态，所以首先考虑优化中间结构，将原有MapState中的多个值，简化key及value，state减少了1/3，后自定义对象pojo实现序列化接口，方便存取。状态也减少了一些，但是效果不大。2、开启增量（怎么忘记了这个！）newRocksDBStateBa
Penny婷·2023-06-20 04:19

【flink】SinkUpsertMaterializer

在flinkcdc同步数据时，基于sql的实现方式中发现了作业DAG有个SinkMaterializer算子，而且检查checkpoint历史时发现该算子state越来越大，有必要搞清楚为什么会多了这个算子
矛始·2023-06-20 04:48

spark 和 flink 的对比

一、设计理念Spark的数据模型是弹性分布式数据集RDD(ResilientDistributedDattsets)，这个内存数据结构使得spark可以通过固定内存做大批量计算。初期的SparkStreaming是通过将数据流转成批(micro-batches)，即收集一段时间(time-window)内到达的所有数据，并在其上进行常规批处理，所以严格意义上，还不能算作流式处理。但是Spark从2
five小点心·2023-06-19 23:03

flink消费kafka消息入到hive

大家好，3y啊。好些天没更新了，并没有偷懒，只不过一直在安装环境，差点都想放弃了。上一次比较大的更新是做了austin的预览地址，把企业微信的应用和机器人消息各种的消息类型和功能给完善了。上一篇文章也提到了，austin常规的功能已经更新得差不多了，剩下的就是各种细节的完善。不知道大家还记不记得我当时规划austin时，所画出的架构图：现在就剩下austin-datahouse这个模块没有实现了，
·2023-06-19 20:18
上一页 97 98 99 100 101 102 103 104 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他