实时数仓

实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例

在某些场景中，比如GROUPBY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将Kafka消息记录的key当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记录来处理。在Flink1.11中，可以通过flink-cdc-connectors项目提供的changelog-jsonformat来实现该功能。关于该功能的使用，见之前的分享Flink1.11中的CDCConnectors操
大数据技术与数仓·2021-04-15 07:32

滴滴基于 Flink 的实时数仓建设实践

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值
Flink中文社区·2021-04-15 04:20

Hologres+Flink 流批一体首次落地4982亿背后的营销分析大屏

概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（下称Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。
阿里云技术·2021-04-14 21:02

大数据入门：大数据数据仓库主流选择

数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批流一体两
成都加米谷大数据·2021-04-13 21:49

新一代Hologres实时数仓大揭秘

看支撑阿里内外部业务场景实时数仓是如何运作的？云计算情报局带您解密实时数仓！作者：金晓军（仙隐），阿里云资深技术专家，大数据领域从业10年，现从事交互式分析引擎Hologres设计与研发工作。
·2021-04-13 14:49

新一代Hologres实时数仓大揭秘

看支撑阿里内外部业务场景实时数仓是如何运作的？云计算情报局带您解密实时数仓！作者：金晓军（仙隐），阿里云资深技术专家，大数据领域从业10年，现从事交互式分析引擎Hologres设计与研发工作。
·2021-04-13 13:50

Flink系列 - 实时数仓之统计数据并入redis实战（七）

  有时候，wordcount的案例的原理还真是好用，当然不过单单是从官网复制的案例远远是不满足我们的平时需求的。那么假如我们如下需求：1.以天为单位，统计各个部门在每小时中销售的商品数量，并以日期为组合键实时的将结果放入redis中去。注意：这个需求有点坑爹，如果我们以普通的滚动和滑动窗口去实现是不会满足要求的，需求人员说至少1s计算一次。数据源如下：{"id":"399","name":"fe
小飞牛_666·2021-04-13 09:37

活动 | Apache Pulsar Meetup 欢迎报名

ApachePulsarPMC成员、StreamNativeCTO翟佳有道精品课实时数仓负责人李荣谦等多位业内实践者将带来精彩的分享时间：2021年3月27日13:30-17:30地点：网易北京研发中心
·2021-04-08 13:15

Apache Iceberg 数据湖从入门到放弃(0) —— 初步入门三部曲

但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。
黄瓜炖啤酒鸭·2021-04-08 09:11

ClickHouse性能优化？试试物化视图

一、前言ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)；目前我们使用CH作为实时数仓用于统计分析，在做性能优化的时候使用了物化视图这一特性作为优化手段，本文主要分享物化视图的特性与如何使用它来优化
·2021-04-07 10:45

ClickHouse性能优化？试试物化视图

一、前言ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)；目前我们使用CH作为实时数仓用于统计分析，在做性能优化的时候使用了物化视图这一特性作为优化手段，本文主要分享物化视图的特性与如何使用它来优化
·2021-04-07 10:26

实时数据仓库的发展、架构和趋势

但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。
NetEaseResearch·2021-04-02 09:25

有道精品课实时数据中台建设实践

本文以我们在实时数仓选型的经验为切入点，进一步着重分享使用Doris过程中遇到的问题，以及我们针对这些问题所做出的调整和优化。1背景概述1.1业务场景
有道技术团队·2021-03-18 10:38

Flink系列 - 实时数仓之数据入ElasticSearch实战（九）

  我们实时的流处理入ElasticSearch中还是比较麻烦的，虽然说flink提供了相关的sink接口，但是一般来说仅仅是简单的将数据插入而已，对于优化以及使用用户名和密码登录操作的话，不管官网还是网上，写得零零碎碎的，对于大佬来说可以拼接起来再用，但是对于像我这种菜鸟来说，那简直是看天书一样，一愣一愣的。今天写这个案例主要是项目中涉及了这个需求，废了半条命终于整理出来了，现在做个总结，以便避
小飞牛_666·2021-03-14 21:43

TiDB 在实时分析应用场景下的探索

作者：周跃跃，苏丹近年来，随着数据规模越来越大，以及由此衍生出数据实时化的诉求激增，产生了一系列大数据相关的业务场景，场景复杂性高以及业务多维度是明显的两个特点，因此出现许多了实时数仓架构来满足业务需求
·2021-03-10 21:50

TiDB 在实时分析应用场景下的探索

作者：周跃跃，苏丹近年来，随着数据规模越来越大，以及由此衍生出数据实时化的诉求激增，产生了一系列大数据相关的业务场景，场景复杂性高以及业务多维度是明显的两个特点，因此出现许多了实时数仓架构来满足业务需求
·2021-03-10 04:23

Delta Lake在Soul的应用实践

为了解决天级ETL逐渐尖锐的问题，所以这次我们选择了近来逐渐进入大家视野的数据湖架构，基于阿里云EMR的DeltaLake，我们进一步打造优化实时数仓结构，提升部分业务指标实时性，满足
·2021-03-09 22:43

TiDB 在实时分析应用场景下的探索

作者：周跃跃，苏丹近年来，随着数据规模越来越大，以及由此衍生出数据实时化的诉求激增，产生了一系列大数据相关的业务场景，场景复杂性高以及业务多维度是明显的两个特点，因此出现许多了实时数仓架构来满足业务需求
TiDB_PingCAP·2021-03-09 14:57

Flink on Hive构建流批一体数仓-flink1.12

这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。
javastart·2021-02-23 18:34

数据库的两个好帮手：pagehack和pg_xlogdump

随着技术的演进，数据也发生了巨大的变化，数据规模越来愈大、数据种类呈现多样性，数据处理的时效性要求也越来越高，GaussDB(DWS)实时数仓当前面临着巨大的机遇，也面临着巨大的挑战。
·2021-02-20 12:26

数据库的两个好帮手：pagehack和pg_xlogdump

随着技术的演进，数据也发生了巨大的变化，数据规模越来愈大、数据种类呈现多样性，数据处理的时效性要求也越来越高，GaussDB(DWS)实时数仓当前面临着巨大的机遇，也面临着巨大的挑战。
·2021-02-20 12:26

数据库的两个好帮手：pagehack和pg_xlogdump

随着技术的演进，数据也发生了巨大的变化，数据规模越来愈大、数据种类呈现多样性，数据处理的时效性要求也越来越高，GaussDB(DWS)实时数仓当前面临着巨大的机遇，也面临着巨大的挑战。
华为云·2021-02-20 09:59

Flink + Iceberg 全场景实时数仓的建设实践

整理｜路培杰（Flink社区志愿者）摘要：ApacheFlink是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以Iceberg、Hudi、Delta为代表的解决方案应运而生，Iceberg目前支持Flink通过DataStreamAPI/TableAPI将数据写入Iceberg的表，并提供对ApacheFlink1.11.x的集成支持。本文由腾讯数据平台部
·2021-02-01 11:57

Flink实战（八十三）：flink-sql使用（十）维表join（五）Flink SQL之维表join之Temporal Table Join

在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维
王知无-大数据技术与架构·2021-01-23 15:25

数禾云上数据湖最佳实践

但随着公司互联网金融业务的快速扩张发展，大数据团队承担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的考验这个ClouderaHadoop集群的能力
·2021-01-21 16:35

数禾云上数据湖最佳实践

但随着公司互联网金融业务的快速扩张发展，大数据团队承担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的考验这个ClouderaHadoop集群的能力
·2021-01-21 15:04

数禾云上数据湖最佳实践

但随着公司互联网金融业务的快速扩张发展，大数据团队承担的责任也越来越重，实时数仓需求，日志分析需求，即席查询需求，数据分析需求等，每个业务提出的需求都极大的考验这个ClouderaHadoop集群的能力
阿里云云栖号·2021-01-21 14:40

实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例

在某些场景中，比如GROUPBY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将Kafka消息记录的key当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记录来处理。在Flink1.11中，可以通过flink-cdc-connectors项目提供的changelog-jsonformat来实现该功能。关于该功能的使用，见之前的分享Flink1.11中的CDCConnectors操
大数据技术与数仓·2021-01-13 20:00

美团外卖实时数仓建设实践

转载链接：https://www.jianshu.com/p/a1749c1526d7导读：本文主要介绍一种通用的实时数仓构建的方法与实践。
严国华·2021-01-11 11:40

Flink1.12集成Hive打造自己的批流一体数仓

简介小编在去年之前分享过参与的实时数据平台的建设，关于实时数仓也进行过分享。
王知无(import_bigdata)·2021-01-10 19:05

有道精品课实时数据中台建设实践

本文以我们在实时数仓选型的经验为切入点，进一步着重分享使用Doris过程中遇到的问题，以及我们针对这些问题所做出的调整和优化。1背景概述1.1业务场景
有道技术团队·2021-01-08 18:02

基于Flink构建实时数仓实践

与此同时产品及运营对实时数据需求逐渐增多，帮助他们更快的做出决策，更好的进行产品迭代，实时数仓的建设变得越发重要起来。本文主要介绍用户增长业务基于Flink构建实时数仓的实践之路。
·2021-01-06 23:00

Flink on Hive构建流批一体数仓

这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。
大数据技术与数仓·2021-01-06 02:22

Flink on Hive构建流批一体数仓

这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。
大数据技术与数仓·2021-01-06 01:21

Flink SQL实时数仓开源UI平台

一、简介flink-streaming-platform-web系统是基于flink封装的一个可视化的web系统，用户只需在web界面进行sql配置就能完成流计算任务，主要功能包含任务配置、启/停任务、告警、日志等功能。目的是减少开发，完全实现flink-sql流计算任务，flink任务支持单流、双流、单流与维表等，支持本地模式、yarn-per模式、STANDALONE模式。支持udf、自定义连
☞空白页·2021-01-05 10:20

有道精品课实时数据中台建设实践

本文以我们在实时数仓选型的经验为切入点，进一步着重分享使用Doris过程中遇到的问题，以及我们针对这些问题所做出的调整和优化。1背景概述1.1业务场景
有道技术团队·2020-12-31 15:57

数据仓库—stg层_数据仓库之Hive快速入门 - 离线&实时数仓架构

数据仓库VS数据库数据仓库的定义:数据仓库是将多个数据源的数据经过ETL(Extract(抽取)、Transform(转换)、Load(加载))理之后，按照一定的主题集成起来提供决策支持和联机分析应用的结构化数据环境数据仓库VS数据库：数据库是面向事务的设计，数据仓库是面向主题设计的数据库一般存储在线交易数据，数据仓库存储的一般是历史数据数据库设计是避免冗余，采用三范式的规则来设计，数据仓库在设计
weixin_39611413·2020-12-29 16:18

hive insert into 慢_基于 Flink + Hive 构建流批一体准实时数仓

在一些对延时要求比较高的场景，需要另外搭建基于Flink的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。
weixin_39616477·2020-12-27 12:56

菜鸟实时数仓2.0进阶之路

作者：张庭（菜鸟数据工程师）导读：供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。
ApacheFlink·2020-12-22 11:38

菜鸟实时数仓2.0进阶之路

作者：张庭（菜鸟数据工程师）导读：供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。
ApacheFlink·2020-12-21 23:18

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍Flink+Kafka在网易云音乐的应用实战：背景Flink+Kafka平台化设计Kafka在实时数仓中的应用问题&改进直播回放
ApacheFlink·2020-12-21 11:36

当 TiDB 与 Flink 相结合：高效、易用的实时数仓

利用实时数仓，企业可以实现实时OLA
ApacheFlink·2020-12-21 11:36

数据仓库高级工程师面试（转载）

三范式数据仓库vs数据中台vs数据湖做过实时数仓吗，讲一下hadoop：MapReduce原理，map数、reduce数的参数说一下mapjoin与reducejoinhivesql怎么优化spark和
扎西的德勒·2020-12-21 09:14

existed hive ods_数据仓库之Hive快速入门 - 离线&实时数仓架构

数据仓库VS数据库数据仓库的定义:数据仓库是将多个数据源的数据经过ETL(Extract(抽取)、Transform(转换)、Load(加载))理之后，按照一定的主题集成起来提供决策支持和联机分析应用的结构化数据环境数据仓库VS数据库：数据库是面向事务的设计，数据仓库是面向主题设计的数据库一般存储在线交易数据，数据仓库存储的一般是历史数据数据库设计是避免冗余，采用三范式的规则来设计，数据仓库在设计
weixin_39658474·2020-12-21 04:20

性能高1倍，价格低3/4！数据库实时同步新选择！

2020年双11，云原生实时数仓首次在阿里巴巴双11核心数据场景落地，实现商业全链路实时化，毫秒级海量数据处理能力。
阿里云云栖号·2020-12-17 12:26

实时抽hbase数据_合集 大厂大数据应用实践

“文章出自公众号【DataFunTalk】美团▪美团外卖流量数据的采集加工和应用▪美团外卖实时数仓建设实践▪美团外卖离线数仓建设实践▪美团Flink实时数仓应用经验分享▪DruidSQL和Security
weixin_39829166·2020-12-07 17:07

首次揭秘云原生Hologres存储引擎

概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。
阿里云云栖号·2020-12-07 15:15

数仓建模 项目_滴滴实时数仓逐层剖解：实时与离线数据误差<0.5%

作者介绍潘澄，资深软件开发工程师。负责实时数据仓库建设，多年数据相关工作经验，专注数据建模、数据仓库、实时数据技术等领域。朱峰，高级软件开发工程师。主要从事实时数据仓库建设，专注实时和离线数仓技术，对数仓建模、数据研发和数仓中间层建设有一定的积累。前言随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这
黄小秋·2020-12-05 11:11

hive增量表和全量表_基于 Flink+Hive 构建流批一体准实时数仓

在一些对延时要求比较高的场景，需要另外搭建基于Flink的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗，甚至导致重复开发。
weixin_39805851·2020-12-04 08:05

首次揭秘云原生Hologres存储引擎

概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。
阿里云云栖号·2020-12-02 11:23
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他