实时数仓

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
西贝木土·2020-09-11 01:01

阿里巴巴电商搜索推荐实时数仓演进之路

分享嘉宾：张照亮阿里巴巴高级技术专家编辑整理：郑银秋出品平台：DataFunTalk导读：今天分享的内容是阿里搜索推荐数据平台研发团队在实时数仓的一些探索，围绕着团队在数仓上基于Flink+Hologres
架构师小秘圈·2020-09-10 13:38

阿里巴巴电商搜索推荐实时数仓演进之路

简介：自建实时数仓到底难在哪里？实时数仓应该怎么建？
阿里云开发者·2020-09-10 12:16

滴滴基于 Flink 的实时数仓建设实践

简介：随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这
阿里云开发者·2020-09-10 12:43

ClickHouse 权限控制与资源隔离

使用clickhouse多半应用在实时数仓项目来支持adhoc查询，为了确保企业数据安全高效的使用，那么权限控制与资源隔离是必不可少的clickhouse在20.4之后的版本开始支持基于RBAC的访问控制管理
·2020-09-07 00:00

网易实时数仓实践与展望

分享嘉宾：马进网易杭研技术专家编辑整理：张满意出品平台：DataFunTalk导读：随着大数据技术的进步，各种计算框架的涌现，数据仓库相关技术难题已经从离线数仓逐渐过渡到实时数仓，越来越多的企业对数据的实时性提出了严格的要求
NetEaseResearch·2020-09-04 18:46

深度解读：实时数仓架构对比与基于Flink的典型ETL场景实现

1.实时数仓的相关概述1.1实时数仓产生背景我们先来回顾一下数据仓库的概念。
大数据技术之路---花火·2020-08-27 10:43

实时数仓在滴滴的实践和落地

1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖
滴滴技术·2020-08-26 21:58

基于 Flink 的典型 ETL 场景实现

本文将从数仓诞生的背景、数仓架构、离线与实时数仓的对比着手，综述数仓发展演进，然后分享基于Flink实现典型ETL场景的几个方案。
涪擎大数据·2020-08-26 17:22

实时计算 Flink 版 最佳实践

解决方案金融行业的实时数仓建设实践IoT行业行业背景物联网(Internet
阿里云云栖号·2020-08-25 14:04

基于 Flink 的实时数仓典型 ETL场景实现方案

本文将从数仓诞生的背景、数仓架构、离线与实时数仓的对比着手，综述数仓发展演进，然后分享基于Flink实现典型ETL场景的几个方案。
GOD_WAR·2020-08-24 21:45

数据仓库介绍与实时数仓案例(转载）

**数据仓库介绍与实时数仓案例(转载）**https://yq.aliyun.com/articles/691541?
huang_w_z·2020-08-24 19:17

基于 Flink 的典型 ETL 场景实现方案

作者：买蓉·美团点评高级技术专家整理：赵阳（Flink社区志愿者）校对：苗浩冲（Flink社区志愿者）本文将从数仓诞生的背景、数仓架构、离线与实时数仓的对比着手，综述数仓发展演进，然后分享基于Flink
Ververica·2020-08-24 19:48

Apache Pulsar 在 BIGO 的性能调优实战（上）

随着业务的迅速增长，BIGO消息队列平台承载的数据规模出现了成倍增长，下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业
·2020-08-24 00:00

基于 Flink 的实时数仓平台

我们组目前负责部门的大数据平台，既搭建平台，也是数据开发，还是业务开发。当前数据链路大概如下：埋点数据，日志-》kinesis-》s3-》presto-》mysql-》报表。还有机器学习等。这些全是依赖aws提供的服务来构建的。为了不影响后续的开发，需要从新梳理流程，优化流程。经过分析，我们目前主要是统计分析性质的，使用presto、flink处理数据，然后汇总到mysql上。从这里可以看出，我们
zhdan~·2020-08-23 04:32

直播 | 即将发版的 Flink 1.11 有哪些重大变更？

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-08-22 15:19

Blink 有何特别之处？菜鸟供应链场景最佳实践

阿里妹导读：菜鸟供应链业务链路长、节点多、实体多，使得技术团队在建设供应链实时数仓的过程中，面临着诸多挑战，如：如何实现实时变Key统计？如何实现实时超时统计？如何进行有效地资源优化？
阿里云云栖号·2020-08-22 12:02

Flink 1.10 SQL、HiveCatalog与事件时间整合示例

这两点将会为我们构建实时数仓提供
LittleMagic·2020-08-21 17:42

Apache Pulsar 在 BIGO 的性能调优实战（上）

随着业务的迅速增长，BIGO消息队列平台承载的数据规模出现了成倍增长，下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息的实时性和稳定性提
StreamNative·2020-08-21 09:08

云原生HSAP系统Hologres产品价值解读

主要分享主流实时数仓架构以及其实践的痛点，与云原生HSAP系统创新的价值。演讲嘉宾简介：阿里云计算平台-交互式分析团队产品经理——李姗姗（花名：柔惠）以下内容根据演讲视频以及PPT
阿里云hologres·2020-08-21 04:59

跨境电商 Shopee 的实时数仓之路

作者：黄良辉本文讲述Flink在Shopee新加坡数据组（ShopeeSingaporeDataTeam）的应用实践，主要内容包括：实时数仓建设背景Flink在实时数据数仓建设中结合Druid、Hive
ApacheFlink·2020-08-21 02:00

直播 | 即将发版的 Flink 1.11 有哪些重大变更？

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-08-21 02:18

周末直播|Flink、Hologres、AI等热门话题全都安排！

Meetup精华看点Flink1.11、Spark3.0、Alink1.1.1等大数据热门开源软件核心开发者帮你圈出最新版本重点实时数仓、数据湖、HSAP架构能干啥一次讲清楚更有一线生产环境
ApacheFlink·2020-08-21 02:18

Apache Pulsar 在 BIGO 的性能调优实战（上）

随着业务的迅速增长，BIGO消息队列平台承载的数据规模出现了成倍增长，下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息的实时性和稳定性提
ApachePulsar·2020-08-21 01:37

Apache Pulsar 在 BIGO 的性能调优实战（上）

随着业务的迅速增长，BIGO消息队列平台承载的数据规模出现了成倍增长，下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息的实时性和稳定性提
ApachePulsar·2020-08-21 01:26

美团点评基于 Flink 的实时数仓平台实践

一、美团点评实时计算演进美团点评实时计算演进历程在2016年，美团点评就已经基于Storm实时计算引擎实现了初步的平台化。2017年初，我们引入了SparkStreaming用于特定场景的支持，主要是在数据同步场景方面的尝试。在2017年底，美团点评实时计算平台引入了Flink。相比于Storm和SparkStreaming，Flink在很多方面都具有优势。这个阶段我们进行了深度的平台化，主要关注
阿里云云栖号·2020-08-20 23:09

美团点评基于 Flink 的实时数仓平台实践

一、美团点评实时计算演进美团点评实时计算演进历程在2016年，美团点评就已经基于Storm实时计算引擎实现了初步的平台化。2017年初，我们引入了SparkStreaming用于特定场景的支持，主要是在数据同步场景方面的尝试。在2017年底，美团点评实时计算平台引入了Flink。相比于Storm和SparkStreaming，Flink在很多方面都具有优势。这个阶段我们进行了深度的平台化，主要关注
阿里云云栖号·2020-08-20 23:09

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
西贝木土·2020-08-20 17:14

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
西贝木土·2020-08-20 17:14

实时数仓|Flink SQL之维表join

在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。
西贝木土·2020-08-20 17:11

实时数仓|Flink SQL之维表join

在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。
西贝木土·2020-08-20 17:11

上海久耶HBase实时数仓探索实践

文章从六个方面介绍，首先是久耶第一代离线数仓以及第二代实时数仓。接下来介绍下公司业务场景和业务开发，基于HBase的开发流程，然后介绍下公司CDH集群，介绍下CDH集群调优监控。最后分享两个生产案例。
yyoc97·2020-08-18 12:50

你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库(上)

By大数据技术与架构场景描述：今年有个现象，实时数仓的建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库建设的文章和方案。对于实时数仓的狂热追求大可不必如此。
run_bigdata·2020-08-18 11:36

Flink SQL如何保证分topic有序

一、场景在做实时数仓的时候，我们需要保证提高消费能力和数据有序，那如果要用Flinksql和Kafka交互，就会出现如下两个问题：flinksql通过ddl读取和写入kafka怎么设置并行度呢？
且听_风吟·2020-08-18 11:44

实时数据仓库（实时数仓）建设

从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。
曹雪朋·2020-08-18 11:41

突然火了的实时数仓

|0x00数仓为什么要实时去年开始，实时数仓的概念突然火了。
晓阳的数据小站·2020-08-18 10:16

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
西贝木土·2020-08-18 04:21

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
西贝木土·2020-08-16 23:16

OPPO数据中台之基石：基于Flink SQL构建实数据仓库

本文主要内容如下：-OPPO实时数仓的演进思路；-基于FlinkSQL的扩展工作；-构建实时数仓的应用案例；-未来工作的思考和展望。
fuyipingwml1976124·2020-08-16 06:12

flink实时数仓(二):mysql主备以及binglog

文章目录mysql主备复制实现MySQLBinaryLogSTATMENT模式基于行的复制(row-basedreplication,RBR)：混合模式复制(mixed-basedreplication,MBR)：mysql主备复制实现1.master将改变记录到二进制日志(binarylog)中（这些记录叫做二进制日志事件，binarylogevents，可以通过showbinlogevents
_张不帅·2020-08-14 12:50

实时计算 Flink 版 最佳实践

解决方案金融行业的实时数仓建设实践IoT行业行业背景物联网(Internet
阿里云云栖号·2020-08-14 00:20

flink实时数仓(三):cannel

文章目录产生背景工作原理Canal的架构产生背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps.目前内部版本已经支持mysql和oracle部分版
_张不帅·2020-08-12 14:06

实时数仓-Druid简介

Druid是什么？ApacheDruid是一个实时分析数据库，为时间驱动的数据分析而生，广泛应用于OLAP。此Druid，非阿里的那个数据连接池druid。Druid核心架构整合了数据仓库、时序数据库、日志搜索系统的思想。主要有以下特点：列式存储可扩展分布式系统并行处理实时或离线摄入数据自容错、自平衡、容易操作云化、容错架构不丢失数据基于时间的分区快速过滤的索引应用很多近似算法摄入数据时即时预聚合
.Mr Zhang·2020-08-12 00:53

StreamingFileSink压缩与合并小文件

sink，一个是Kafka-Sink，另一个是Hdfs-Sink，这两种sink实现的Exactly-Once都是基于Flinkcheckpoint提供的hook来实现的两阶段提交模式来保证的，主要应用在实时数仓
赶路人儿·2020-08-11 21:35

大数据实时推荐系统的思考

昨晚思考了实时数仓的问题，对下列案例进行了如下思考.
Applied Sciences·2020-08-11 21:07

藏不住了，Flink 未来发展的最新方向在这里！

之前我们详细介绍了围绕ApacheFlink及其核心技术开设的五大专场，包括：企业实践、Apache核心技术专场、开源大数据生态、实时数仓、人工智能五大专题详细内容。
Ververica·2020-08-11 00:52

实时数仓|Flink SQL之维表join

在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。
西贝木土·2020-08-09 13:29

OPPO数据中台之基石：基于Flink SQL构建实数据仓库

本文主要内容如下：OPPO实时数仓的演进思路；基于FlinkSQL的扩展工作；构建实时数仓的应用案例；未来工作的思考和展望。
Arisono·2020-08-09 05:24

实时数仓|Flink SQL之维表join

在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。
西贝木土·2020-08-08 15:21

Flink Sql on Zeppelin（6）——Hive Streaming

概述Flink1.11在上周二正式release了，在此之前我也给大家分享过了Flink1.11的一些新特性，然后和大家说过这一期会给大家单独说FlinkXHive本来打算找点数据，然后做一期类似于实时数仓的内容
Flink-狄杰·2020-08-06 10:00
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他