实时数仓

实时数仓入门训练营：基于 Apache Flink + Hologres 的实时推荐系统架构解析

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容
·2021-07-27 19:09

Hologres揭秘：优化COPY，批量导入性能提升5倍+

简介：揭秘Hologres优化COPY的技术原理，实现批量导入性能提升5倍+Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL
·2021-07-27 19:27

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-07-27 19:17

唯品会：在 Flink 容器化与平台化上的建设实践

简介：唯品会Flink的容器化实践应用，FlinkSQL平台化建设，以及在实时数仓和实验平台上的应用案例。
·2021-07-27 19:24

来电科技：基于 Flink + Hologres 的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓。
·2021-07-27 19:11

大数据Flink电商数仓实战项目流程全解（一）

项目整体思路和架构项目最终成果展示：本项目主要参考尚硅谷的Flink实时数仓项目完成，最近又重新跑了一遍，项目整体我会在后续上传到码云中，也会逐步同步更新到博客中来，里面不仅包含了整体代码和整个集群搭建过程
大数据YYDS·2021-07-21 00:21

唯品会：在 Flink 容器化与平台化上的建设实践

简介：唯品会Flink的容器化实践应用，FlinkSQL平台化建设，以及在实时数仓和实验平台上的应用案例。
·2021-06-24 18:14

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

简介：Hologres+Flink+DataWorks实时数仓新方案为伊的家业务带来了统一数据、统一服务、统一治理、统一存储的价值，真的做到了开箱即用，所见即所得！
·2021-06-22 16:07

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销，打造护肤老师与客户强连接关系，从上到下严格贯彻以品质及专业为基础，以社
·2021-06-18 22:08

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

简介：Hologres+Flink+DataWorks实时数仓新方案为伊的家业务带来了统一数据、统一服务、统一治理、统一存储的价值，真的做到了开箱即用，所见即所得！
·2021-06-18 22:34

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-06-18 22:25

来电科技：基于 Flink + Hologres 的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓。
·2021-06-18 22:23

Hologres揭秘：云原生存储引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-06-18 22:14

Flink + Iceberg 在去哪儿的实时数仓实践

简介：本文介绍去哪儿数据平台在使用Flink+Iceberg0.11的一些实践。作者：余东摘要：本文介绍去哪儿数据平台在使用Flink+Iceberg0.11的一些实践。内容包括：背景及痛点Iceberg架构痛点一：Kafka数据丢失痛点二：近实时Hive压力大Iceberg优化实践总结GitHub地址https://github.com/apache/flink欢迎大家给Flink点赞送star
·2021-06-18 22:03

Hologres揭秘：深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务
·2021-06-18 22:47

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

作者：刘松森，伊的家CTO，高级工程师，副教授职称，国内多所高校客座教授广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销
·2021-06-18 22:12

Hologres揭秘:深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-06-18 22:07

来电科技：基于Flink+Hologres的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
·2021-06-18 22:17

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

广州伊的家网络科技有限公司是一家专注于服务女性的B2B2C电商平台，业务范围包括护肤、彩妆、营养美容食品、私人定制服装、跨境电商等领域。自2008年孵化项目，2011年5月上线天猫商城，全国8大配送中心，妍诗美、妍膳等品牌陆续成立，并于2013年上线了伊的家自主电商平台，2020年全面启动品牌升级。伊的家以互联网主动式服务营销，打造护肤老师与客户强连接关系，从上到下严格贯彻以品质及专业为基础，以社
·2021-06-18 21:55

Flink+Hologres助力伊的家电商平台建设新一代实时数仓

简介：Hologres+Flink+DataWorks实时数仓新方案为伊的家业务带来了统一数据、统一服务、统一治理、统一存储的价值，真的做到了开箱即用，所见即所得！
·2021-06-18 21:54

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2021-06-18 21:20

数据产品工作指北（3）-实时数仓分层

按照业务实际，数仓区分为ODS、DW、SCD、RPT层，DIM维度层会贯穿所有层使用，为方便后台查询会放到RPT层。ODS层（表存放在ODS库）：ODS层存放的是从业务源系统同步过来的数据，表名增加【ODS_业务简写_】前缀，表结构和数据结构保持与源系统一致。ODS表的分区策略是表数据量小于2万以下的常用表建成维度表，表数据量大于2万、或者非常用的表建成分区表。DW层（表存放在DW库）：DW存放的
anchord·2021-06-14 01:26

is not in state RUNNING but FINISHED instead. Aborting checkpoint

问题及背景首先说一下背景,最近在做实时数仓,准备构建实时宽表,读取kafka数据实时关联维表并写入kafka和HDFS,由于公司hadoop版本是2.6的所以写HDFS用的BucketingSink程序开发完运行了一段时间发现写到
陌上闻笛·2021-06-10 05:36

百度、阿里、腾讯平台架构都熟悉，小米大数据平台架构OLAP架构演进是否了解

目录历史文章前言小米大数据平台OLAP架构演进一、数据仓库1、离线数据仓库的架构2、维度数据建模3、数据集市4、联机分析处理5、实时数据仓库6、实时数仓与离线数仓的对比二、kappa流批一体架构1、Kappa
Lansonli·2021-06-01 00:50

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 19:53

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 18:00

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 16:53

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 15:18

有道精品课实时数据中台建设实践

本文以我们在实时数仓选型的经验为切入点，进一步着重分享使用Doris过程中遇到的问题，以及我们针对这些问题所做出的调整和优化。1背景概述1.1业务场景
youdao·2021-05-21 15:00

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 14:42

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 13:07

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 11:32

华为申报项目入围 2021数博会领先科技成果奖终审

本报讯5月20日，记者从2021中国国际大数据产业博览会执委会办公室数博发布组获悉，华为技术有限公司申报的“华为云GaussDB（DWS）实时数仓：实时数据分析技术”项目，入围2021数博会领先科技成果奖终审
贵阳晚报·2021-05-21 10:29

云原生HSAP系统Hologres产品价值解读

主要分享主流实时数仓架构以及其实践的痛点，与云原生HSAP系统创新的价值。演讲嘉宾简介：阿里云计算平台-交互式分析团队产品经理——李姗姗（花名：柔惠）以下内容根据演讲视频以及PPT
阿里云Hologres·2021-05-18 13:48

Flink系列 - 实时数仓之ETL实战（二）

一、概述  上一篇实战中我们已经使用ogg实现了mysql数据以json的格式同步到了kafka里边去了，也就是说我们的源端的埋点的数据已经处理好咯；那么接下来我们就可以使用Flink开始对数据源进行处理计算，当然这里值得一提的是：ogg同步过来的json数据格式是嵌套型的，而且我们的数据不是想普通的网站日志那么简单，因为的源数据是从数据库中过来的-会涉及到增、删、改，因此我们要对刚从源库中过来的
小飞牛_666·2021-05-16 14:08

实时数仓中OLAP的能力要求

实时数仓的传统架构有lambda和Kappa。技术选型上实时计算、消息队列都有解决方案，但是实时数仓也需要一个强大的OLAP，对于OLAP有哪些选择条件，本文做一下分析。
DATACloudWorker·2021-05-16 12:26

深度学习核心技术精讲100篇（三十二）-网易实时数仓实战应用

前言随着大数据技术的进步，各种计算框架的涌现，数据仓库相关技术难题已经从离线数仓逐渐过渡到实时数仓，越来越多的企业对数据的实时性提出了严格的要求，如何满足企业的低延时的数据需求，如何看待批量处理和实时处理的关系
文宇肃然·2021-05-16 06:13

Flink+Clickhouse实时数仓在广投集团的最佳实践

Flink+Clickhouse实时数仓在广投集团的最佳实践一、业务背景由于历史原因，大型集团企业往往多个帐套系统共存，包括国内知名ERP厂商浪潮、用友、金蝶、速达所提供的财务系统，集团财务共享中心的财务人员在核对财务凭证数据时经常需要跨多个系统查询且每个系统使用方式不一
Wping_1c08·2021-05-12 10:35

Flink Iceberg 0.11

背景我们在使用Flink+Kafka做实时数仓以及数据传输过程中，遇到了一些问题，Iceberg0.11的新特性解决了这些业务场景，基于Iceberg我们做了一些实践，对比Kafka来说，Iceberg
HideOnBushKi·2021-05-11 17:44

Flink+iceberg环境搭建以及问题处理

受到越来越多公司的青睐，它强大的流批一体的处理能力可以很好地解决流处理和批处理需要构建实时和离线两套处理平台的问题，可以通过一套Flink处理完成，降低成本，Flink结合数据湖的处理方式可以满足我们实时数仓和离线数仓的需求
小小一刀·2021-05-11 10:47

贝壳基于 Flink 的实时计算演进之路

简介：贝壳找房在实时计算之路上的平台建设以及实时数仓应用。
阿里云开发者·2021-04-30 17:21

阿里实时数仓分布式事务Scale Out设计

简介：HybridTransactionAnalyticalProcessing(HTAP)是著名信息技术咨询与分析公司Gartner在2014年提出的一个新的数据库系统定义，特指一类兼具OLTP能力（事务能力）和OLAP能力（分析能力）的数据库系统。在传统场景中，承担OLTP任务和OLAP任务的数据库是两个不同的系统。作者|泽贤来源|阿里技术公众号一前言HybridTransactionAnal
阿里云云栖号·2021-04-28 14:54

Redis 大数据量（百亿级）Key存储需求及解决方案

最近我在思考实时数仓问题的时候，想到了巨量的redis的存储的问题，然后翻阅到这篇文章，与各位分享一需求背景该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie
小热爱·2021-04-28 10:00

贝壳基于 Flink 的实时计算演进之路

简介：贝壳找房在实时计算之路上的平台建设以及实时数仓应用。
阿里云云栖号·2021-04-27 11:41

实时数仓|基于Flink1.11的SQL构建实时数仓探索实践

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。
大数据技术与数仓·2021-04-21 09:04

进击的 Flink：网易云音乐实时数仓建设实践

如何基于Flink的新API升级实时数仓架构？
Flink中文社区·2021-04-20 21:15

数据仓库之Hive快速入门 - 离线&实时数仓架构

数据仓库VS数据库数据仓库的定义:数据仓库是将多个数据源的数据经过ETL（Extract（抽取）、Transform（转换）、Load（加载））理之后，按照一定的主题集成起来提供决策支持和联机分析应用的结构化数据环境数据仓库VS数据库：数据库是面向事务的设计，数据仓库是面向主题设计的数据库一般存储在线交易数据，数据仓库存储的一般是历史数据数据库设计是避免冗余，采用三范式的规则来设计，数据仓库在设计
端碗吹水·2021-04-19 21:59

滴滴基于 Flink 的实时数仓建设实践

简介：随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这
阿里云云栖号·2021-04-19 07:20

实时数仓|Flink SQL之维表join

在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。
大数据技术与数仓·2021-04-19 02:36

Hive数据仓库之权限管理

Hadoop/Hive自带权限控制延续数据仓库之Hive快速入门-离线&实时数仓架构一文，本文将介绍一下Hadoop/Hive自带的权限控制，权限控制是大数据平台非常重要的一部分，关乎数据安全。
端碗吹水·2021-04-18 16:04
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他