实时数仓

看阿里如何搞定实时数仓高吞吐实时写入与更新

简介：Hologres（原交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
·2022-07-11 17:50

实时数据仓库

本篇文章只是对自己的一些实时数仓经验的一些总结，就架构和数据流向而言其实和离线数据仓库大同小异，但是实时处理有自己的特殊性为什么要有实时数仓？
这个程序猿可太秀了·2022-07-05 19:12

小迈科技 X Hologres：高可用的百亿级广告实时数仓建设

简介：通过本文，我们将会介绍小迈科技如何通过Hologres搭建高可用的实时数仓。
·2022-06-30 15:59

新一代数据分析及实时数仓平台Greenplum，助力企业数字化转型

今天为大家推送的内容整理自Greenplum资深平台架构师牛云飞演讲的《新一代数据分析及实时数仓平台Greenplum介绍》。随着企业的发展，分析也在变化，从单纯面向过去，逐步演进到全视角数据分析。
Greenplum中文社区·2022-06-30 14:18

阿里云云原生一体化数仓 — 离线实时一体化新能力解读

简介：介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案，通过用实时的引擎做预处理，实现离线实时数据入仓后做更加实时的服务化BI分析实践。
·2022-06-28 18:20

Flink+Doris 构建实时数仓方案

编者荐语：随着领创集团的快速发展，为了满足十亿级数据量的实时报表统计与决策分析，领创集团选择了Flink+Doris的实时数仓方案。本篇文章详尽了介绍了此方案的实践过程。
·2022-06-24 17:29

快手实时数仓保障体系研发实践

摘要：本文整理自快手实时计算数据团队技术专家李天朔在FlinkForwardAsia2021实时数仓专场的演讲。
·2022-06-24 10:18

美团基于 Flink 的实时数仓平台建设新进展

摘要：本文整理自美团实时数仓平台负责人姚冬阳在FlinkForwardAsia2021实时数仓专场的演讲。
·2022-06-22 11:19

StarRocks X Flink CDC，打造端到端实时链路

通过StarRocks结合Flink构建开源实时数仓的方案，可以同时提供秒级数据同步和极速分析查询的能力。同时，通过StarRocks主键模型，也可以更好地支持实时和频繁更新等场景。
·2022-06-21 10:40

DataFunTalk：阿里建设一站式实时数仓的经验分享

简介：本文内容整理于阿里资深技术专家姜伟华在DataFunTalk上的演讲，为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的经验和解决方案。
·2022-06-20 17:25

数据湖架构开发-Hudi入门教程

当下大数据技术在工业环境中应用，主要构建离线数仓和实时数仓，进行大规模数据管理和分析。为了更好管理数据，出现数据湖DataLake：用来存储大量的原始数据。
是一只萨摩耶·2022-05-31 07:10

理“ Druid 元数据”之乱

由于Druid能够同时提供离线和实时数据的查询，因此Druid最常用作为GUI分析、业务监控、实时数仓的数据存储系统。
·2022-05-30 08:09

Clickhouse实时数仓建设

今天，笔者就为大家介绍如何使用Clickhouse来构建实时数仓，来满足一些实时性要求较高的使用场景。2.内容2.1什么是OLAP场景在介绍Click
哥不是小萝莉·2022-05-29 21:00

云原生离线实时一体化数仓建设与实践

一、离线实时一体化数仓建设难点二、离线实时一体化数仓技术演化三、阿里巴巴离线实时一体化数仓建设实践四、离线实时一体化数仓参考架构五、未来实时数仓核心趋势展望一、离
·2022-05-17 14:09

基于 FlinkSQL 构建流批一体准实时数仓

在一些对延时要求比较高的场景，需要另外搭建基于Flink的实时数仓，将链路延时降低到秒级。但是一套离线数仓加一套
四月天03·2022-05-17 11:16

项目一实时数仓数据采集

目录1.项目介绍1.1项目背景1.2项目需求1.3目标1.4二次开发2.项目部署2.1业务数据采集2.2导入脚本编写和测试2.3内容数据采集2.3.1说明：2.3.3配置管理中心2.3.4注册域名2.4日志数据采集2.4.1nginx服务器的搭建2.4.2启动nginx，并测试2.4.3配置管理中心2.4.4日志切分2.4.5编写flume的采集方案2.4.6自定义拦截器2.5数仓ODS层建模2.
林柚晞你今天博学了吗·2022-05-10 05:27

Flink CDC Meetup · Online，5.21 开讲！

随着近几年实时计算技术的迅猛发展，涌现了实时OLAP、实时数据湖、实时数仓等架构，较好地解决了湖仓实时化问题。然而实时化需要的是端到端的解决方案，除了湖仓实时化之外，我们还急需数据集成的实时化。
·2022-05-09 11:24

数仓数据监控

Flink电商实时数仓Prometheus&Grafana监控zabbix监控（API、proxy代理、睿象云告警系统）
//承续缘_纪录片·2022-04-30 14:09

Apache Flink 在蔚来汽车的应用

主要内容包括：实时计算在蔚来的发展历程实时计算平台实时看板CDP实时数仓其他应用场景点击查看直播回放&演讲PDF一、实时计算在蔚来的发展历程18年5月份左右，我们开始接触实时计算的概念，最初是用SparkStreaming
·2022-04-22 14:05

50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 下

本文大纲：因内容较多，本文将直接从第五章开始，完整版文档请点击下方链接：本文数仓建设保姆级教程完整PDF版前四章内容在上方链接获取五、实时数仓建设核心1.实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求
·2022-04-13 15:45

Flink 在众安保险金融业务的应用

整体概况智能营销应用实时特征应用反欺诈应用后期规划点击查看直播回放&演讲PDF一、整体概况上图是我们的实时计算整体架构图，最下层是数据源层，包括了来自于应用系统的业务数据、应用系统的消息数据、用户行为埋点数据以及应用日志数据，这些数据都会经过Flink进入实时数仓
·2022-04-08 14:31

中信建投X袋鼠云：实时数仓，证券机构的“速度与稳定”

近年来，《政府工作报告》多次提及“数字经济”，今年更是以独立篇章，详细解读和明确了如何“促进数字经济发展”。数字经济的全产业推进，为金融业带来更多元场景和更高服务要求。其中，随时随地的交易发生场景，要求金融机构必须具备更及时的响应能力。众多金融机构在积极推行数字化改革，以适应时代高速革新。中信建投，是其中极具讨论意义的一家。中信建投证券成立于2005年11月2日，是经中国证监会批准设立的全国性大型
·2022-04-01 17:21

字节跳动基于 Apache Hudi 的多流拼接实践方案

字节跳动数据湖团队在实时数仓构建宽表的业务场景中，探索实践出的一种基于HudiPayload的合并机制提出的全新解决方案。
·2022-03-30 14:46

实时数仓入门训练营：实时数仓助力互联网实时决策和精准营销

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
阿里云开发者·2022-03-25 09:59

Flink 在米哈游的落地实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓和数据湖探索未来发展与展望一、背景介绍米哈游成立于2011年，致力于为用户提供美好的、超出预期的产品与内容。
·2022-03-24 15:45

Apache Flink 在斗鱼的应用与实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓探索未来发展与展望点击查看直播回放&演讲PDF一、背景介绍斗鱼成立于2014年，是一家致力于为所有人带来欢乐的，弹幕式直播分享平台。
·2022-03-24 14:36

Flink 在米哈游的落地实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓和数据湖探索未来发展与展望一、背景介绍米哈游成立于2011年，致力于为用户提供美好的、超出预期的产品与内容。
·2022-03-24 11:41

Apache Flink 在斗鱼的应用与实践

本篇内容主要分为四个部分：背景介绍实时平台建设实时数仓探索未来发展与展望点击查看直播回放&演讲PDF一、背景介绍斗鱼成立于2014年，是一家致力于为所有人带来欢乐的，弹幕式直播分享平台。
·2022-03-18 10:54

美团外卖实时数仓方案整理

实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。美团外卖数据智能组总结的最佳实践是：一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合，同时满足实时和准实时业务场景。
独孤风·2022-03-18 09:00

坐标PCB公司，想做实时数仓、推生产线看板，和Tapdata Cloud的偶遇来得就是这么凑巧

TapdataCloud是一款很有「前途」的产品。——TapdataCloud用户|一线DBA@某PCB全球百强企业从首次提出这一概念起，已经10年过去了，“工业互联网”仍然是制造业高质量发展的主题。踩着这阵东风，数字化升级、智能制造、工业信息化等关键词接连冒头，有效利用“数据的力量”，成为推进产业升级创新、提升产品质量的重要一环，“制数权”的身价水涨船高。建立“数据仓库”，便是这样的背景下，相关
·2022-03-15 19:10

CloudCanal x StarRocks 在医疗大健康实时数仓领域的落地与实践

希望文章内容对各位读者使用CloudCanal构建实时数仓带来一些帮助。#业务背景大健康背景下，用户对报表和数据大屏的实时性能要求越来越高。
·2022-03-11 17:34

Flink 流处理在中信建投证券的实践与应用

摘要：本篇内容整理自中信建投证券金融实时数仓项目负责人刘成龙、金融资讯数据研发工程师蔡跃在FlinkForwardAsia2021行业实践专场的演讲。
·2022-03-08 14:51

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得ApacheKafka功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来
·2022-02-28 11:30

基于 Kafka 的实时数仓在搜索的实践应用

一、概述ApacheKafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。ApacheKafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得ApacheKafka功能越发丰富、性能越发稳定，成为企业大数据技术架构解决方案中重要的一环。ApacheKafka作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。那么，今天就来
vivo互联网技术·2022-02-28 11:00

oracle用户行为记录,用户行为分析-埋点实时数仓实践(附用户关联源码)

一、概述埋点采集、用户行为分析、实时数仓、IdMapping此文重点讲述埋点的数据模型、数据格式、数据实时采集、加工、存储及用户关联。
lihahamiao·2022-02-28 11:07

微信 ClickHouse 实时数仓的实践之路

下文将由浅入深，为大家揭晓微信在ClickHouse实时数仓
腾讯开发者·2022-02-28 10:02

离线数仓，实时数仓和准实时数仓的相关架构

1，离线数仓主要借助，hive去实现，相关的业务统计，实时也离不开离线2，实时数仓模型，主要借助kafka，flink做些实时查询3，准实时数仓，可能有分钟级的数据延迟，主要借助快速的olap数据库查询
wppwpp1·2022-02-28 09:12

离线数仓与实时数仓案例

1.数据仓库简介数据仓库是一个面向主题的(SubjectOriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(TimeVariant)的数据集合，用于支持管理决策。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据
weixin_30642029·2022-02-28 09:10

实时数仓与离线数仓架构对比、Flink消费流程

实时数仓架构图：离线数仓：与离线数仓区别：MySQL业务数据采集改用FlinkCDC;FlinkCDC与Maxwell处理方式和Cannal一样通过监控binlog方式（行级别），而Sqoop是通过MR
养不起心爱的猫该如何是好·2022-02-28 09:39

大数据开发，聊聊离线数仓和实时数仓

数据仓库的概念，最早是在1991年被提出，而直到最近几年的大数据趋势下，实时数据处理快速发展，使得数据仓库技术架构不断向前，出现了实时数仓，而实时数仓又分为批数据+流数据、批
加米谷大数据张老师·2022-02-28 09:39

实时数仓与离线数仓总结(一)

主要内容：数仓基本概念数仓架构演变实时数仓和离线数仓的区别数仓基本概念首先说一下数据仓库的概念，以下简称数仓。
程序员小陶·2022-02-28 09:08

离线数仓和实时数仓的区别

作者介绍@车云祥大宇无限数据产品负责人主要负责全公司底层数据治理，构建统一指标体系；主导BI系统、用户画像系统、广告投放平台、广告流量优化等设计工作；推动Snaptube、LarkPlayer、Zapee等明星产品与数据紧密结合，实现高效运转；通过对业务需求深度梳理、数据方案高质量设计、数据分析洞察与优化、营销策略闭环输出的不断实践，帮助公司实现数据驱动业务增长；“数据人创作者联盟”成员。01数仓
数据掘金者·2022-02-28 09:05

Presto在大数据领域的实践和探索

小编在去年的时候，写过一篇轰动全网的文章《你需要的不是实时数仓|你需要的是一款强大的OLAP数据库》，这篇文章当时被各大门户网站和自媒体疯狂转载，保守阅读量也在50万+UV，在这篇文章中提到过Preto
王知无·2022-02-18 09:45

技术揭秘：实时数仓Hologres如何支持超大规模部署与运维

通过该评测，证明了阿里云实时数仓Hologres能够作为数据仓库和大数据平台的基础设施，可以满足用户建设大规模数据仓库和数据平台的需求，具备支撑关键行业核心业务数据平台的能力。
·2022-02-14 10:23

基于 Flink + Hive 构建流批一体准实时数仓

基于Flink+Hive构建流批一体准实时数仓基于Hive的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。
GOD_WAR·2022-02-13 10:13

基于FlinkSql1.10.0 搭建实时数仓

一、数据同步方案图片.png二、技术选型2.1开源框架与阿里云架构对比分类阿里云架构开源架构数据采集DTS、DataHubcanal、flume数据传输DTS、DataHubkafka数据存储Rds、AnalyticDBMysql、HBase数据计算阿里云实时计算Flink、spark2.2Binlog数据采集CanalCanal项目地址：https://github.com/alibaba/ca
卡戎li·2022-02-13 01:38

美团点评 Flink 实时数仓应用经验分享

实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把PPT黑色的背景变得更白一样，从传统的经验来讲，我们认为数仓有一个很重要的功能，即能够记录历史。
Flink中文社区·2022-02-12 09:55

BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

本文整理自BIGOStaffEngineer邹云鹤在FlinkForwardAsia2021的分享。主要内容包括：业务背景落地实践&特色改进应用场景未来规划FFA2021直播回放&演讲PDF下载一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短视频创作分享平台)，IMO(免费通信工具)三部分，在全球范围内拥有4亿用
·2022-02-09 18:23

关于实时数仓

在开源盛世的今天，实时数仓的建设业界已经有了成熟的方案。技术选型上实时计算、消息队列都有最优解，唯独在OLAP领域，百家争鸣，各有所长。
夜丨雨·2022-02-09 15:49

StreamingFileSink压缩与合并小文件

Flink-KafkaConnector，另一个是Flink-HdfsConnector，这两种connector实现的Exectly-Once都是基于Flinkcheckpoint提供的hook来实现的两阶段提交模式来保证的，主要应用在实时数仓
Flink实战剖析·2022-02-08 18:28
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他