实时数仓

大数据中台架构以及建设全流程二（Daas层设计）

目录背景面临问题解决方案数仓架构演进离线数仓架构案例Lambda数仓架构案例问题点Kappa数仓架构架构选型数仓整体架构（图片来自网络）数仓分层架构（图片来自网络）主题域划分维度建模需求标准化维度及指标规范管理指标管理流程图数仓建库表规范字段规范实时数仓实时数仓
只会写demo的程序猿·2023-03-29 06:02

腾讯云大数据“数智话”技术沙龙 第一期—云数据仓库 for Apache Doris 内容回顾...

本次直播由腾讯云大数据数据仓库产品经理，腾讯云Doris技术负责人，腾讯云大数据资深研发工程师围绕腾讯云大数据在2022重磅发布的云托管实时数仓产品——云数据仓库forApacheDoris展开，重点介绍了其优势特性
腾讯云大数据·2023-03-29 02:41

Lambda架构

Lambda架构->实时数仓目前大数据架构已经走向了数据湖时代，无论是单纯的批处理模式，还是同时支持实时和离线数据处理的Lambda架构都已经过时。均不再适应现在大数据的业务发展需要。
锋火连天·2023-03-28 23:00

数据仓库架构详解

数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，为企业指定决策，帮助企业改进业务流程、提高产品数量一般数仓分为离线数仓（spark）和实时数仓（flink）二、核心框架数据采集数据通过
王博1999·2023-03-28 22:50

附PPT|2020年总结实时数仓最新架构图

1型基于Flink的滴滴实时数仓实践分享嘉宾：潘澄,滴滴基础平台资深研发工程师分享大纲：整体概况业务实践平台&引擎总结反思未来规划2实时OLAP，从0到1分享嘉宾：高正炎,比特大陆分享大纲：业务背景机遇挑战架构演进架构优化未来展望
小晨说数据·2023-03-28 21:04

离线和实时数仓技术架构梳理

1.离线数仓离线数仓架构基本都是基于Hive进行构建，数据分层方式如下：ODSOperationalDatastore，贴源层（原始数据层）从各个业务系统、数据库或消息队列采集的原始数据，只做简单处理，尽可能维持数据原貌DWDDataWarehouseDetail，数据明细层将贴源层的原始数据进行清洗补全后存入该层，数据粒度保持不变DIMDimension，维度层根据数据的实际情况抽取不同的维度数
Daphnis_z·2023-03-28 21:43

尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录

logback.xml不生效问题2.判断新老用户的时候，什么时候会出问题：3.为什么维度数据选择存储在Hbase中，而不是Redis，Mysql中4.启动phoenix卡住不动了6.java找不到符号7.为什么实时数仓中没有
在学习的王哈哈·2023-03-26 22:58

实时数据仓库的发展、架构和趋势

但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。
TASKCTL·2023-03-23 17:33

flink实时数仓

目录电商常识实时数仓架构对所用到的表进行解析完成数据源和数据采集完成ODS层完成DIM层分析表结构使用代码导入数据并checkpoint将相同部分的代码进行封装完成DWD层完成ADS层电商常识由于这个项目是基于电商数据所完成的项目
啊帅和和。·2023-03-22 11:46

利用Flink CDC和Flink SQL构建实时数仓Flink写入Doris

软件环境Flink1.13.3Scala2.12doris0.14一、MySQL开启binlog日志、创建用户1.开启binlogMySQL8.0默认开启了binlog，可以通过代码showvariableslike"%log_bin%";查询是否开启了，showvariableslike"%server_id%";查询服务器ID。上图分别显示了binlong是否开启以及binlog所在的位置。2
lbship·2023-03-19 13:43

实时场景下的机器学习模型实时特征离线特征融合方案(踩坑笔记)

如果有实时数仓那还比较庆幸，如果没有的话，那就有点悲催了，从头趟一遍发现坑有点深啊，比那啥海沟还要深，没错就是挂在嘴边，又叫不出名字的
mtj66·2023-03-19 11:48

详述 Flink CDC 打通数据实时入湖！

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
Richard123m·2023-03-19 11:43

流计算开发平台StreamPark安装

同时，StreamPark提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等。官方网站
CodePhage·2023-03-19 11:40

Hologres揭秘:深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云Hologres·2023-03-17 11:26

[实战系列]SelectDB Cloud Flink Connector 最佳实践

而云原生实时数仓的出现，让传统的数据仓库无论是成本、灵活性还是开放性等方面都显露出不足。拥有高性能、高可用性、可伸缩性、高安全性等特征的云原生数据库，正在成为企业的首选。
hf200012·2023-03-15 07:04

[实战系列]SelectDB Cloud Datax 数据写入最佳实践

新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012·2023-03-15 07:03

实时数仓入门训练营：Hologres 数据导入/导出实践

简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题
阿里开发者·2023-03-15 07:25

[实战系列]SelectDB Cloud Kafka Connect 最佳实践张家锋

新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012·2023-03-15 07:15

[实战系列]SelectDB Cloud Spark Connector 最佳实践

新一代云原生实时数仓SelectDBCloud作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
hf200012·2023-03-15 07:14

AntDB“超融合+流式实时数仓”，谈传统数据库与流计算的有机融合

（一）前言据统计，在信息化时代的今天，人们一天所接触到的信息量，是古人一辈子所能接收到的信息量的总和。当今社会中除了信息量“多”以外，人们对信息处理的“效率”和“速度”的要求也越来越高。譬如，对于很多企业决策者来说，在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯，现在慢慢转变为利用实时可视化的方式来随时分析企业当前的经营状况。数据库作为信息的核心载体，在过去的半个世纪中，基本
亚信安慧AntDB数据库·2023-03-15 02:46

墨天轮发布数据库行业报告，亚信科技AntDB“超融合+流式实时数仓”开启新纪元

近日，知名数据库社区墨天轮发布《2022中国数据库行业年度分析报告》，亚信科技全新发布的“超融合+流式实时数仓”数据库AntDB入选报告并被业界广泛关注。
亚信安慧AntDB数据库·2023-03-15 02:15

flink 学习笔记 — 基于 Flink 实时数仓的简单实践

作为一个实时计算的框架，Flink在实时数仓中发挥着越来越重要的作用。这里将以简单的案例，实现一个简单的数仓数据流。
飞不高的老鸟·2023-03-11 22:56

原来Canal也可以做HA?

前言在做实时数仓时，数据量往往比较大的，如果使用Canal来监听MySQL的状态当Canal是单节服务时，服务器挂掉是就会造成数据丢失，这时Canal恰好可以配置HA这样就能解决单点问题，但是依赖于zookeeper
大数据老哥·2023-03-11 22:26

50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 下

五、实时数仓建设核心1.实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个
浪尖聊大数据-浪尖·2023-03-01 07:14

【平台数仓设计——2023】

大数据平台4、各种云数据中台二、选取调度平台1、DolphinScheduler(海豚调度)2、AzKaban3、Oozie4、Airflow5、corntab命令三、选取数仓设计方案1、离线数仓2、实时数仓
BigData_LYT·2023-02-27 18:44

离线数仓04—— 用户行为数据同步

文章目录第1章实时数仓同步数据第2章离线数仓同步数据2.1用户行为数据同步2.1.1数据通道2.1.2日志消费Flume配置概述2.1.3日志消费Flume配置实操2.1.4日志消费Flume测试2.1.5
就是这个范~·2023-02-26 07:54

【实时数仓】介绍、需求分析、统计架构分析和ods层日志行为数据采集

文章目录一电商实时数仓介绍1普通实时计算与实时2实时电商数仓分层二实时数仓需求分析1离线计算与实时计算的比较2应数场景（1）日常统计报表或分析图中需要包含当日部分（2）实时数据大屏监控（3）数据预警或提示
OneTenTwo76·2023-02-26 07:23

实时数仓实践（一）之数据库实时增量同步工具-CDC（Change Data Capture）

数据库实时增量同步工具-CDC（ChangeDataCapture）Canal阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。Canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前
NuOne_plus·2023-02-26 06:36

大数据项目之电商数仓、实时数仓同步数据、离线数仓同步数据、用户行为数据同步、日志消费Flume配置实操、日志消费Flume测试、日志消费Flume启停脚本

文章目录8.实时数仓同步数据9.离线数仓同步数据9.1用户行为数据同步9.1.1数据通道9.1.1.1用户行为数据通道9.1.2日志消费Flume配置概述9.1.2.1日志消费Flume关键配置9.1.3
Redamancy_06·2023-02-26 06:02

Tapdata Connector 实用指南：实时数仓场景之数据实时同步至 ClickHouse

【前言】作为中国的“Fivetran/Airbyte”,Tapdata是一个以低延迟数据移动为核心优势构建的现代数据平台，内置60+数据连接器，拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力，以及低代码可视化操作等。典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。随着TapdataConnector的不断增长，我们最新推出《
·2023-02-24 20:37

大数据平台实时数仓从0到1搭建之 - 14 Maxwell & Canal 对比

大数据平台实时数仓从0到1搭建之-14Maxwell&Canal对比概述环境数据库配置安装配置启动命令输出结果HA监控web总结概述前两章分别写了maxwell和canal的安装使用，我本人其实是第一次听说这两个工具
这都不是事er·2023-02-24 12:17

大数据平台实时数仓从0到1搭建之 - 12 Maxwell

大数据平台实时数仓从0到1搭建之-12Maxwell概述Maxwellquickstart修改MariaDB配置Maxwelldocker下载maxwell测试stdout：输出控制台kafka后续附客户端代码概述今天学习下
这都不是事er·2023-02-24 12:16

云原生实时数仓 SelectDB 首次产品发布会等你来约！

从结绳记事到竹木简牍，从书于纸墨到印刷成册；数据以千百种姿态承载着人类的文明贯穿历史的长河。时代在更迭，不变的是社会文明对于数据的沉淀和探索。在计算机的帮助下，人类处理信息的速度空前加快，经过指数级的增长，数据已经积累到了前所未有的量级，一轮基于“大数据”的产业革命重塑了个人、企业乃至社会发展的底层逻辑。数字化的征程一往无前，所有的组织都不约而同地迈上了业务数字化和数字业务化的探索之路。大家都在面
·2023-02-22 10:07

实时数仓Hologres新一代弹性计算组实例技术揭秘

作者：王奇（花名慧青）阿里云Hologres研发随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
·2023-02-21 11:30

实时数仓Hologres 新一代弹性计算组实例技术揭秘

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
·2023-02-20 16:42

Flink X Hologres构建企业级Streaming Warehouse

点击查看>>本篇内容主要分为四个部分：一、实时数仓分层的技术需求二、阿里云一站式实时数仓Hologres介绍三、FlinkxHologres：天作之合四、基于FlinkCatalog的StreamingWarehouse
aliyunhologres·2023-02-19 07:49

核桃编程Delta Lake实时数仓应用实践

1.3架构改造前方案现有指标都是将Kafka/Mysql等的数据写入HDFS，使用Hive离线批处理，每10分钟执行一次，循环统计历史累计指标，再定时把数据同步到Mysql，提供给数据后台查询。如下图所示:image1.4遇到的问题随着计算的数据量越来越大，逐渐不能满足业务的更新频率要求。使用ApacheSqoop做全量数据同步，会对业务Mysql库/HDFS造成压力。使用ApacheSqoop做
fat32jin·2023-02-18 20:13

Flink X Hologres 构建企业级 Streaming Warehouse

本篇内容主要分为四个部分：实时数仓分层的技术需求阿里云一站式实时数仓Hologres介绍FlinkxHologres：天作之合基于FlinkCatalog的StreamingWarehouse实践点击查看直播回放
·2023-02-16 20:14

Flink CEP 在抖音电商的业务实践

摘要：本文整理自抖音电商实时数仓研发工程师张健，在FFA实时风控专场的分享。
·2023-02-16 20:32

美团点评 Flink 实时数仓经验分享

转载：原文地址实时数仓建设目的解决传统数仓的问题实时数仓是一个很容易让人产生混淆的概念。
秋慕云·2023-02-07 02:35

Flink系列 - 实时数仓之数据入HBase实战（八）

  这个案例是建立在上一篇的基础之上，之所以做总结是因为网上很多都只是简单的调用API而已，根本找不到优化过后的sink自定义方法，显示的生产中我们不可能仅仅是像教程那样简单的能在HBase插入数据就行，性能对于生产系统是非常重要的。  接下来我们开搞啦。。。一、前期准备1.1引入相关依赖org.apache.flinkflink-hbase_2.111.10.1xyz.downgoonsnowf
小飞牛_666·2023-02-06 23:24

Flink Table Store 典型应用场景

主要内容包括：介绍FlinkTableStore应用场景Demo后续挑战点击查看直播回放&演讲PPT一、介绍FlinkTableStore离线数仓和实时数仓是两个典型的数仓形态。
·2023-02-06 11:59

实时数仓-涉及维度退化的事实表

[关键字]:FlinkSQL、Flink双流Join、Flink动态表与持续查询业务背景实现DWD-加购事务事实表业务流程维度退化何为维度退化传关系型数据库严格遵循三范式来表内没有冗余如果要获取维度字段需要联结其他表==>时间换空间非关系型数据库遵循维度建模且数据量大联结其他表会大大增加查询时间所以将需要的维度字段合并到事务表==>空间换时间宽表宽窄表并不单单以表的宽细作为划分依据,而取决于表中是
中英汉语词典·2023-02-04 14:15

实时数仓之Flink维表关联难点解决方案

一维表关联的典型场景和考量标准1.1维表关联的典型场景在实时数仓中，我们经常需要做维表关联，但是用户维表一般在业务数据库中，业务方是不允许大数据部门直接到业务数据库进行维表关联，因为这会影响线上业务。
大数据研习社·2023-02-04 14:09

出行平台如何基于StarRocks构建实时数仓？

作者：王满，高级数据架构工程师首汽约车（以下简称“首约”）是首汽集团为响应交通运输部号召，积极拥抱互联网，推动传统出租车行业转型升级，加强建设交通强国而打造的网约车出行平台。在用车服务方面，包括了即时用车、预约用车、多日接送、包车业务、接送机、国际用车、城际拼车等用车服务场景，提供出租、畅享、舒适、商务、豪华、巴士等丰富车型。首汽约车还通过数据整合和智能科技陆续推出了学生用车、老人用车等产品来满足
StarRocks_labs·2023-02-03 17:03

实时分析全面赋能金融业务，马上消费基于 Apache Doris 构建实时数仓的实践

随着各业务对实时数据分析的需求越来越强烈，马上消费于2021年引入ApacheDoris构建实时数仓，目前已服务10+业务团队的数据应用，99%以上的查询响应耗时在5秒内，数据时效延迟均不超过1分钟，解决了其对于实时数据分析的强烈诉求
·2023-02-02 16:53

Flink on Hive构建流批一体数仓

这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。
大数据技术与数仓·2023-02-02 11:53

Hologres揭秘：高性能原生加速MaxCompute核心原理

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务和分析大数据的场景，全面兼容PostgreSQL协议并与大数据生态无缝打通，能用同一套数据架构同时支持实时写入实时查询以及实时离线联邦分析
阿里云Hologres·2023-01-30 15:05

Flink电商实时数仓项目05-数据可视化

1数据可视化接口1.1设计思路之前把轻度聚合的结果都保存到了ClickHouse中，主要目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展示，一种是为专业的数据分析人员的BI工具，另一种是为非专业人员提供更加直观的数据大屏。下面主要是面向百度的sugar的数据大屏服务的接口开发。1.2需求梳理1.2.1最终效果1.2.2分析可视化大屏组件名称组件查询指标对应的数据表总成交金
最佳第六六六人·2023-01-30 15:17

湖仓一体电商项目（一）：项目背景和架构介绍

项目架构1、实时数仓现状2、项目架构及数据分层3、???
普通网友·2023-01-30 15:16
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他