数仓分层架构

大数据线上问诊实时数仓项目

尚硅谷线上问诊实时数仓项目延续了离线数仓的业务逻辑，以线上问诊开处方为基础业务逻辑，真实表现了线上问诊数据的实时分析统计。
尚硅谷铁粉·2023-09-01 18:46

线上问诊：数仓开发(一)

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)文章目录系列文章目录前言一、Hiveonyarn二、数仓开发1.ODS开发2.DIM开发3.DWD开发总结前言上次我们已经将
超哥--·2023-09-01 18:12

说说Omega架构

分析&回答Omega架构我们暂且称之为混合数仓。什么是ECS设计模式在谈我们的解法的时候，必须要先提ECS的设计模式。简单的说，Entity、Component、System分别代表了三类模型。
学一次·2023-09-01 17:43

新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单！

近期，在ClickHouse发起的分析型数据库性能测试排行榜ClickBench中，新一代云原生数仓SelectDB强势登顶，性能表现超越一众国内外产品，多项指标排行前列，并在业界最为通用的c6a.4xlarge
张家锋·2023-09-01 17:35

【大数据】数据湖：下一代大数据的发展趋势

下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结1.7实时数仓建设需求
G皮T·2023-09-01 16:24

Plasticine: 面向并行模式的可重配架构

本文基于对并行模式的分层架构、数据局部性和控制流的抽象，提出了Plasticine架构，从而为并行模式计算提供更好的灵活性和更低的能耗支持。
·2023-09-01 13:59

Plasticine: 面向并行模式的可重配架构

本文基于对并行模式的分层架构、数据局部性和控制流的抽象，提出了Plasticine架构，从而为并行模式计算提供更好的灵活性和更低的能耗支持。
·2023-09-01 13:28

说说Kappa架构

分析&回答对于实时数仓而言，Lmabda架构有很明显的不足，首先同时维护两套系统，资源占用率高，其次这两套系统的数据处理逻辑相同，代码重复开发。
学一次·2023-09-01 06:56

实时数仓构建新思路，NineData数据复制技术详解

8月30日，由NineData和SelectDB共同举办的主题为“实时数据驱动，引领企业智能化数据管理”的线上联合发布会，圆满成功举办！双方聚焦于实时数据仓库技术和数据开发能力，展示如何通过强大的生态开发兼容性，对接丰富的大数据生态产品，助力企业快速开展数据分析业务，共同探索实时数据驱动的未来企业智能化数据管理解决方案。本文根据玖章算术技术副总裁陈长城（天羽）在NineDataXSelectDB联
·2023-08-31 16:55

『Newsletter 丨第二期』PieCloudDB Database 新增控制台、LDAP 支持、虚拟数仓日志等多项功能

PieCloudDBDatabase最新动态云上云版「控制台」功能上线PieCloudDB云上云版「控制台」功能全新上线，控制台集成了组织、数仓、用户、费用、权限等多方位管理功能，支持在一个组织下创建和管理多个数仓
·2023-08-31 14:51

Apache Doris (一) ：Doris 介绍及使用场景

目录1.ApacheDoris介绍2.ApacheDoris使用场景2.1报表分析2.2即席查询（Ad-hocQuery）2.3统一数仓构建2.4数据湖联邦查询进入正文之前，欢迎订阅专题、对博文点赞、评论
IT贫道·2023-08-31 13:24

数据仓库(13)大数据数仓经典最值得阅读书籍推荐

从事数仓工作，在工作学习过程也看了很多数据仓库方面的数据，此处整理了数仓中经典的，或者值得阅读的书籍，推荐给大家一下，希望能帮助到大家。建议收藏起来，后续有新的书籍清单会更新到这里。
·2023-08-31 10:23

数据仓库(12)数据治理之数仓数据管理实践心得

这边文章聊聊自己对数据治理开发实践的一些思路，就是聊聊怎么开始去做数据治理这件事情。说起数据治理，有时候虽然看了很多文章，看了很多的介绍，了解数据治理的理论，但是实际上需要我们去搞的时候，就会踩很多的坑。这里记一下自己做数据治理的一些思路，做做笔记，也分享给需要的同学。当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：数据仓库(11)什
·2023-08-31 10:23

说说构建流批一体准实时数仓

分析&回答基于Hive的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。
学一次·2023-08-31 07:50

电商数仓项目需求及架构设计

一、项目需求1.用户行为数据采集平台搭建2.业务数据采集平台搭建3.数仓维度建模4.统计指标5.即席查询工具，随时进行指标分析6.对集群性能进行监控，发生异常时报警（第三方信息）7.元数据管理8.质量监控
BigData_001_Lz·2023-08-31 05:28

融入数据浪潮，KaiwuDB 期待与您共赴 DTCC 2023

大会以“数智赋能共筑未来”为主题，设置2大主会场，20＋技术专场，邀请超百位行业专家，重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨。
KaiwuDB·2023-08-30 23:10

领域驱动架构的演进

我们回顾了经典三层架构与领域驱动设计四层架构，然后又对分层架构模式的产生与设计原则做了一次历史回顾。
无名氏一族·2023-08-30 13:07

Databend 开源周报第 108 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-08-30 09:33

数据仓库_数仓常见的数据模型

转载自：大数据开发：数仓建模常见数据模型-腾讯云开发者社区-腾讯云在数据仓库搭建的过程当中，根据需求合理地选择数据模型，是非常关键的一个环节。
高达一号·2023-08-30 08:59

数仓设计_数仓中的三种事实表

一篇文章搞懂数据仓库：三种事实表（设计原则，设计方法、对比）-腾讯云开发者社区-腾讯云事实表的三种类型，事务事实表，周期快照事实表，累计快照事实表事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。1、三种事实表概述事实表有三种类型:事务事实表、周期快照事实表和累积快照事实表。1.1事务事实表也称原子事实表，
高达一号·2023-08-30 08:59

数据仓库_数据仓库_缓慢渐变维度实现的几种思路

数仓缓慢渐变维度表设计，另一篇比较好的文章结合实际案例数仓建设-缓慢变化维的10种处理方式_雾岛与鲸的博客-CSDN博客缓慢渐变维度：维度数据会随着时间发生变化，变化速度比较缓慢，这种维度数据通常称作缓慢渐变维
高达一号·2023-08-30 08:29

Hive/数据仓库_Hive 中如何生成代理键

前提：数仓中的维度，事实表技术提倡用代理键代替实体键，下面我们讲解下代理键的概念，以及Hive中如何生成代理键(自增列)代理键：维度表中必须有一个能够唯一标识一行记录的列，通过该列维护维度表与事实表之间的关系
高达一号·2023-08-30 08:28

数据仓库总结

1.为什么要做数仓建模数据仓库建模的目标是通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。
袁奎·2023-08-30 08:27

App系统架构实践

关于系统架构目前只有5种，分别是分层架构、微服务架构、微内核架构、云架构、事件驱动架构。而我认为适用于App的架构只有分层架构。分层架构一般分为3层或4层。对于中小型的App来说，3层架构已经足够了。
多来猫·2023-08-30 07:23

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）

表设计列式存储StarRocks的表和关系型数据相同,由行和列构成.每行数据对应用户一条记录,每列数据有相同数据类型.所有数据行的列数相同,可以动态增删列.StarRocks中,一张表的列可以分为维度列(也成为key列)和指标列(value列),维度列用于分组和排序,指标列可通过聚合函数SUM,COUNT,MIN,MAX,REPLACE,HLL_UNION,BITMAP_UNION等累加起来.因此
IT小神·2023-08-29 23:52

136.如何进行离线计算-2

的设计模式存在着两种类型的表：事实表维度表事实表：主题的客观度量能够以记录主题为准信息多不精准维度表：看问题分析问题的角度信息精但是不全可跟事实表关系维度建模三种常见模型星型模型一个事实表带多个维度表维度之间没关系数仓发展建立初期
大勇任卷舒·2023-08-29 15:07

什么是数据仓库？

数据仓库：DATAWAREHOUSE，简称数仓、DW。是一个用于存储、分析、报告的数据系统。目的是构建面向分析的集成化数据环境，为企业提供决策支持。
BigData_001_Lz·2023-08-29 09:17

大厂数仓模型规范与度量指标有哪些？

在数仓建设中，模型质量评价体系是一种重要的方法，用于评估数据模型的规范程度、数据质量和可信度。随着数据驱动的决策在企业中的重要性日益增加，数据仓库作为数据沟通和业务系统之间的中介，扮演着关键的角色。
南极找南·2023-08-29 07:25

维度建模：事实表

维度建模数仓领域中的事实表大致分以下三种：a.事务事实表b.周期快照事实表c.累计快照事实表一、事务事实表（稀疏表，相当于流水表）事务事实表记录的事务层面的事实，保存的是最原子的数据，也称“原子事实表”
惊不意外·2023-08-28 14:39

数仓--------简单了解

作者介绍：作者id：老秦包你会，简单介绍：喜欢学习C语言和python等编程语言，是一位爱分享的博主，有兴趣的小可爱可以来互讨个人主页::小小页面gitee页面:秦大大一个爱分享的小博主欢迎小可爱们前来借鉴数仓
老秦包你会·2023-08-28 08:38

线上问诊：业务数据采集

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步文章目录系列文章目录前言一、环境安装1.DataX二、全量同步1.DataX配置文件生成2.启动hadoop测试一下。
超哥--·2023-08-28 07:33

flinksql实时数仓

监听binlog上传到nsqnsq转kafka，flinksql获取kafkaTable聚合将结果写到hbaseimage.png--kafkacreatetabledw_dws_pay_stored_card_recharge(recharge_novarchar,kdt_idvarchar,hq_kdt_idvarchar,operator_namevarchar,recharge_timev
qwer__·2023-08-28 02:17

在云原生环境中构建可扩展的大数据平台：方法和策略

**分层架构设计：**4.**弹性计算资源：**5.**使用分布式计算框架：**6.**数据分区和分片：**7.**使用列式存储：**8.**缓存和数据预取：**9.**监控和优化：**10.
程序员 小侯·2023-08-28 01:26

《阿里云实时数仓Hologres最佳实践合集》

简介：《阿里云原生实时数仓Hologres最佳实践合集》电子书将会首次拆解HSAP核心原理，并介绍其在阿里巴巴双11核心场景落地的最佳实践。
阿里云Hologres·2023-08-27 22:38

使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

apache/incubator-doris欢迎大家关注加星本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中
hf200012·2023-08-27 15:08

QA：数仓中表的分层，怎样才合理？

由于没有正儿八紧地做过数仓开发，仅凭个人浅薄的理解来回答该问题。）在数仓中，对表进行分层，我理解有三层含义，其一是在物理资源上划分（存储资源&运算资源），其二是表名称上区隔，其三是使用权限上做切分。
老树之见·2023-08-27 13:53

伴鱼数据质量平台实践+DolphinScheduler调度

日常工作中，数据开发、数仓开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的BUG导致产出的数据结果不可信。
secretWHD·2023-08-27 13:34

数据治理中的有趣发现（一）

数据治理，一般来说，涉及数据获取的治理、数据流程治理、数仓模型治理、数据权限治理、指标体系治理、数据应用能力提升、分析框架治理、数据可视化方案治理等范畴。
老树之见·2023-08-27 06:45

OceanMind海睿思签约常州市建筑科学研究院，打造检验检测行业数字化转型标杆

双方将依托OceanMind海睿思提供的业内领先的业务驱动数据工程建设理念，为建科股份提供数据中台、主数据平台、智能数仓等产品与服务，从检验检测行业重点关注的多个维度入手，解
海睿思·2023-08-27 00:01

数仓建模综述

数据建模是数据开发工作中的核心与基石，好的模型体系好处很多：•降低成本：优秀的模型设计能够提升数据复用性，减少计算/存储资源浪费•提升开发效率：优秀的模型设计能够降低数据使用门槛，减少工作量•提升质量：优秀的模型设计能够保证数据口径一致，降低bug率数据建模的实现方式有很多，常用的比如ER模型，DataVault模型等。目前业界使用最多的模型是RalphKimball在《数据仓库工具》中提出的维度
精品资料学习库·2023-08-26 23:31

一键实现 Oracle 数据整库同步至 Apache Doris

在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，ApacheDoris用户也面临这样的挑战。
SelectDB技术团队·2023-08-26 19:37

K8S学习--Kubeadm-5-资源管理核心概念

–Kubeadm安装kubernetes-2-安装部署K8S学习–Kubeadm-3-dashboard部署和升级K8S学习–Kubeadm-4-测试运行Nginx+Tomcat1.k8s的设计理念—分层架构
KAIVI-Blog·2023-08-26 19:31

Android 可扩展的网络请求框架

分层架构：采用分层架构可以帮助您将不同功能模块分离开来，实现解耦合。常见的分层包括
Just_Paranoid·2023-08-26 16:21

离线数仓搭建流程以及遇到的问题Hadoop3.3.1-hive3.1.2-spark 3.3.1

目录简言数仓选型前期准备更改三个节点主机名:新增用户组以及用户：配置互信JDK安装mysql安装Zookeeper3.8安装Hadoop3.3.1搭建Hive3.1.3搭建Spark3.3.1安装想在idea
有风入弦·2023-08-26 09:16

采集项目和数仓项目的关系

1.介绍采集项目和数仓项目采集和数仓是企业数据管理平台的2个核心功能模块,相对独立,所以可以独立开发区别功能采集:数据的采集和传输数仓:数据的存储流程数据库->数据采集->数据仓库->可视化界面2.数据仓库什么是数仓
叫我莫言鸭·2023-08-26 04:00

StreamingWarehouse的一些思考和未来趋势

具备一些传统的实时和离线数仓不具备的特性，主要有几个方面：这些存储引擎是天然统一的批流一体存储。
王知无(import_bigdata)·2023-08-25 23:11

《从零开始学架构》读书笔记八：可扩展的模式

可扩展架构的核心思想基本可以总结为一个字：拆，按照不同的思路来拆分软件系统，就会得到不同架构，常见的拆分思路有三种：1.面向流程拆分（分层架构）2.面向服务拆分（SOA，微服务）3.面向功能拆分（微内核架构
李子悟·2023-08-25 22:35

性能全面飙升！StarRocks 在贝壳找房的极速统一实践

随着数据和业务规模的增长，传统数仓的分析能力面临很大的挑战，贝壳需要引入新兴的数据湖技术来支撑业务的发展。
StarRocks_labs·2023-08-25 19:45

尚硅谷大数据项目《在线教育之离线数仓》笔记004

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P049P050P051P052P053P054P055P056P057P058P059P060P061P062P063P064P065P066P067P068P069P070
upward337·2023-08-25 17:16

对比测试：Apache Pulsar 与 Kafka 在金融场景下的性能分析

背景ApachePulsar是下一代分布式消息流平台，采用计算存储分层架构，具备多租户、高一致、高性能、百万topic、数据平滑迁移等诸多优势。
StreamNative·2023-08-25 07:47
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他