数仓模型设计第25页

尚硅谷线上问诊离线数仓项目

项目共分四大部分：数仓建模原理介绍、数仓模型搭建、DolphinScheduler全流程调度、SuperSet可视化大屏展示，以线上问诊采集项目为前置基础，使用线上问诊采集项目的基础架构，将数据导入数仓中

尚硅谷铁粉·2023-09-01 18:46

大数据线上问诊实时数仓项目

尚硅谷线上问诊实时数仓项目延续了离线数仓的业务逻辑，以线上问诊开处方为基础业务逻辑，真实表现了线上问诊数据的实时分析统计。

尚硅谷铁粉·2023-09-01 18:46

线上问诊：数仓开发(一)

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)文章目录系列文章目录前言一、Hiveonyarn二、数仓开发1.ODS开发2.DIM开发3.DWD开发总结前言上次我们已经将

超哥--·2023-09-01 18:12

说说Omega架构

分析&回答Omega架构我们暂且称之为混合数仓。什么是ECS设计模式在谈我们的解法的时候，必须要先提ECS的设计模式。简单的说，Entity、Component、System分别代表了三类模型。

学一次·2023-09-01 17:43

新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单！

近期，在ClickHouse发起的分析型数据库性能测试排行榜ClickBench中，新一代云原生数仓SelectDB强势登顶，性能表现超越一众国内外产品，多项指标排行前列，并在业界最为通用的c6a.4xlarge

张家锋·2023-09-01 17:35

【大数据】数据湖：下一代大数据的发展趋势

下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结1.7实时数仓建设需求

G皮T·2023-09-01 16:24

互联网大厂技术-elasticsearch(es)- 在数据量很大的情况下（数十亿级别）提高查询效率

elasticsearch(es)-在数据量很大的情况下（数十亿级别）提高查询效率目录一、问题分析二、问题剖析三、性能优化的杀手锏(filesystemcache)四、数据预热五、冷热分离六、document模型设计七

码者人生·2023-09-01 11:33

说说Kappa架构

分析&回答对于实时数仓而言，Lmabda架构有很明显的不足，首先同时维护两套系统，资源占用率高，其次这两套系统的数据处理逻辑相同，代码重复开发。

学一次·2023-09-01 06:56

FMT正式版，发布倒计时！

FMT（全称FirmamentAutopilot）是首个基于模型设计的开源自驾仪系统。自2016年立项以来的近七年的时间里，FMT持续完善，经过了数千次Commit。

阿木实验室·2023-08-31 16:45

实时数仓构建新思路，NineData数据复制技术详解

8月30日，由NineData和SelectDB共同举办的主题为“实时数据驱动，引领企业智能化数据管理”的线上联合发布会，圆满成功举办！双方聚焦于实时数据仓库技术和数据开发能力，展示如何通过强大的生态开发兼容性，对接丰富的大数据生态产品，助力企业快速开展数据分析业务，共同探索实时数据驱动的未来企业智能化数据管理解决方案。本文根据玖章算术技术副总裁陈长城（天羽）在NineDataXSelectDB联

·2023-08-31 16:55

『Newsletter 丨第二期』PieCloudDB Database 新增控制台、LDAP 支持、虚拟数仓日志等多项功能

·2023-08-31 14:51

Apache Doris (一) ：Doris 介绍及使用场景

目录1.ApacheDoris介绍2.ApacheDoris使用场景2.1报表分析2.2即席查询（Ad-hocQuery）2.3统一数仓构建2.4数据湖联邦查询进入正文之前，欢迎订阅专题、对博文点赞、评论

IT贫道·2023-08-31 13:24

数据仓库(13)大数据数仓经典最值得阅读书籍推荐

从事数仓工作，在工作学习过程也看了很多数据仓库方面的数据，此处整理了数仓中经典的，或者值得阅读的书籍，推荐给大家一下，希望能帮助到大家。建议收藏起来，后续有新的书籍清单会更新到这里。

·2023-08-31 10:23

数据仓库(12)数据治理之数仓数据管理实践心得

这边文章聊聊自己对数据治理开发实践的一些思路，就是聊聊怎么开始去做数据治理这件事情。说起数据治理，有时候虽然看了很多文章，看了很多的介绍，了解数据治理的理论，但是实际上需要我们去搞的时候，就会踩很多的坑。这里记一下自己做数据治理的一些思路，做做笔记，也分享给需要的同学。当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：数据仓库(11)什

·2023-08-31 10:23

说说构建流批一体准实时数仓

分析&回答基于Hive的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。

学一次·2023-08-31 07:50

电商数仓项目需求及架构设计

一、项目需求1.用户行为数据采集平台搭建2.业务数据采集平台搭建3.数仓维度建模4.统计指标5.即席查询工具，随时进行指标分析6.对集群性能进行监控，发生异常时报警（第三方信息）7.元数据管理8.质量监控

BigData_001_Lz·2023-08-31 05:28

融入数据浪潮，KaiwuDB 期待与您共赴 DTCC 2023

大会以“数智赋能共筑未来”为主题，设置2大主会场，20＋技术专场，邀请超百位行业专家，重点围绕HTAP与多模数据库应用、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨。

KaiwuDB·2023-08-30 23:10

Yolov8-pose关键点检测：模型轻量化设计 | 模型压缩率从6842降低到1018，GFLOPs从9.6降低至2.2

本文解决什么问题：Yolov8-pose关键点检测轻量级模型设计轻量化模型设计：模型压缩率从6842降低到1018，GFLOPs从9.6降低至2.2，mAP50从0.921变为0.92（几乎不变）Yolov8

AI小怪兽·2023-08-30 18:41

Databend 开源周报第 108 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。

Databend·2023-08-30 09:33

数据仓库_数仓常见的数据模型

转载自：大数据开发：数仓建模常见数据模型-腾讯云开发者社区-腾讯云在数据仓库搭建的过程当中，根据需求合理地选择数据模型，是非常关键的一个环节。

高达一号·2023-08-30 08:59

数仓设计_数仓中的三种事实表

一篇文章搞懂数据仓库：三种事实表（设计原则，设计方法、对比）-腾讯云开发者社区-腾讯云事实表的三种类型，事务事实表，周期快照事实表，累计快照事实表事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。1、三种事实表概述事实表有三种类型:事务事实表、周期快照事实表和累积快照事实表。1.1事务事实表也称原子事实表，

高达一号·2023-08-30 08:59

数据仓库_数据仓库_缓慢渐变维度实现的几种思路

数仓缓慢渐变维度表设计，另一篇比较好的文章结合实际案例数仓建设-缓慢变化维的10种处理方式_雾岛与鲸的博客-CSDN博客缓慢渐变维度：维度数据会随着时间发生变化，变化速度比较缓慢，这种维度数据通常称作缓慢渐变维

高达一号·2023-08-30 08:29

Hive/数据仓库_Hive 中如何生成代理键

前提：数仓中的维度，事实表技术提倡用代理键代替实体键，下面我们讲解下代理键的概念，以及Hive中如何生成代理键(自增列)代理键：维度表中必须有一个能够唯一标识一行记录的列，通过该列维护维度表与事实表之间的关系

高达一号·2023-08-30 08:28

数据仓库总结

1.为什么要做数仓建模数据仓库建模的目标是通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。

袁奎·2023-08-30 08:27

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）

表设计列式存储StarRocks的表和关系型数据相同,由行和列构成.每行数据对应用户一条记录,每列数据有相同数据类型.所有数据行的列数相同,可以动态增删列.StarRocks中,一张表的列可以分为维度列(也成为key列)和指标列(value列),维度列用于分组和排序,指标列可通过聚合函数SUM,COUNT,MIN,MAX,REPLACE,HLL_UNION,BITMAP_UNION等累加起来.因此

IT小神·2023-08-29 23:52

136.如何进行离线计算-2

的设计模式存在着两种类型的表：事实表维度表事实表：主题的客观度量能够以记录主题为准信息多不精准维度表：看问题分析问题的角度信息精但是不全可跟事实表关系维度建模三种常见模型星型模型一个事实表带多个维度表维度之间没关系数仓发展建立初期

大勇任卷舒·2023-08-29 15:07

什么是数据仓库？

数据仓库：DATAWAREHOUSE，简称数仓、DW。是一个用于存储、分析、报告的数据系统。目的是构建面向分析的集成化数据环境，为企业提供决策支持。

BigData_001_Lz·2023-08-29 09:17

大厂数仓模型规范与度量指标有哪些？

在数仓建设中，模型质量评价体系是一种重要的方法，用于评估数据模型的规范程度、数据质量和可信度。随着数据驱动的决策在企业中的重要性日益增加，数据仓库作为数据沟通和业务系统之间的中介，扮演着关键的角色。

南极找南·2023-08-29 07:25

YoloV8改进策略：Conv2Former与YoloV8深度融合，极简网络，极高性能

静静AI学堂·2023-08-28 22:26

自然语言处理实战项目16- 基于CPU的大语言模型的实战训练全流程指导，模型调优与评估

目录1.生成式大语言模型构建2.数据加载模型设计3.模型训练函数4.训练类和参数设置5.开始训练1.生成式大语言

微学AI·2023-08-28 20:40

维度建模：事实表

维度建模数仓领域中的事实表大致分以下三种：a.事务事实表b.周期快照事实表c.累计快照事实表一、事务事实表（稀疏表，相当于流水表）事务事实表记录的事务层面的事实，保存的是最原子的数据，也称“原子事实表”

惊不意外·2023-08-28 14:39

数仓--------简单了解

作者介绍：作者id：老秦包你会，简单介绍：喜欢学习C语言和python等编程语言，是一位爱分享的博主，有兴趣的小可爱可以来互讨个人主页::小小页面gitee页面:秦大大一个爱分享的小博主欢迎小可爱们前来借鉴数仓

老秦包你会·2023-08-28 08:38

线上问诊：业务数据采集

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步文章目录系列文章目录前言一、环境安装1.DataX二、全量同步1.DataX配置文件生成2.启动hadoop测试一下。

超哥--·2023-08-28 07:33

进销存系统的数据建模

1.2概念模型设计下面以销售分析为例进行概念模型设计，具体如下：1)界定销售分析系统边界建立销

a66889999·2023-08-28 05:28

flinksql实时数仓

监听binlog上传到nsqnsq转kafka，flinksql获取kafkaTable聚合将结果写到hbaseimage.png--kafkacreatetabledw_dws_pay_stored_card_recharge(recharge_novarchar,kdt_idvarchar,hq_kdt_idvarchar,operator_namevarchar,recharge_timev

qwer__·2023-08-28 02:17

《阿里云实时数仓Hologres最佳实践合集》

简介：《阿里云原生实时数仓Hologres最佳实践合集》电子书将会首次拆解HSAP核心原理，并介绍其在阿里巴巴双11核心场景落地的最佳实践。

阿里云Hologres·2023-08-27 22:38

使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

apache/incubator-doris欢迎大家关注加星本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中

hf200012·2023-08-27 15:08

QA：数仓中表的分层，怎样才合理？

由于没有正儿八紧地做过数仓开发，仅凭个人浅薄的理解来回答该问题。）在数仓中，对表进行分层，我理解有三层含义，其一是在物理资源上划分（存储资源&运算资源），其二是表名称上区隔，其三是使用权限上做切分。

老树之见·2023-08-27 13:53

伴鱼数据质量平台实践+DolphinScheduler调度

日常工作中，数据开发、数仓开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的BUG导致产出的数据结果不可信。

secretWHD·2023-08-27 13:34

数据治理中的有趣发现（一）

数据治理，一般来说，涉及数据获取的治理、数据流程治理、数仓模型治理、数据权限治理、指标体系治理、数据应用能力提升、分析框架治理、数据可视化方案治理等范畴。

老树之见·2023-08-27 06:45

OceanMind海睿思签约常州市建筑科学研究院，打造检验检测行业数字化转型标杆

双方将依托OceanMind海睿思提供的业内领先的业务驱动数据工程建设理念，为建科股份提供数据中台、主数据平台、智能数仓等产品与服务，从检验检测行业重点关注的多个维度入手，解

海睿思·2023-08-27 00:01

数仓建模综述

数据建模是数据开发工作中的核心与基石，好的模型体系好处很多：•降低成本：优秀的模型设计能够提升数据复用性，减少计算/存储资源浪费•提升开发效率：优秀的模型设计能够降低数据使用门槛，减少工作量•提升质量：

精品资料学习库·2023-08-26 23:31

一键实现 Oracle 数据整库同步至 Apache Doris

在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，ApacheDoris用户也面临这样的挑战。

SelectDB技术团队·2023-08-26 19:37

离线数仓搭建流程以及遇到的问题Hadoop3.3.1-hive3.1.2-spark 3.3.1

目录简言数仓选型前期准备更改三个节点主机名:新增用户组以及用户：配置互信JDK安装mysql安装Zookeeper3.8安装Hadoop3.3.1搭建Hive3.1.3搭建Spark3.3.1安装想在idea

有风入弦·2023-08-26 09:16

采集项目和数仓项目的关系

1.介绍采集项目和数仓项目采集和数仓是企业数据管理平台的2个核心功能模块,相对独立,所以可以独立开发区别功能采集:数据的采集和传输数仓:数据的存储流程数据库->数据采集->数据仓库->可视化界面2.数据仓库什么是数仓

叫我莫言鸭·2023-08-26 04:00

领域建模之数据模型设计方法论

本文通过实际业务需求场景建模案例，为读者提供一种业务模型向数据模型设计的方法论，用于指导实际开发中如何进行业务模型向数据模型转化抽象，并对设计的数据模型可用性、扩展性提供了建议性思考。

2301_78385600·2023-08-26 00:40

StreamingWarehouse的一些思考和未来趋势

具备一些传统的实时和离线数仓不具备的特性，主要有几个方面：这些存储引擎是天然统一的批流一体存储。

王知无(import_bigdata)·2023-08-25 23:11

二甲医院信息管理系统源码 his系统源码 java+Angular+JavaScript

HIS系统特性：设计：后台按领域模型设计，前台按业务模块设计，支持集团化管理，以快速满足业务应用为主导；技术：后台采用java开发技术，前端由Angular语

淘源码d·2023-08-25 22:41

性能全面飙升！StarRocks 在贝壳找房的极速统一实践

随着数据和业务规模的增长，传统数仓的分析能力面临很大的挑战，贝壳需要引入新兴的数据湖技术来支撑业务的发展。

StarRocks_labs·2023-08-25 19:45

尚硅谷大数据项目《在线教育之离线数仓》笔记004

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P049P050P051P052P053P054P055P056P057P058P059P060P061P062P063P064P065P066P067P068P069P070

upward337·2023-08-25 17:16

推荐频道

数仓模型设计