数仓架构搭建第2页

新型大数据架构之湖仓一体（Lakehouse）架构特性说明——Lakehouse 架构（一）

湖仓一体（Lakehouse）——新的大数据架构模式同时具备数仓与数据湖的优点湖仓一体架构存储层计算层湖仓一体特性单一存储拥有数据仓库的查询性能存算分离开放式架构支持各种数据源类型支持各种使用方式架构简单数据共享

m0_74825238·2025-02-13 05:24

LNMP架构搭建

这是一套非常经典的架构模型，也是一名运维工程师必须要掌握的一项技能。在搭建以前一定要将自己所要架构的版本与开发人员对接起来，否则会出现版本不兼容的状态。我使用的是Linux7.6+nginx1.16.0+mysql5.7+php7.2,版本可能会有些老，但是一些企业还是会在使用，并且这些都是换汤不换药的，可以类比这些去搭建。值得注意的是，一定要注意搭建顺序，否则会发生软件相互找不到的情况。环境准备

到不了p8不改名·2025-02-12 20:40

2024年第一天基础入门-Web应用&架构搭建&域名源码&站库分离&MVC模型&解析受限&对应路径

#知识点：1、基础入门-Web应用-域名上的技术要点2、基础入门-Web应用-源码上的技术要点3、基础入门-Web应用-数据上的技术要点4、基础入门-Web应用-解析上的技术要点#章节点：(待补充)Web架构，App架构，小程序架构，前后端分离，容器技术，云产品服务，数据加解密算法，数据包抓取，数据包解析，正反向网络通讯，内外网通讯，防火墙出入站，Windows&Linux渗透命令，WAF产品，负

她比寒风冷·2025-02-12 04:22

基础入门-web应用

基础入门-Web应用&架构搭建&域名源码&站库分离&MVC模型&解析受限&对应路径#知识点：1、基础入门-Web应用-域名上的技术要点2、基础入门-Web应用-源码上的技术要点3、基础入门-Web应用-

她比寒风冷·2025-02-12 04:22

hive数仓的分层与建模

Hive数据仓库分层和数据建模是一种常见的数据仓库设计方法，旨在通过分层的方式组织数据，提高数据的可维护性、可复用性和查询性能。以下是关于Hive数据仓库分层和数据建模的详细知识：一、Hive数据仓库分层数据仓库通常采用分层架构，目的是将数据按照不同的处理阶段和用途进行划分，便于管理和优化。常见的分层架构包括以下四层：1.ODS（OperationalDataStore，操作数据存储层）作用：OD

korry24·2025-02-11 13:04

云计算能加速产品的上市时间吗？

尤其在IT架构搭建和资源配置的过程中，往往会遇到

云上的阿七·2025-02-09 23:20

数仓建模—企业数字化转型的本质

数仓建模—企业数字化转型的本质数字化转型与数字化、数字化建设、数字化管理到底有什么差别？企业的数字化建设重点关注哪两个层面的实现？数字化转型中的“转型”到底指的是什么？

不二人生·2025-02-09 15:00

StarRocks实战——贝壳找房数仓实践

1.2.3StarRocks的引入二、StarRocks在贝壳的分析实践2.1指标分析2.2实时业务2.3可视化分析三、未来规划3.1StarRocks集群的稳定性3.2StarRocks新特性采用原文大佬的这篇贝壳找房数仓实践的文章整体写的很深入

吵吵叭火·2025-02-08 19:00

大数据-267 实时数仓 - ODS Lambda架构 Kappa架构核心思想

点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！MyBatis更新完毕目前开始更新Spring，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）Cl

m0_74823336·2025-02-07 16:57

中国城商行信贷业务数仓建设白皮书（第二期：信贷主题域建模）

一、信贷业务主题域设计方法论1.1四维建模体系采用"AARRR+T"模型构建信贷数据关系网： ┌───────────┐ │客户获取 │ │(Acquisition)←───┐ └─────┬─────┘ │ ↓ │┌─────────────────┐││贷前评估 │││(Activation) ││└─────┬─────┐ ││ │ └──────┘│ ↓

abxzq19870214·2025-02-07 14:41

Hive日分区表如何快速导入到StarRocks

数仓规模60TB，FineBI数据集约8000个，BI挂出报表数约1600个，报表月增幅在40左右。

DawsonSally·2025-02-06 13:59

2天的Flink Forward Asia 有什么值得关注的点

流式湖仓和实时数仓是两回事啊。新鲜度上有很大的差别，前者

·2025-02-06 13:05

Hive分区和分桶

Hive分区和分桶两种用于优化查询性能的数据组织策略，数仓设计的关键概念，可提升Hive在读取大量数据时的性能。1分区（Partitioning）根据表的某列的值来组织数据。

码农小旋风·2025-02-03 14:51

活动火热报名中 | Data+AI 融合趋势下的智能数仓平台建设

MaxCompute作为阿里云最核心的核心战略级云数仓产品之一，在Data+AI融合趋势下，通过经典数据仓库能力定义与云数据架构的深刻理解，构建出面向下一代智能云数仓，并为用户提供了Data+AI一体化开发体验

·2025-02-02 11:34

Java 大视界 -- Java 大数据实时数仓的构建与运维实践（55）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。一、欢迎加入【福利社群

青云交·2025-02-02 05:40

大模型开发流程

架构搭建：搭建整体架构，搭建数据库，可以参考Halukisan/ModelDataBase:Es和向量数据库Milvus的构建与数据存储(github.com

HalukiSan·2025-02-01 19:39

Doris实战——特步集团零售数据仓库项目实践

3.2实时数据接入3.3数据加工3.4BI查询四、实时需求响应五、其他经验5.1DorisBE内存溢出5.2SQL任务超时5.3删除语句不支持表达式5.4Drop表闪回六、未来展望原文大佬的这篇Doris数仓建设案例有借鉴意义

吵吵叭火·2025-02-01 03:54

数仓ETL测试

提取，转换和加载有助于组织使数据在不同的数据系统中可访问，有意义且可用。ETL工具是用于提取，转换和加载数据的软件。在当今数据驱动的世界中，无论大小如何，都会从各种组织，机器和小工具中生成大量数据。在传统的编程方式中，ETL都提取并进行一些转换操作，然后将转换后的数据加载到目标数据库文件等。为此，需要用任何编程语言编写代码，如Java，C#，C++等。为了避免更多编码和使用库，将通过拖放组件来减少

星月情缘02·2025-01-30 03:15

数仓的数据加工过程-ETL

ETL代表ExtractTransform和Load。ETL将所有三个数据库功能组合到一个工具中，以从一个数据库获取数据并将其放入另一个数据库。提取：提取是从数据库中提取(读取)信息的过程。在此阶段，从多个或不同类型的来源收集数据。转换：转换是将提取的数据从之前的形式转换为所需形式的过程。数据可以放入另一个数据库。可以通过使用规则或查找表或将数据与其他数据组合来进行转换。加载：加载是将数据写入目标

星月情缘02·2025-01-30 02:08

【智慧水务】二供数仓功能架构

目录一、数据采集层（一）设备数据采集（二）水质数据采集（三）用户数据采集二、数据传输层（一）有线传输（二）无线传输三、数据存储层（一）原始数据存储（二）数据仓库存储四、数据分析层（一）实时数据分析（二）历史数据分析（三）预测性分析五、数据展示层（一）可视化界面（二）移动端应用六、系统管理层（一）用户权限管理（二）数据备份与恢复（三）系统维护与升级一、数据采集层（一）设备数据采集传感器数据：在二次供

大雨淅淅·2025-01-28 16:40

Mysql——主从复制、读写分离（值得一看）

)主从复制的工作过程(3)mysql主从复制高延迟的原因(4)mysql主从复制高延迟的解决办法3.常见的MySQL读写分离方式(1)基于程序代码内部实现(2)基于中间代理层实现二、MySQL主从复制架构搭建

老赵学coding·2025-01-28 15:02

常见的数仓架构模式

一、常见的数仓架构模式有：独立数据集市架构特点：这种架构下，每个部门或业务线根据自身需求构建独立的数据集市，数据集市通常规模较小，专注于特定的业务领域。

JJJJJJJJia·2025-01-28 14:24

分布式架构搭建

搭建分布式架构涉及多个方面，包括系统设计、网络架构、数据存储、服务拆分、负载均衡、容错处理等。基本步骤和考虑因素1、需求分析明确业务需求，包括系统的功能、性能、扩展性、安全性等要求。确定系统的用户规模、数据规模以及可能的增长趋势。2、系统设计微服务架构：将系统拆分为多个独立的服务，每个服务负责特定的业务功能。这有助于提高系统的可维护性和可扩展性。服务治理：使用服务注册与发现、负载均衡、熔断降级等机

ManchiBB·2025-01-28 03:43

【数仓】数据仓库高频面试题题英文版(1)

【数仓】数据仓库高频面试题题英文版(1)【数仓】数据仓库高频面试题题英文版(2)【数仓】数据仓库高频面试题题英文版(3)WhatisDataWarehouse?

和风与影·2025-01-27 01:13

服务行业的数据管理实践：TapData Cloud 如何助力连锁酒店物业的全球化运营优化

维护数据管道的诸多烦扰，轻量替代OGG,Kettle等同步工具，以及基于Kafka的ETL解决方案，「CDC+流处理+数据集成」组合拳，加速仓内数据流转，帮助企业将真正具有业务价值的数据作用到实处，将“实时数仓

·2025-01-25 10:01

数据仓库面试题集锦（附答案和数仓知识体系）

17、数仓架构为什么要分层？光阴似箭，岁月如刀。小编已经从刚毕业时堤上看风的白衣少年，变成了一个有五年开发经验的半老程序员。

2401_83703951·2025-01-25 03:19

分布式微服务搭建

分布式微服务架构搭建（举出一个项目搭建的例子，其他项目可参考本文档）基于Nginx作为web服务器、JDK作为Java运行环境、MySQL作为关系型数据库、Nacos作为服务发现和配置中心、Maven作为项目管理工具

Xi-Tong·2025-01-24 11:19

【Flink 实战系列】Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi

开发的变化数据获取组件（Changedatacapture），简单的说就是来捕获变更的数据，ApacheHudi是一个数据湖平台，又支持对数据做增删改查操作，所以FlinkCDC可以很好的和Hudi结合起来，打造实时数仓

JasonLee实时计算·2025-01-24 09:31

数仓建模—初识数据治理

数仓建模—初识数据治理随着企业数据爆炸式增长，企业在用数时，会存在数据孤岛问题、数据建设不规范指标口径不统一数据查询计算不稳定数据安全等问题。因而各个公司也开始了数据治理，推动数据规范建设及使用。

不二人生·2025-01-24 00:52

Vue3项目开发——新闻发布管理系统（八）

文章目录十、新闻管理模块设计开发1、新闻管理主页面设计1.1基本架构搭建1.1.1搜索表单1.1.2新闻主表格样式(静态数据模拟渲染)1.2新闻分类选择框1.2.1新建组件1.2.2页面中导入渲染1.2.3

bjzhang75·2025-01-23 22:08

用增结算数仓化改造：在/离线调度系统的构建与应用

导读移动运营推广平台（OPS）承载着百度内部移动应用/移动搜索业务的用户增长预算的全流程结算线上化管控功能，为了解决用增业务发展规模扩大、原有技术架构老旧、无离线数仓系统等一系列的问题，针对全域结算数据启动了整体的架构改造

百度Geek说·2025-01-22 23:39

看懂数仓：维度设计

一、维度的基本概念维度是维度建模的基础和灵魂。在维度建模中,将度量称为“事实”将环境描述为“维度”，维度是用于分析事实所需要的多样环境。例如在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。维度所包含的表示维度的列，称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。例如，在查询请求中，获取某类目的商品、正常状态的商品等，是通过约束商品类

剑客狼心·2025-01-22 18:32

数仓建模：维度表合并时，如何确保数据的完整性？

目录1.数据映射和合并规则2.数据清洗和转换3.数据完整性检查4.数据补全和关联5.数据验证和测试6.日志和监控往期精彩1.数据映射和合并规则思路：建立清晰的数据映射和合并规则，明确如何将源维度表的数据合并到目标维度表中，确保重要信息不丢失。具体操作：明确合并逻辑：对于要合并的维度表，确定每个字段的合并规则。例如，在合并dim_marketing_channel和dim_marketing_sou

莫叫石榴姐·2025-01-22 13:19

Databend 特性系列（1）｜Databend 数据生命周期

Databend是一个使用Rust研发、开源、完全面向云架构的新式数仓，提供极速的弹性扩展能力，致力于打造按需、按量的DataCloud产品体验。

Databend·2025-01-22 07:06

新一代实时神器-Fluss初识及部署

在作者看来，其实Fluss目前的主要替换者是Kafka，它的出现也是为了替换kafka在实时数仓链路中

本旺·2025-01-20 06:01

SS00023.PBpositions——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|

一、Griffin编译准备###---软件解压缩[root@hadoop02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software/griffin-griffin-0.5.0.zip[root@hadoop02~]#cd/opt/yanqi/software/[root@hadoop02software]#unzi

yanqi_vip·2025-01-19 21:30

一文读懂数据仓库构建流程（超详细）

相信大家都知道数仓分层架构（ods、dwd、dim、dws等）。

嗨皮一会吧·2025-01-19 15:41

数仓建模（五）选择数仓技术栈：Hive & ClickHouse & 其它

在大数据技术的飞速发展下，数据仓库（DataWarehouse，简称数仓）成为企业处理和分析海量数据的核心工具。

昊昊该干饭了·2025-01-19 08:45

关于大规模实时数仓搭建，我有几条心得...

现状闲鱼作为一款闲置交易APP，在二手交易市场中是当之无愧的佼佼者。闲鱼从2014年诞生到现在七整年间持续增长，在这高速增长的背后带来的是每天近百亿的曝光点击浏览等数据，在这些数据规模如此庞大的背后也会带来诸多关于实时性的问题：•用户反馈商品曝光异常，如何快速定位？•产品同学圈了一批商品，如何查看该样本的实时报表？•发现问题总是晚一步，如何在第一时间获取自定义的预警信息？•......为了解决上述

闲鱼技术·2025-01-19 06:28

集群间hive数仓迁移

方式一：(此方法需要建库建表)第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get/user/hive/warehouse/dc_ods.db

one code·2025-01-18 17:15

【数仓】数据质量监控

之前提到了数据质量：【数仓】数据质量我在面试中也碰到了数据质量的问题，没回答出来。今天学习一下数据质量监控原则。欢迎点击此处关注公众号。

和风与影·2025-01-18 13:15

大数据-257 离线数仓 - 数据质量监控监控方法 Griffin架构

点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已

武子康·2025-01-18 10:29

智能数据时代：如何优化数仓模型的复用性

在数仓岗位面试中，相信很多同学都频繁被问到“模型复用性”相关面试题。这个也是很多企业数仓建设中非常关注的问题，因为在企业数仓建设中数仓模型的复用性，更是有着多方面的关键意义。

Python编程杰哥·2025-01-18 00:44

数智化转型 | 星环科技Defensor 助力某银行数据分类分级

某银行作为数字化转型的先行者，面临着一项艰巨的任务：如何高效、准确地对分布在多个业务系统、业务库与数仓数湖中的约80万个字段进行数据分类和分级。

·2025-01-18 00:56

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

该农商行基于星环科技实时湖仓集一体平台，替代了Teradata数仓、Oracle数据平台和Hadoop数据湖三个平台，一体化架构同时满足数据湖海量汇集、复杂数仓模型

·2025-01-17 20:42

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。1.架构复杂性2.数据处理性能3.数据同步与更新4.资源利用率与成本6.生态系统与兼容性7.符合信创或国产化要求二、ODS层接入数据接入kafka实时数据踩坑的问题细节三、海豚调度器调度Doris进行报表开发创建带分区的表在doris进行开发调试开发海豚调度器脚本解决shell脚本使用MySQL命令行给

大模型大数据攻城狮·2025-01-17 19:56

数仓数据分层(ODS DWD DWS ADS)

ODSDWDDWSDWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务.DWS建模,一般使用主题建模,维度建模等方式主题建模,顾名思义,围绕某一个业务主体进行数据建模,将相关数据抽离提取出来.如,将流量会话按照天,月进行聚合将每日新用户进行聚合将每日活跃用户进行聚合维度建模,其实也差不多,不过是根据业务需

123 黑曼巴·2025-01-17 16:29

数仓数据分层(ODS DWD DWS ADS)换个角度看

数仓数据分层简介1.背景数仓是什么,其实就是存储数据,体现历史变化的一个数据仓库.因为互联网时代到来,基于数据量的大小,分为了传统数仓和现代数仓.传统数仓,使用传统的关系型数据库进行数据存储,因为关系型数据库本身可以使用

闻香识代码·2025-01-17 16:28

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

参考：万字详解数仓分层设计架构ODS-DWD-DWS-ADS数据分层的意义1、清晰数据结构2、数据血缘追踪3、数据复用，减少重复开发4、把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作

_Jordan·2025-01-17 16:56

数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS

青秋.·2025-01-17 15:17

推荐频道

数仓架构搭建