数仓项目学习第2页

中国城商行信贷业务数仓建设白皮书（第二期：信贷主题域建模）

一、信贷业务主题域设计方法论1.1四维建模体系采用"AARRR+T"模型构建信贷数据关系网： ┌───────────┐ │客户获取 │ │(Acquisition)←───┐ └─────┬─────┘ │ ↓ │┌─────────────────┐││贷前评估 │││(Activation) ││└─────┬─────┐ ││ │ └──────┘│ ↓

abxzq19870214·2025-02-07 14:41

Hive日分区表如何快速导入到StarRocks

数仓规模60TB，FineBI数据集约8000个，BI挂出报表数约1600个，报表月增幅在40左右。

DawsonSally·2025-02-06 13:59

2天的Flink Forward Asia 有什么值得关注的点

流式湖仓和实时数仓是两回事啊。新鲜度上有很大的差别，前者

·2025-02-06 13:05

Hive分区和分桶

Hive分区和分桶两种用于优化查询性能的数据组织策略，数仓设计的关键概念，可提升Hive在读取大量数据时的性能。1分区（Partitioning）根据表的某列的值来组织数据。

码农小旋风·2025-02-03 14:51

活动火热报名中 | Data+AI 融合趋势下的智能数仓平台建设

MaxCompute作为阿里云最核心的核心战略级云数仓产品之一，在Data+AI融合趋势下，通过经典数据仓库能力定义与云数据架构的深刻理解，构建出面向下一代智能云数仓，并为用户提供了Data+AI一体化开发体验

·2025-02-02 11:34

《苍穹外卖》项目学习记录-Day10订单状态定时处理

利用Cron表达式生成器生成Cron表达式1.处理超时订单查询订单表把超时的订单查询出来，也就是订单的状态为待付款，下单的时间已经超过了15分钟。//select*fromorderswherestatus=?andorder_timeupdateorderscancel_reason=#{cancelReason},rejection_reason=#{rejectionReason},canc

蝴蝶不愿意·2025-02-02 07:00

Java 大视界 -- Java 大数据实时数仓的构建与运维实践（55）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。一、欢迎加入【福利社群

青云交·2025-02-02 05:40

python 根据元素值获取span

我整理的一些关于【网页内容,HTML,python】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1用Python根据元素值获取在实际的网页开发与数据抓取中

大紫菜·2025-02-02 03:34

R语言安装zip包

我整理的一些关于【管理】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1如何在R语言中安装zip包作为一名刚入行的开发者，你可能对R语言中的包管理有些困惑

毕崇亮·2025-02-01 04:59

Doris实战——特步集团零售数据仓库项目实践

3.2实时数据接入3.3数据加工3.4BI查询四、实时需求响应五、其他经验5.1DorisBE内存溢出5.2SQL任务超时5.3删除语句不支持表达式5.4Drop表闪回六、未来展望原文大佬的这篇Doris数仓建设案例有借鉴意义

吵吵叭火·2025-02-01 03:54

李小白杂货铺·2025-01-31 13:58

docker desktop compose文件

我整理的一些关于【Docker】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/f2PFnNDockerDesktop与Compose文件使用指南Docker

叫我八吧·2025-01-31 09:26

数仓ETL测试

提取，转换和加载有助于组织使数据在不同的数据系统中可访问，有意义且可用。ETL工具是用于提取，转换和加载数据的软件。在当今数据驱动的世界中，无论大小如何，都会从各种组织，机器和小工具中生成大量数据。在传统的编程方式中，ETL都提取并进行一些转换操作，然后将转换后的数据加载到目标数据库文件等。为此，需要用任何编程语言编写代码，如Java，C#，C++等。为了避免更多编码和使用库，将通过拖放组件来减少

星月情缘02·2025-01-30 03:15

数仓的数据加工过程-ETL

ETL代表ExtractTransform和Load。ETL将所有三个数据库功能组合到一个工具中，以从一个数据库获取数据并将其放入另一个数据库。提取：提取是从数据库中提取(读取)信息的过程。在此阶段，从多个或不同类型的来源收集数据。转换：转换是将提取的数据从之前的形式转换为所需形式的过程。数据可以放入另一个数据库。可以通过使用规则或查找表或将数据与其他数据组合来进行转换。加载：加载是将数据写入目标

星月情缘02·2025-01-30 02:08

如何设计一个合理的vue前端项目架构

在最初的学习中，除了学习理论知识，还有就是看一些开源项目学习如何将vue应用到实际开发中。合理的项目架构设计是项目成功的基础之一。

叫我阿柒啊·2025-01-29 02:34

【智慧水务】二供数仓功能架构

目录一、数据采集层（一）设备数据采集（二）水质数据采集（三）用户数据采集二、数据传输层（一）有线传输（二）无线传输三、数据存储层（一）原始数据存储（二）数据仓库存储四、数据分析层（一）实时数据分析（二）历史数据分析（三）预测性分析五、数据展示层（一）可视化界面（二）移动端应用六、系统管理层（一）用户权限管理（二）数据备份与恢复（三）系统维护与升级一、数据采集层（一）设备数据采集传感器数据：在二次供

大雨淅淅·2025-01-28 16:40

Javaweb入门-Maven项目学习（Day2）

（一）Maven坐标maven中的坐标是资源的唯一标识，可以通过坐标唯一定义资源位置*使用坐标来定义项目或引入项目中需要的依赖*Maven坐标主要组成*groupld:定义当前Maven项目隶属组织名称（通常是域名的反写，eg:com.Ap）*artifactld:定义当前Maven项目的名称*version:定义当前项目版本号。（二）依赖传递传递依赖需要在pom.xml中指明版本，架包名称和gr

半截詩·2025-01-28 14:27

常见的数仓架构模式

一、常见的数仓架构模式有：独立数据集市架构特点：这种架构下，每个部门或业务线根据自身需求构建独立的数据集市，数据集市通常规模较小，专注于特定的业务领域。

JJJJJJJJia·2025-01-28 14:24

【数仓】数据仓库高频面试题题英文版(1)

【数仓】数据仓库高频面试题题英文版(1)【数仓】数据仓库高频面试题题英文版(2)【数仓】数据仓库高频面试题题英文版(3)WhatisDataWarehouse?

和风与影·2025-01-27 01:13

docker builds not a command

我整理的一些关于【Docker】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/xltfov理解Docker和构建过程中的命令问题：处理“dockerbuildsnotacommand

Zack Snyder·2025-01-26 04:26

服务行业的数据管理实践：TapData Cloud 如何助力连锁酒店物业的全球化运营优化

维护数据管道的诸多烦扰，轻量替代OGG,Kettle等同步工具，以及基于Kafka的ETL解决方案，「CDC+流处理+数据集成」组合拳，加速仓内数据流转，帮助企业将真正具有业务价值的数据作用到实处，将“实时数仓

·2025-01-25 10:01

数据仓库面试题集锦（附答案和数仓知识体系）

17、数仓架构为什么要分层？光阴似箭，岁月如刀。小编已经从刚毕业时堤上看风的白衣少年，变成了一个有五年开发经验的半老程序员。

2401_83703951·2025-01-25 03:19

【Flink 实战系列】Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi

开发的变化数据获取组件（Changedatacapture），简单的说就是来捕获变更的数据，ApacheHudi是一个数据湖平台，又支持对数据做增删改查操作，所以FlinkCDC可以很好的和Hudi结合起来，打造实时数仓

JasonLee实时计算·2025-01-24 09:31

数仓建模—初识数据治理

数仓建模—初识数据治理随着企业数据爆炸式增长，企业在用数时，会存在数据孤岛问题、数据建设不规范指标口径不统一数据查询计算不稳定数据安全等问题。因而各个公司也开始了数据治理，推动数据规范建设及使用。

不二人生·2025-01-24 00:52

用增结算数仓化改造：在/离线调度系统的构建与应用

导读移动运营推广平台（OPS）承载着百度内部移动应用/移动搜索业务的用户增长预算的全流程结算线上化管控功能，为了解决用增业务发展规模扩大、原有技术架构老旧、无离线数仓系统等一系列的问题，针对全域结算数据启动了整体的架构改造

百度Geek说·2025-01-22 23:39

看懂数仓：维度设计

一、维度的基本概念维度是维度建模的基础和灵魂。在维度建模中,将度量称为“事实”将环境描述为“维度”，维度是用于分析事实所需要的多样环境。例如在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。维度所包含的表示维度的列，称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。例如，在查询请求中，获取某类目的商品、正常状态的商品等，是通过约束商品类

剑客狼心·2025-01-22 18:32

数仓建模：维度表合并时，如何确保数据的完整性？

目录1.数据映射和合并规则2.数据清洗和转换3.数据完整性检查4.数据补全和关联5.数据验证和测试6.日志和监控往期精彩1.数据映射和合并规则思路：建立清晰的数据映射和合并规则，明确如何将源维度表的数据合并到目标维度表中，确保重要信息不丢失。具体操作：明确合并逻辑：对于要合并的维度表，确定每个字段的合并规则。例如，在合并dim_marketing_channel和dim_marketing_sou

莫叫石榴姐·2025-01-22 13:19

Databend 特性系列（1）｜Databend 数据生命周期

Databend是一个使用Rust研发、开源、完全面向云架构的新式数仓，提供极速的弹性扩展能力，致力于打造按需、按量的DataCloud产品体验。

Databend·2025-01-22 07:06

ubuntu安装Redis详细教程开机重启

我整理的一些关于【Ubuntu】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/f2PFnNUbuntu安装Redis详细教程（开机自动重启）在这篇文章中，

大熊苏尔·2025-01-22 03:34

新一代实时神器-Fluss初识及部署

在作者看来，其实Fluss目前的主要替换者是Kafka，它的出现也是为了替换kafka在实时数仓链路中

本旺·2025-01-20 06:01

SS00023.PBpositions——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|

一、Griffin编译准备###---软件解压缩[root@hadoop02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software/griffin-griffin-0.5.0.zip[root@hadoop02~]#cd/opt/yanqi/software/[root@hadoop02software]#unzi

yanqi_vip·2025-01-19 21:30

一文读懂数据仓库构建流程（超详细）

相信大家都知道数仓分层架构（ods、dwd、dim、dws等）。

嗨皮一会吧·2025-01-19 15:41

数仓建模（五）选择数仓技术栈：Hive & ClickHouse & 其它

在大数据技术的飞速发展下，数据仓库（DataWarehouse，简称数仓）成为企业处理和分析海量数据的核心工具。

昊昊该干饭了·2025-01-19 08:45

关于大规模实时数仓搭建，我有几条心得...

现状闲鱼作为一款闲置交易APP，在二手交易市场中是当之无愧的佼佼者。闲鱼从2014年诞生到现在七整年间持续增长，在这高速增长的背后带来的是每天近百亿的曝光点击浏览等数据，在这些数据规模如此庞大的背后也会带来诸多关于实时性的问题：•用户反馈商品曝光异常，如何快速定位？•产品同学圈了一批商品，如何查看该样本的实时报表？•发现问题总是晚一步，如何在第一时间获取自定义的预警信息？•......为了解决上述

闲鱼技术·2025-01-19 06:28

集群间hive数仓迁移

方式一：(此方法需要建库建表)第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get/user/hive/warehouse/dc_ods.db

one code·2025-01-18 17:15

【数仓】数据质量监控

之前提到了数据质量：【数仓】数据质量我在面试中也碰到了数据质量的问题，没回答出来。今天学习一下数据质量监控原则。欢迎点击此处关注公众号。

和风与影·2025-01-18 13:15

大数据-257 离线数仓 - 数据质量监控监控方法 Griffin架构

点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已

武子康·2025-01-18 10:29

智能数据时代：如何优化数仓模型的复用性

在数仓岗位面试中，相信很多同学都频繁被问到“模型复用性”相关面试题。这个也是很多企业数仓建设中非常关注的问题，因为在企业数仓建设中数仓模型的复用性，更是有着多方面的关键意义。

Python编程杰哥·2025-01-18 00:44

数智化转型 | 星环科技Defensor 助力某银行数据分类分级

某银行作为数字化转型的先行者，面临着一项艰巨的任务：如何高效、准确地对分布在多个业务系统、业务库与数仓数湖中的约80万个字段进行数据分类和分级。

·2025-01-18 00:56

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

该农商行基于星环科技实时湖仓集一体平台，替代了Teradata数仓、Oracle数据平台和Hadoop数据湖三个平台，一体化架构同时满足数据湖海量汇集、复杂数仓模型

·2025-01-17 20:42

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。1.架构复杂性2.数据处理性能3.数据同步与更新4.资源利用率与成本6.生态系统与兼容性7.符合信创或国产化要求二、ODS层接入数据接入kafka实时数据踩坑的问题细节三、海豚调度器调度Doris进行报表开发创建带分区的表在doris进行开发调试开发海豚调度器脚本解决shell脚本使用MySQL命令行给

大模型大数据攻城狮·2025-01-17 19:56

数仓数据分层(ODS DWD DWS ADS)

ODSDWDDWSDWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务.DWS建模,一般使用主题建模,维度建模等方式主题建模,顾名思义,围绕某一个业务主体进行数据建模,将相关数据抽离提取出来.如,将流量会话按照天,月进行聚合将每日新用户进行聚合将每日活跃用户进行聚合维度建模,其实也差不多,不过是根据业务需

123 黑曼巴·2025-01-17 16:29

数仓数据分层(ODS DWD DWS ADS)换个角度看

数仓数据分层简介1.背景数仓是什么,其实就是存储数据,体现历史变化的一个数据仓库.因为互联网时代到来,基于数据量的大小,分为了传统数仓和现代数仓.传统数仓,使用传统的关系型数据库进行数据存储,因为关系型数据库本身可以使用

闻香识代码·2025-01-17 16:28

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

参考：万字详解数仓分层设计架构ODS-DWD-DWS-ADS数据分层的意义1、清晰数据结构2、数据血缘追踪3、数据复用，减少重复开发4、把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作

_Jordan·2025-01-17 16:56

数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS

青秋.·2025-01-17 15:17

数仓实践：如何优雅的设计DWS层？

对于数仓的分层，大家最耳熟能详的就是基于OneData方法论的三层数仓划分，分别是：数据引入层（ODS，OperationalDataStore）、数据公共层（CDM，CommonDimenionsModel

云祁·2025-01-17 14:37

实时数仓方实际落地如何选型和构建

实时数仓方实际落地如何选型和构建一、为何需要实时数仓架构随着数字化进程的推进，企业产生的数据越来越多，与此同时企业对数据的需求也变得越来越复杂多样。

活在风浪里~·2025-01-17 04:15

YashanDB完成中国信通院关系型数据库安全能力专项测试

YashanDB产品简介崖山数据库系统是深圳计算科学研究院(简称“深算院”)和深圳崖山科技有限公司(简称“崖山科技”)自主研发设计的新型数据库管理系统，提供包括单机主备、共享集群、空间数据库、分布式实时数仓等系列数据库产品及配套开发

·2025-01-16 18:20

数据仓库介绍

数据仓库数据仓库的概念数据仓库的主要特征数据仓库的主流开发语言-sql结构化数据sql语句数据仓库的概念数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统

阿龙的代码在报错·2024-09-15 16:08

SQLite的入门级项目学习记录（二）

再补充一些基础知识：并行操作的问题1、可以多游标同时运行SQLite，对于同一个连接sqlite3.connect(db_file)，可以同时创建多个游标，每个游标都是独立的，可以执行各自的SQL命令序列。importsqlite3#创建数据库连接conn=sqlite3.connect('example.db')#创建第一个游标cursor1=conn.cursor()cursor1.execu

深蓝海拓·2024-09-15 16:38

推荐频道

数仓项目学习