数仓分层架构

02 | 架构分层：我们为什么一定要这么做？

什么是分层架构软件架构分层在软件工程中是一种常见的设计方式，它是将整体系统
逗逼程序员·2023-09-26 13:19

Spark或Hive数仓生命周期管理

在做数仓开发过程中，遇到一个问题就是随着数据量增大，存储空间增加惊人：hdfs的文件要存3份（可以修改副本份数），ods、dwd、dws、ads等各层都需要存储空间，指标计算过程如果内存不够又会缓冲在硬盘
大模型大数据攻城狮·2023-09-26 06:50

六边形架构原文翻译：Hexagonal Architecture: three principles and an implementation example

六边形架构也是一种架构风格，但与分层架构不同，六边形架构
MQLYES·2023-09-26 05:11

CC00055.pbpositions——|Hadoop&PB级数仓.V13|——|PB数仓.v13|核心交易分析|DWS层建表|加载数据|

一、DWS层建表及数据加载说明###---DIM、DWD=>数据仓库分层、数据仓库理论~~~#需求：计算当天~~~全国所有订单信息~~~全国、一级商品分类订单信息~~~全国、二级商品分类订单信息~~~大区所有订单信息~~~大区、一级商品分类订单信息~~~大区、二级商品分类订单信息~~~城市所有订单信息~~~城市、一级商品分类订单信息~~~城市、二级商品分类订单信息###---需要的信息：订单表、订
yanqi_vip·2023-09-25 21:38

大数据-案例-离线数仓-在线教育：MySQL(业务数据)-ETL(Sqoop)-＞Hive数仓【ODS层-数据清洗-＞DW层(DWD-统计分析-＞DWS)】-导出(Sqoop)-＞MySQL-＞可视化

一、商业BI系统概述商业智能系统，通常简称为商业智能系统，是商业智能软件的简称，是为提高企业经营绩效而采用的一系列方法、技术和软件的总和。通常被理解为将企业中的现有数据转换为知识并帮助企业做出明智的业务决策的工具。BI系统中的数据来自企业的其他业务系统。例如，一个面向业务的企业，其业务智能系统数据包括业务系统订单、库存、交易账户、客户和供应商信息，以及企业所属行业和竞争对手的数据，以及其他外部环境
u013250861·2023-09-25 21:37

【离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计】

离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计一、DWS层设计要点二、DWS层设计分析-1d/nd1.DWS层设计一
Apache Minor Trend·2023-09-25 21:37

一百八十五、大数据离线数仓完整流程——步骤四、在Hive的DWD层建动态分区表并动态加载数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 21:07

一百八十七、大数据离线数仓完整流程——步骤六、在ClickHouse的ADS层建表并用Kettle同步Hive中DWS层的结果数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 21:07

一百八十四、大数据离线数仓完整流程——步骤三、在Hive中建基础库维度表并加载MySQL中的维度表数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 21:06

离线数仓问题总结

一、采集1.1maxwell中的默认JDBC驱动包其版本不适用于MySQL5.7版本二、数仓2.1关于hive如何支持json类型的字段主要在建表语句上指定上DROPTABLEIFEXISTSods_log_inc
落花雨时·2023-09-25 20:36

离线数仓——（活跃用户ODS层建表及加载数据，活跃用户DWD层建表及加载数据，活跃用户DWS层建表及加载数据，活跃用户ADS层建表及加载数据）

文章目录活跃用户ODS层建表及数据加载活跃用户DWD层建表及加载数据活跃用户活跃用户DWS层建表及加载数据活跃用户ADS层建表及加载数据活跃用户ODS层建表及数据加载离线数仓架构如下图所示：详细概念参考数据仓库
想做CTO的任同学...·2023-09-25 20:36

2——Hive数仓项目完整流程（在线教育）

在线教育（二）在线教育（二）在线教育（二）一、教育项目数仓分层1.1原有基础分层1.2教育项目分层二、数仓工具的使用2.1HUE的使用2.2Sqoop的使用三、全部流程3.1全量数据流程3.1.1需求分析
@—笨小孩—@·2023-09-25 20:06

离线数仓的概述

1、数仓的概述数仓主要是用于数据的存储、管理和分析数仓与关系型数据库最大的区别在于能够存储历史数据,后续可以将数据按照时间曲线分析。
m0_37759590·2023-09-25 20:05

离线数仓 (十四) --------- DWS 层搭建

目录一、系统函数1.nvl函数2.日期处理函数3.复杂数据类型定义二、DWS层1.访客主题2.用户主题3.商品主题4.优惠券主题5.活动主题6.地区主题7.DWS层首日数据装载脚本8.DWS层每日数据装载脚本一、系统函数1.nvl函数A、基本语法NVL(表达式1，表达式2)如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。该函数的目的是把一个空值(null)转换成一个实际的值。
在森林中麋了鹿·2023-09-25 20:05

黑马Hive+Spark离线数仓工业项目--数仓维度层DWS层构建（2）

日期时间维度设计目标：掌握日期时间维度的需求与设计路径-step1：需求-step2：设计实施需求：构建日期时间维度表，得到所有年、季度、月、周、日的维度信息统计不同时间维度下的呼叫次数、工单数、维修数、安装数、报销金额、核销数等设计-数据来源：提前通过程序生成构建，不是从数据中抽取-执行周期：每一年生成下一年的每一天的维度信息，**增量**同步到维度表的分区中日期时间维度构建目标：实现日期时间维
骨灰级收藏家·2023-09-25 20:34

【大数据课程】高途课程实践-Day02：利用Hive SQL编写离线数仓实现可视化展示...

〇、概述1、实现内容使用HiveSQL编程，构造分层离线数仓并可以通过QuickBi进行展示2、过程(1)数据接⼊到ODS层(2)进⾏ODS到DWD层数据开发(3)进⾏ODS到DIM层数据开发a.创建【
哥们要飞·2023-09-25 20:34

一百八十六、大数据离线数仓完整流程——步骤五、在Hive的DWS层建动态分区表并动态加载数据

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-25 20:01

天软特色因子看板 (2023.09 第08期)

针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。请持续关注天软课堂动态，将为大家带来更精彩的内容。
Tinysoft_SH·2023-09-25 19:45

A股风格因子看板 (2023.09 第08期)

针对市场上高频行情数据处理业务的相关痛点，直观的在线演示如何通过天软高频数仓及高性能计算能力，将其逐个击破，期待各位老师的参会。请持续关注天软课堂动态，将为大家带来更精彩的内容。
Tinysoft_SH·2023-09-25 19:12

数仓命名规范

1.词根设计规范词根属于数仓建设中的规范，属于元数据管理的范畴，现在把这个划到数据治理的⼀部分。
后季暖·2023-09-25 16:15

实时数仓 Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍Hologres推出计算组实例Hologres支持JSON数据Hologres向量计算+大模型能力Hologre
·2023-09-25 15:09

ELT in ByteHouse 实践与展望

传统的数据转换过程一般采用Extract-Transform-Load(ETL)来将业务数据转换为适合数仓的数据模型
字节数据平台·2023-09-25 11:15

[架构之路-221]：鸿蒙系统和安卓系统的比较：微内核VS宏内核， 分布式VS单体式

目录一、鸿蒙系统和安卓系统的系统架构1.1鸿蒙系统的分层架构1.2安卓系统的分层架构1.3鸿蒙系统和安卓系统是操作系统吗？
文火冰糖的硅基工坊·2023-09-25 07:20

Tensorflow1架构内核和学习方法论

目录概念简介总体介绍名词解释疑问辨析工程构建代码生成技术栈模型类型系统架构分层架构图控制运行机制会话机制队列运行模型本地模式分布式模式技能方法论发现领域模型挖掘系统架构细节是魔鬼适可而止发现她的美形式化独乐乐
数据与后端架构提升之路·2023-09-25 07:20

Flink双流join的3种方式及IntervalJoin源码分析

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料117篇原创内容公众号概述在数据库中的静态表上做OLAP分析时，两表join是非常常见的操作。
hyunbar·2023-09-25 06:22

【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWD和DIM

DWD和DIM1.需求分析及实现思路1.1分层需求分析1.2每层的职能1.3DWD层数据准备实现思路2.环境搭建3.准备用户行为日志DWD层3.1主要任务3.1.1识别新老用户3.1.2利用侧输出流实现数据拆分3.1.3将不同流的数据推送下游的Kafka的不同Topic中3.2代码实现3.2.1接收Kafka数据，并进行转换3.2.2识别新老访客3.2.3利用侧输出流实现数据拆分3.2.4将不同流
在学习的王哈哈·2023-09-25 04:49

尚硅谷大数据项目《在线教育之实时数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第06章数据仓库环境准备P006P007P008P009P010P011P012P013P014第06章数据仓库环境准备P006P007P008http
upward337·2023-09-25 04:19

了解过什么是 DDD吗？一文带你掌握！（至尊典藏版）

1.2DDD作用2.DDD架构2.1DDD分层架构2.2各层数据转换3.DDD基础编辑3.1领域和子域3.2核心域、通用域和支撑域3.3通用语言和限界上下文3.3.1通用语言3.3.2限界上下文3.4实体和值对象
海棠Flower未眠·2023-09-24 23:10

酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产

近日，业界领先的国产企业级云数仓厂商酷克数据发布了下一代In-Database高级分析和数据科学工具箱HashML，在业内率先实现为企业提供随数仓部署一步到位、开箱即用的AI能力。
HashData酷克数据·2023-09-24 21:05

5W字讲解最新大数据面试题

本文目录：一、Hadoop二、Hive三、Spark四、Kafka五、HBase六、Flink七、数仓业务方面八、算法HadoopHadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架
无精疯·2023-09-24 20:59

云数据库的无服务化

当前，云上服务的无服务化是一个大趋势，在应用程序方面有Lambda，在一些数据分析工具和服务上，AWS也都推出了无服务版本，例如ETL服务Glue，数仓服务Redshift，Hadoop服务EMR，本篇文章针对无服务化的云数据库
ladofwind·2023-09-24 16:37

Flink 对线面试官：6 个面试高频实战问题

:star:架构设计的能力：在实时数仓的分层设计中，具体的分层设计方案是怎样的？和离线数仓又有什么区别？你设计的实时
十一技术斩·2023-09-24 16:52

大数据-数仓分层之DWD

一、DWD层描述脚本：1）对用户行为数据解析。2）对核心数据进行判空过滤。3）对业务数据采用维度模型重新建模。1.1日志分析1.1.1用户行为日志解析（1）页面埋点日志（2）启动日志1.1.2get_json_object函数使用1）数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2）取出第一个js
爱搞技术的吴同学·2023-09-24 14:44

大数据-数仓分层之ADS

ADS层描述ads层主要就是最后需要分析的数据，可以从各种纬度，这就需要根据业务来判断最后选择哪一些纬度来进行分析，比如经典的就是，根据地区来展示地图，看每个地区的人每天的下单数量，或者一段时间内的下单数量到这一层直接启动脚本就可以了：[root@hadoop102bin]$dwt_to_ads.sh2020-06-18
爱搞技术的吴同学·2023-09-24 14:44

Datax从mysql同步数据到HDFS

在实际使用Datax的时候，比较常用的是同步业务数据（mysql中的数据）到HDFS来实现数仓的创建，那么怎么实现呢？
一杯咖啡半杯糖·2023-09-24 13:47

数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设

应用实践|数仓体系效率全面提升！同程数科基于ApacheDoris的数据仓库建设导读：同程数科成立于2015年，是同程集团旗下的旅游产业金融服务平台。
SelectDB技术团队·2023-09-24 10:10

大数据杂谈

架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务，深入思考会排错查看日志学会查阅官方文档定目标做分享所学知识运用到实际项目中番外数据湖是数仓的增强版本格式管理数据管理时间旅行
February13·2023-09-24 08:26

订单正逆向流程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档订单的正逆向流程前言针对零售行业数仓中订单业务相关的一些业务流程节点介绍正文总结前言提示：这里可以添加本文要记录的大概内容：针对零售行业数仓中订单业务相关的一些业务流程节点介绍提示
February13·2023-09-24 08:55

ETLCloud助力富勒TMS实现物流数仓同步

富勒TMS提供了多种运输管理业务的解决方案，极大的方便了企业对物流的管理和人力输出，同时提供了大量的API接口，供用户做数据集成和数仓同步。
ETLCloud数据集成社区·2023-09-24 06:50

数据仓库整理

数仓olapvsoltpOLTP主要用于支持日常的业务操作，如银行交易、电子商务等，强调数据的准确性、实时性和并发性。
haobu枳·2023-09-24 04:17

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

企业最常见的做法就是通过构建实时数仓来满足对数据的快速探索。
Flink中文社区·2023-09-23 21:48

Spring常见面试题

框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为J2EE应用程序开发提供集成的框架。Spring使用基本的JavaBean来完成以前只可能由EJB完成的事情。
Softnothings·2023-09-23 17:19

2023-2024年最新大数据学习路线

文章目录2023-2024年最新大数据学习路线大数据开发入门*01*阶段案例实战大数据核心基础*02*阶段案例实战千亿级数仓技术*03*阶段项目实战PB级内存计算04阶段项目实战亚秒级实时计算*05*阶段项目实战大厂面试
Maynor996·2023-09-23 17:08

实时数仓新选择——Doris构建实时数仓落地方案详解

一、实时数据仓库概述**首先，**我们从数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。数据仓库之父BillInmon在1991年出版的《BuildingtheDatlaWarehouse》一书中首次提出了数据仓库的概念。Inmon将数据仓库描述为一个面向
胖胖胖胖胖虎·2023-09-23 13:32

大数据项目实战之数据仓库：电商数据仓库系统——第10章 数仓开发之DWS层

文章目录第10章数仓开发之DWS层10.1最近1日汇总表10.1.1交易域用户商品粒度订单最近1日汇总表10.1.2交易域用户商品粒度退单最近1日汇总表10.1.3交易域用户粒度订单最近1日汇总表10.1.4
yiluohan0307·2023-09-23 13:29

华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

专题日上，还重磅发布实时数仓新品。大会的精彩内容，让我们一起来看下吧！大数据技术普惠创新，释放千
数据湖洞见·2023-09-23 10:37

同一份数据全域共享，HashData UnionStore实时性背后的故事

时至今日，数据已经被越来越多的企业视为发展的战略资源，而云数仓则是数据发挥重要价值的关键媒介。
HashData酷克数据·2023-09-23 09:59

【ODPS 新品发布第 2 期】实时数仓 Hologres：推出计算组实例/支持 JSON 数据/向量计算+大模型等新能力

云布道师阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍ꔷHologres推出计算组实例ꔷHologres支持JSON数据ꔷHologres向量计算+大模型能力
云布道师·2023-09-23 06:25

一百八十二、大数据离线数仓——离线数仓从Kafka采集、最终把结果数据同步到ClickHouse的完整数仓流程（待续）

一、目的经过6个月的奋斗，项目的离线数仓部分终于可以上线了，因此整理一下离线数仓的整个流程，既是大家提供一个案例经验，也是对自己近半年的工作进行一个总结。
天地风雷水火山泽·2023-09-23 05:38

使用 Databend 加速 Hive 查询

许多企业的数仓/数据湖中都有PB级的数据，其中绝大多数都属于旧有系统中的
Databend·2023-09-23 03:27
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他