数据仓库高级技术

三层架构到DDD分层架构的演变

数据访问层业务接口层：主要是API的定义，包括资源路径定义、请求报文接受、响应报文返回、请求编码等定义的内容；业务逻辑层：主要做业务逻辑处理，这一层包括数据映射DTO转VO，业务核心逻辑编写，组合不同数据仓库
rickJinzhu·2024-01-25 19:59

银行数据仓库体系实践（7）--数据模型设计及流程

数据仓库作为全行或全公司的数据中心和总线，汇集了全行各系统以及外部数据，通过良好的系统架构可以保证系统稳定性和处理高效性，那如何保障系统数据的完备性、规范性和统一性呢？
南极找南·2024-01-25 17:51

银行数据仓库体系实践（5）--数据转换

数据转换作业主要是指在数据仓库内的结构化数据批量加工，对于非结构化数据以及在线查询接口、数据流的开发主要是遵循代码开发规范以及各中间件的开发规范，如使用java来开发遵守java开发规范，使用Kafka
南极找南·2024-01-25 17:21

银行数据仓库体系实践（6）--调度系统

调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，为不互相影响可以和交易类系统独立分开
南极找南·2024-01-25 17:19

白话文讲数据仓库系统

标准的数据仓库系统一般包含四层：ETL层、数据仓库层、数据集市层、应用展现层。数据其实本质上就是一种虚拟商品。数据仓库系统实现的就是将虚拟的商品（数据）从原材料到成品售卖的过程。
江边蚊子·2024-01-25 15:23

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

如何避免数据仓库项目失败

什么是数据仓库？在深入研究不同的数据仓库概念之前，了解数据仓库的实际含义非常重要。数据仓库通常被认为是商业智能系统，旨在帮助满足业务实体的日常报告需求。
国强_dev·2024-01-25 14:32

为什么需要数据仓库

OLTP环境也会存储历史数据，但这些历史数据并不是业务运行所需的，这些历史数据需要经常归档到数据仓库，并且在OLTP数据库中删除。
howard_shooter·2024-01-25 13:46

【技术预研】StarRocks官方文档浅析（1）

参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析
偏振万花筒·2024-01-25 12:37

《深度工作》摘抄记录

2.新经济中取得成功的3类人高级技术工人经济学家布林约尔松和麦卡菲强调，善用智能机器且具有创造性的人，其工作价值将会越来越高。案例：数据奇才内特·西
王俊婷·2024-01-25 10:14

数据库基础知识以及mysql的安装步骤

（数据仓库）数据：描述事务的符号记录，包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式，它们都可以经过数字化后存入计算机。数据库：数据仓库。
匿名好友657·2024-01-25 10:44

Hudi学习笔记(一)

学习目标什么是数据湖为什么使用数据湖Hudi基本功能如何编译Hudi源码Hudi与Spark集成管理Hudi中COW和ROW不同类型表功能Hudi的三种查询方式Hudi中不同表数据写入流程数据仓库数据仓库是一个用于存储
一一|一一一亅·2024-01-25 09:37

StarRocks本地部署

介绍StarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。
keyson R·2024-01-25 06:14

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
小猪Harry·2024-01-25 05:09

SpringAOP

Spring的AOP是Spring框架的高级技术，旨在管理bean对象的过程中，底层使用动态代理机制，对特定的方法进行编程(功能增强)。
小白在努力~~·2024-01-24 19:19

基于大模型(LLM)的数据仓库

数据仓库作为企业数据存储和管理的重要基础设施，其运维和管理面临着越来越多的挑战。如何构建一个高效、智能的数据仓库，成为了运维开发人员关注的焦点。
百度_开发者中心·2024-01-24 16:14

从数据处理到规模化应用

为了满足这一需求，许多组织开始转向数据仓库来提供稳定、高效的数据存储和处理能力。HashData等现代数据仓库解决方案的出现，为大模型的规模化应用提供了新的可能性。
百度_开发者中心·2024-01-24 16:14

在SQL Server中的关系型数据仓库分区策略

developer.51cto.com/art/200702/41068.htmhttp://www.fengfly.com/plus/view-29754-1.html在SQLServer中的关系型数据仓库分区策略
king_idea8848·2024-01-24 08:49

元数据管理在数据仓库中的实践应用

一、什么是数据仓库的元数据管理？1、什么是元数据？元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata）。
小枫@码·2024-01-24 08:53

数据仓库建模

简介数据仓库建模是指将数据仓库中的数据进行组织和结构化，以便支持分析、报告和查询。数据仓库建模需要考虑多个方面的因素，包括业务需求、数据源、查询性能等。
不加班程序员·2024-01-24 07:44

银行数据仓库体系实践（4）--数据抽取和加载

1、ETL和ELTETL是Extract、Transfrom、Load即抽取、转换、加载三个英文单词首字母的集合：E：抽取，从源系统(Souce)获取数据；T：转换，将源系统获取的数据进行处理加工，比如数据格式转化、数据精度转换、数据清洗、缺失数据补齐、异常数据排除等。L：加载，将数据加载到目标数据库(Target)。ELT也是同样三个单词的首字母组合，只是把T、L颠倒了下顺序。ETL强调的是先进
南极找南·2024-01-24 07:12

银行数据仓库体系实践（3）--数据架构

狭义的数据仓库数据架构用来特指数据分布，广义的数据仓库数据架构还包括数据模型、数据标准和数据治理。
南极找南·2024-01-24 07:42

数据仓库-相关概念

简介数据仓库是一个用于集成、存储和管理大量数据的系统。它用于支持企业决策制定过程中的数据分析和报告需求。数据仓库从多个来源收集和整合数据，并将其组织成易于查询和分析的结构。
不加班程序员·2024-01-24 07:10

【数据库】第一章 数据库基础理论

（数据仓库）数据：描述事务的符号记录，包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式，它们都可以经过数字化后存入计算机。数据库：数据仓库。
悲伤自画像·2024-01-24 04:55

数据仓库-日期维度表的设计与实现

时间维度表的制作1需求背景在大数据分析模块中，我们需要从不同的维度分析主题表，包括常用的公用维度：时间维，地区维度，教育信息维…以及各种各样的业务维度：员工维度，部门维度…，业务维度就是我们从哪些角度去分析业务过程，本文就是做一张常用时间维度表。时间维表由于是可预见的，因此可以一次性导入未来几十年的，当然对于一些节假日的设置可能只能获取未来一年的，因此可以每年全量更新一次。2维表设计给出时间维度表
yongfeicao·2024-01-23 21:17

【大数据精讲】全量同步与CDC增量同步方案对比

ETLETL数据仓库
话数Science·2024-01-23 20:44

企业建数仓的第一步是选择一个好用的ETL工具

当企业决定建立数据仓库（DataWarehouse），第一步就是选择一款优秀的ETL（Extract,Transform,Load）工具。
苛子·2024-01-23 20:36

解读 EventBridge Transform：数据转换和处理的灵活能力

除此之外，它还可以作为流式的数据管道，在不同的数据仓库和数据处理或分析程序之间快速构建ETL系统。本文将从以下几个方面展开对阿里云EventBridg
阿里云云原生·2024-01-23 20:05

PowerDesigner 导出数据库表到word文档

概述：利用PowerDesigner可以制作数据流程图、概念数据模型、物理数据模型，还可以为数据仓库制作结构模型，也能对团队设计模型进行控制，同时还可以创建一个数据库。
木白星枝·2024-01-23 17:28

Python高级技术复习指南

1.正则表达式正则表达式这一块主要还是利用re模块和正则表达式结合去进行一个指定字符串的提取，我们首先需要了解到的就是元字符：我们并不只有re.findall这一个方法，还有一个match对象方法以及flag参数也要一并复习因为是简单复习，所以我们来举几个例子：eg1:有一批网址：http://www.interoem.com/messageinfo.asp?id=35http://3995503
编程小哥史老三·2024-01-23 15:35

spring、springmvc、springboot的区别

它提供了一组高级技术，如依赖注入、声明式事务、AOP等，帮助开发人员构建应用程序。SpringMVC：是一种用于建立web应用程序的模型-视图-控制器(MVC)框架。
澾慟·2024-01-23 13:00

数据分析的理念、流程、方法、工具（上）

企业中数据从产生到应用依次要经过数据源层、数据仓库层、数据建模层，最后到数据应用层，经过层层加工逐渐支持到上游的应用环节。数据应用层
学掌门·2024-01-23 07:38

Hive 数仓及数仓设计方案

数仓(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供一个统一、规范的出口。做数仓就是做方案，是用数据治理企业的方案。
Byyyi耀·2024-01-23 06:34

数据仓库系列10- 数据仓库规范

一.数据模型架构原则1.1数据仓库分层分层的好处：清晰数据结构；数据血缘追踪；减少重复开发；数据关系条理化；屏蔽原始数据的影响。
只是甲·2024-01-23 06:20

Vue 兄弟组件通信

在Vue3中，以下是五种常用的方法来实现兄弟组件之间的通信：使用共享状态（SharedState）：创建一个共享的数据仓库（store），可以使用Vuex或者Vue3的新特性CompositionAPI
珊珊而川·2024-01-23 05:34

Vue 兄弟组件通信

在Vue3中，以下是五种常用的方法来实现兄弟组件之间的通信：使用共享状态（SharedState）：创建一个共享的数据仓库（store），可以使用Vuex或者Vue3的新特性CompositionAPI
珊珊而川·2024-01-23 05:34

【VLAN高级技术】--- MUX VLAN运行原理及实例配置讲解

文章目录一、MUXVLAN产生原因二、MUXVLAN运行原理三、实例配置讲解（重点！！！）四、MUXVLAN配置命令一、MUXVLAN产生原因个人认为MUXVLAN主要是为大中型网络进行设计的，一般在大中型企业内有很多职责不同的部门，各个部门之间要求相互独立，但是还有一部分部门之间有互相访问的的需求，如果是大型公司的话还会拥有很多商业来往的合作伙伴，合作伙伴人数众多且不固定，我们还需要构建网络使合
秦同学学学·2024-01-23 01:08

Java：高级技术讲解

单元测试：没有单元测试时是怎么测试代码的？Junit单元测试框架优点：单元测试的具体步骤：常用注解：这里我们采用Junit4的版本的注解，这个版本比较经典。示例代码：比如我们有一个StringUtil类，是我们写好的一个类：------也就是等待测试的类packagecom.itheima.d1_junit;publicclassStringUtil{publicstaticvoidprintNu
DaveVV·2024-01-22 17:53

关于Hive架构原理，尚硅谷

首先hive的定义为，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，Hive中每张表的数
大数据ＳＱＬｂｏｙ·2024-01-22 11:41

【数据库原理】（38）数据仓库

数据仓库（DataWarehouse,DW）是为了满足企业决策分析需求而设计的数据环境，它与传统数据库有明显的不同。
游码客·2024-01-22 10:24

Apache Hive（二）

一、ApacheHive1、HiveSQLDML语法之加载数据2、HiveSQLDML语法之查询数据3、HiveSQLJoin关联查询4、HiveSQL中的函数使用数据仓库&ApacheHive请记住，
杀神lwz·2024-01-22 09:16

Flink背景

数仓简介在信息爆炸的时代，为了从海量数据中洞察业务价值，驱动运营决策，企业通常会构建用于数据分析的数据仓库。
201001070·2024-01-22 08:31

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。
Key-Key·2024-01-22 07:29

支持机器学习的8个数据仓库

有一些数据仓库在一定程度上支持这一点。而随之而来的问题是：哪些数据仓库支持机器学习?它们是如何做到的?以下按字母排序对这些数据仓库进行分析和阐述。
鹤子青云上·2024-01-22 03:57

Hive SQL的编译过程（转）

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。
愤怒的谜团·2024-01-21 20:40

《人人都是产品经理》40页

2005年入职阿里巴巴，三年时间从数据仓库需求分析工程师到需求分析师再到产品经理，作者以分享经验与体会为出发点，将自己三年产品工作过程中学到的思维方法与做事方式，及其他们对自己的帮助系统性的梳理为用户、
SnowbabyG·2024-01-21 18:03

MySQL索引优化：深入理解索引合并

但当查询条件变得复杂，单个索引可能无法满足我们的需求，这时MySQL的“索引合并”策略就显得尤为重要；IndexMergeOptimization是MySQL查询优化器在处理复杂查询时使用的一种高级技术
地瓜伯伯·2024-01-21 18:47

架构-KV存储-万亿级-实践-美团技术团队

在2019年QCon全球软件开发大会（上海站）上，美团高级技术专家齐泽斌分享了《美团点评万亿级KV存储架构与实践》，本文系演讲内容的整理，主要分为四个部分：第一部分讲述了美团KV存储的发展历程；第二部分阐述了内存
无心六神通·2024-01-21 16:18

4W字全面解读数据中台、数据仓库和数据湖

点击上方"大数据肌肉猿"关注,星标一起成长后台回复【加群】，进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来。据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决
无精疯·2024-01-21 15:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他