数据仓库高级技术

深入理解Kettle：ETL工具的学习与实践

本文还有配套的精品资源，点击获取简介：Kettle（Spoon）是Pentaho公司开发的开源ETL工具，用于数据整合和数据仓库建设。
未知方程 无解·2025-03-07 10:14

探索数据仓库自动化：ETL流程设计与实践

探索数据仓库自动化：ETL流程设计与实践在大数据时代，数据仓库已成为企业数据管理和决策支持的核心工具。如何高效地提取、转换和加载数据（ETL），是数据仓库建设中的重要环节。
Echo_Wish·2025-03-07 08:31

基于hive的电信离线用户的行为分析系统

通过收集电信用户的通话记录、上网行为、短信使用等多源数据，利用Hive数据仓库工具进行数据存储和处理，采用数据挖掘和机器学习算法对用户行为进行分析。实验结果表明，该系统
赵谨言·2025-03-06 17:29

阿里云MaxCompute面试题汇总及参考答案

目录简述MaxCompute的核心功能及适用场景，与传统数据仓库的区别解释MaxCompute分层架构设计原则，与传统数仓分层有何异同MaxCompute的存储架构如何实现高可用与扩展性解析伏羲（Fuxi
大模型大数据攻城狮·2025-03-06 10:05

国产化替代 | 星环科技TDH替代IBM数仓，助力城商行构建湖仓一体平台

某城市商业银行在此背景下，启动数据仓库系统升级项目，将数据仓库从IBMNetezza迁移到星环科技大数据基础平台TDH，不但成功实现了数据仓库的国产化替代，还建设了新一代的湖仓一体平台，为银行业务发展提供新
·2025-03-05 11:08

《数据仓库》读书笔记：第11章 非结构化数据和数据仓库

该系列博文为《数据仓库BuildingtheDataWarehouse》一书的读书笔记，笔者将书中重点内容进行概括总结。大致保留书中结构，一部分根据自己的理解进行调整。如发现问题，欢迎批评指正。
search-lemon·2025-03-05 03:16

稳定运行的以Redshift数据仓库为数据源和目标的ETL性能变差时提高性能方法和步骤

当以AmazonRedshift数据仓库为数据源和目标的ETL（Extract,Transform,Load）性能变差时，可能涉及多个方面的优化措施。
weixin_30777913·2025-03-04 22:04

【自学笔记】大数据基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录大数据基础知识点总览1.大数据概述2.大数据处理技术3.数据仓库与数据挖掘4.大数据分析与可视化5.大数据平台与架构6.大数据安全与隐私总结大数据基础知识点总览
Long_poem·2025-03-03 01:17

Airflow和PySPARK实现带多组参数和标签的Amazon Redshift数据仓库批量数据导出程序

设计一个基于多个带标签SQL模板作为配置文件和多组参数的PySPARK代码程序，实现根据不同的输入参数，用Airflow进行调度，自动批量地将AmazonRedshift数据仓库的数据导出为Parquet
weixin_30777913·2025-03-02 17:45

【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据

核心特性同步变更的mysql表结构和数据1、背景信息在Paimon诞生以前，若mysql/pg等数据源的表结构发生变化时，我们有几种处理方式（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中
oo寻梦in记·2025-03-02 04:51

Redis系列之进阶篇（下）

Redis系列之进阶篇（下）前言上一期我们学习了Redis的一些高级应用，今天我们来继续学习Redis的高级技术。
可乐不渴了·2025-03-01 23:13

数据整合平台Airbyte中的Shopify连接器使用指南

技术背景介绍Airbyte是一种专门用于ELT数据集成的平台，支持从API、数据库和文件到数据仓库和数据湖的管道搭建。其拥有最大规模的ELT连接器目录，支持众多的数据仓库和数据库。
bavDHAUO·2025-03-01 03:49

开源 数据仓库_使用这些开源工具进行数据仓库

开源数据仓库bySimonSpäti西蒙·斯派蒂(SimonSpäti)使用这些开源工具进行数据仓库(Usetheseopen-sourcetoolsforDataWarehousing)Thesedays
cumi7754·2025-02-28 18:51

HIVE 面试题总结

Hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理
小余真旺财·2025-02-28 11:00

Hive 面试题

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
昨夜为你摘星·2025-02-28 11:59

【数据仓库】数仓分层设计

随着信息技术的快速发展，传统数据库已经无法存储和处理海量的数据，数据仓库应运而生。
·2025-02-28 02:35

【数据仓库】指标管理

那么数据仓库中，建立指标体系有以下几点核心意义：统一数据口径，消除歧义（各部门对指标定义不统一）支撑业务决策，提升效率（监控业务健康度）优化资源分配，成本
·2025-02-28 01:34

数据湖构建

数据湖与传统的数据仓库不同，它能够存储结构化、半结构化和非结构化数据，支持大规模数据的整合、存储、查询和分析。
HaoHao_010·2025-02-28 00:25

【数据分析】4 商业数据分析技能模型总结

优秀的商业分析师需要具备的能力数据分析能力逻辑思维能力赢得结果能力一、数据分析能力扩展：工具链生态与进阶场景1.数据获取技术升级企业级数据源管理：数据湖架构（AWSS3/阿里云OSS）与数据仓库（Snowflake
loyd3·2025-02-27 19:44

周边生态 | WAL-G 与 DBeaver 新版增加 Cloudberry 支持

ApacheCloudberry™(Incubating)是Apache软件基金会孵化项目，由Greenplum和PostgreSQL衍生而来，作为领先的开源MPP数据库，可用于建设企业级数据仓库，并适用于大规模分析和
·2025-02-27 13:58

Hive SQL 使用及进阶详解

一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析
小四的快乐生活·2025-02-27 03:37

使用 Airbyte 数据集成平台加载 Shopify 数据

通过这种方式，可以方便地将Shopify的订单等信息整合到数据仓库
fgayif·2025-02-26 19:33

最全数仓实践：总线矩阵设计_数仓总线矩阵(2)

在这种多维体系结构（MD）的数据仓库架构中，主导的思想便是分步建立数据仓库，并由数据集市组合成企业的数据仓库。
2401_84170391·2025-02-26 15:09

数据仓库面试题集锦（附答案和数仓知识体系），面试必过

3、如何构建数据仓库？
m0_60635001·2025-02-26 13:20

Hologres 介绍

Hologres是阿里云提供的一款实时数据分析平台，它结合了数据仓库（DataWarehouse）和流式计算（StreamProcessing）的优势，专为大规模数据分析和实时数据处理而设计。
黄毛火烧雪下·2025-02-26 10:04

preview_220624,Day08_DM层建设实战,

解释从理论层面来说，数据集市是一个小型的部门或工作组级别的数据仓库。一些公司早期的数据集市后期可能会演变成为数仓系统。本项目中在数据集市层面主要进行粗粒度汇总，也可以将这些功能下放至DWS层完成。
啊六六六·2025-02-26 04:51

架构的演进

作者|许晓斌阿里云高级技术专家传统单体应用架构十多年前主流的应用架构都是单体应用，部署形式就是一台服务器加一个数据库，在这种架构下，运维人员会小心翼翼地维护这台服务器，以保证服务的可用性。
阿里云云原生·2025-02-25 21:00

架构师论文《论湖仓一体架构及其应用》

软考论文-系统架构设计师摘要作为某省级商业银行数据中台建设项目技术负责人，我在2020年主导完成了从传统数据仓库向湖仓一体架构的转型。
pccai-vip·2025-02-25 12:28

《数据仓库与数据挖掘》自测

试卷一一、选择题（每题2分，共20分）1.数据仓库的主要特征不包括以下哪一项？
破坏神在行动·2025-02-24 05:48

银行数据类系统建设

数据仓库建设数据仓库的概念数据仓库是大批量数据的存储系统，在如今PB级数据量的大数据时代，传统数据库由于数据量的限制，无法存储如此庞大的数据量，因此对于需求海量数据的机构大都会将数据存储在数据仓库中，用以取数和分析
奔跑的白鸥·2025-02-24 04:09

【ETL】从理论到实践的数据处理流程及其工具的应用

在大数据时代，随着企业数据量的快速增长，ETL不仅要满足传统数据仓库的需求，还要应对实时数
絆人心·2025-02-23 19:10

24道数据仓库面试八股文（答案、分析和深入提问）整理

回答在数据仓库（DW）中，ODS（OperationalDataStore）层到DW层的ETL（Extract,Transform,Load）过程主要包括以下几个步骤：提取（Extract）：从ODS层提取原始数据
守护海洋的猫·2025-02-23 16:11

中小技术公司的软扩展(微服务扩展是否有必要?)

前段时间爆火的微服务,容器,高并发等各类大厂扩散出来的'高级技术',如今又被不少人诟病,特别是一些中型公司,盲目技术迭代后,寒冬一来,发现企业代码逻辑太复杂,人员无法精简,甚至于最后连扩展都成了问题.最终导致成本无法控制
庖丁解java·2025-02-23 08:50

《DAMA数据管理知识体系指南》备考笔记-第一章 数据管理 (4 分)_dama8大模块(3)

数据管理所需技能包括：设计能力、高级技术技能、理
2401_83739821·2025-02-23 06:30

大数据MaxCompute教程（阿里云离线数仓项目）学习笔记20231127

1数据仓库概念数据仓库定义（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。
多刷亿点题⑧·2025-02-22 22:54

数据技术的进化史：从数据仓库到数据中台再到数据飞轮

数据技术介绍：1.数据仓库（DataWarehouse）概念与起源：数据仓库是20世纪90年代初期兴起的一种数据管理和分析技术。
Earth explosion·2025-02-22 15:28

【面试系列】TypeScript高频面试题及详细解答

⭐️全流程数据技术实战指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台和数据仓库的核心技术和方法。文章目录常见的初级面试题1.什么是TypeSc
野老杂谈·2025-02-22 11:01

在虚拟机上安装MySQL和Hive

文章目录零、学习目标一、Hive概述（一）Hive的SQL-HQL（二）数据库与数据仓库（三）Hive的适用场景二、下载、安装和配置MySQL（一）下载MySQL组件压缩包（二）将MySQL组件压缩包上传到虚拟机
酒城译痴无心剑·2025-02-22 06:23

高级 Java 资源管理：文件和网络优化完整指南

让我们探索有效管理文件和网络资源的高级技术。Java中的资源管理围绕正确处理系统资源（如文件、网络连接和数据库连接）展开。主要目标是确保资源在使用后及时释放，防止内存泄漏和系统资源耗尽。
谏君之·2025-02-22 01:05

Oracle 12c 并发统计信息收集功能：技术解析与实践指南

对于大规模数据库或数据仓库环境，这种串行模式可能导致统计信息收集耗时过长，影响维护窗口效率。
安呀智数据·2025-02-22 01:28

SQLMesh 系列教程7- 详解 seed 模型

在本文中，我们介绍了Seed模型的定义及其在实际项目中的应用，展示了如何通过简单的SQL查询创建Seed模型，并将其加载到数据仓库中。通过一个电
梦想画家·2025-02-22 00:17

【AI大数据】数据中台的数据分析与挖掘：从数据到业务的决策

文章目录1.前言2.基本概念术语说明2.1数据模型及其实体关系实体（Entity）属性（Attribute）实体关系（EntityRelationships）2.2数据仓库2.3分析引擎2.4噪声数据2.5
AI天才研究院·2025-02-21 08:34

为AI聊天工具添加一个知识系统 之113 详细设计之54 Chance：偶然和适配 之2

和它在实操中的三种槽（占据槽，请求槽和填充槽，实时数据库（source）中数据(流入ETL的一个正序流程行列并发靶向整形绑定变量）是如何通过“命名所依的AI行为”、“分类所缘的因果结构”和“求实所据的机器特征”（元数据仓库
一水鉴天·2025-02-21 00:15

《Spring实战》读书笔记-第3章 高级装配

在本章中，我们将会深入介绍一些这样的高级技术。本章中所介绍的技术也许你不会天天都用到，但这并不意味着它们的价值会因此而降低。3.1环境与prof
2401_89790580·2025-02-19 21:54

（一）大数据---Hadoop整体介绍（架构层）----（组件(3)

==================================================================基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库
2401_84166965·2025-02-19 16:15

正式开源：使用Kafka FDW 加载数据到 Apache Cloudberry™

Cloudberry可以作为数据仓库使用
·2025-02-19 15:58

数仓_数据口径

数仓_数据口径数据口径含义数据口径包含口径收敛数据口径含义在数据仓库（数仓）中，数据口径是指在数据统计和分析过程中，对数据的定义、计算方法、范围和标准等方面的详细规定。
TTXS123456789ABC·2025-02-19 06:56

数据仓库和数据湖 数据仓库和数据库

数据仓库和数据湖是两种不同的数据存储解决方案，它们在设计、用途和数据管理方式上有着显著的区别。
qq_25467441·2025-02-18 12:11

数据仓库、数据湖和数据湖仓

数据仓库、数据湖和数据湖仓是三种常见的数据存储和管理技术，各自有不同的特点和适用场景。
阿湯哥·2025-02-18 11:58

数据库MySQL 8.0.32安装包网盘资源下载（附教程）

MySQL支持多种操作系统，包括Windows、Linux和MacOS等，并且广泛用于各种应用程序中，如Web应用程序、数据仓库和电子商务系统等。
听风说雨的人儿·2025-02-17 14:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他