etl+数据仓库

【自学笔记】大数据基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录大数据基础知识点总览1.大数据概述2.大数据处理技术3.数据仓库与数据挖掘4.大数据分析与可视化5.大数据平台与架构6.大数据安全与隐私总结大数据基础知识点总览
Long_poem·2025-03-03 01:17

Airflow和PySPARK实现带多组参数和标签的Amazon Redshift数据仓库批量数据导出程序

设计一个基于多个带标签SQL模板作为配置文件和多组参数的PySPARK代码程序，实现根据不同的输入参数，用Airflow进行调度，自动批量地将AmazonRedshift数据仓库的数据导出为Parquet
weixin_30777913·2025-03-02 17:45

【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据

核心特性同步变更的mysql表结构和数据1、背景信息在Paimon诞生以前，若mysql/pg等数据源的表结构发生变化时，我们有几种处理方式（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中
oo寻梦in记·2025-03-02 04:51

数据整合平台Airbyte中的Shopify连接器使用指南

技术背景介绍Airbyte是一种专门用于ELT数据集成的平台，支持从API、数据库和文件到数据仓库和数据湖的管道搭建。其拥有最大规模的ELT连接器目录，支持众多的数据仓库和数据库。
bavDHAUO·2025-03-01 03:49

开源 数据仓库_使用这些开源工具进行数据仓库

开源数据仓库bySimonSpäti西蒙·斯派蒂(SimonSpäti)使用这些开源工具进行数据仓库(Usetheseopen-sourcetoolsforDataWarehousing)Thesedays
cumi7754·2025-02-28 18:51

HIVE 面试题总结

Hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理
小余真旺财·2025-02-28 11:00

Hive 面试题

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
昨夜为你摘星·2025-02-28 11:59

【数据仓库】数仓分层设计

随着信息技术的快速发展，传统数据库已经无法存储和处理海量的数据，数据仓库应运而生。
·2025-02-28 02:35

【数据仓库】指标管理

那么数据仓库中，建立指标体系有以下几点核心意义：统一数据口径，消除歧义（各部门对指标定义不统一）支撑业务决策，提升效率（监控业务健康度）优化资源分配，成本
·2025-02-28 01:34

数据湖构建

数据湖与传统的数据仓库不同，它能够存储结构化、半结构化和非结构化数据，支持大规模数据的整合、存储、查询和分析。
HaoHao_010·2025-02-28 00:25

【数据分析】4 商业数据分析技能模型总结

优秀的商业分析师需要具备的能力数据分析能力逻辑思维能力赢得结果能力一、数据分析能力扩展：工具链生态与进阶场景1.数据获取技术升级企业级数据源管理：数据湖架构（AWSS3/阿里云OSS）与数据仓库（Snowflake
loyd3·2025-02-27 19:44

周边生态 | WAL-G 与 DBeaver 新版增加 Cloudberry 支持

ApacheCloudberry™(Incubating)是Apache软件基金会孵化项目，由Greenplum和PostgreSQL衍生而来，作为领先的开源MPP数据库，可用于建设企业级数据仓库，并适用于大规模分析和
·2025-02-27 13:58

Hive SQL 使用及进阶详解

一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析
小四的快乐生活·2025-02-27 03:37

使用 Airbyte 数据集成平台加载 Shopify 数据

通过这种方式，可以方便地将Shopify的订单等信息整合到数据仓库
fgayif·2025-02-26 19:33

最全数仓实践：总线矩阵设计_数仓总线矩阵(2)

在这种多维体系结构（MD）的数据仓库架构中，主导的思想便是分步建立数据仓库，并由数据集市组合成企业的数据仓库。
2401_84170391·2025-02-26 15:09

数据仓库面试题集锦（附答案和数仓知识体系），面试必过

3、如何构建数据仓库？
m0_60635001·2025-02-26 13:20

Hologres 介绍

Hologres是阿里云提供的一款实时数据分析平台，它结合了数据仓库（DataWarehouse）和流式计算（StreamProcessing）的优势，专为大规模数据分析和实时数据处理而设计。
黄毛火烧雪下·2025-02-26 10:04

preview_220624,Day08_DM层建设实战,

解释从理论层面来说，数据集市是一个小型的部门或工作组级别的数据仓库。一些公司早期的数据集市后期可能会演变成为数仓系统。本项目中在数据集市层面主要进行粗粒度汇总，也可以将这些功能下放至DWS层完成。
啊六六六·2025-02-26 04:51

架构师论文《论湖仓一体架构及其应用》

软考论文-系统架构设计师摘要作为某省级商业银行数据中台建设项目技术负责人，我在2020年主导完成了从传统数据仓库向湖仓一体架构的转型。
pccai-vip·2025-02-25 12:28

《数据仓库与数据挖掘》自测

试卷一一、选择题（每题2分，共20分）1.数据仓库的主要特征不包括以下哪一项？
破坏神在行动·2025-02-24 05:48

银行数据类系统建设

数据仓库建设数据仓库的概念数据仓库是大批量数据的存储系统，在如今PB级数据量的大数据时代，传统数据库由于数据量的限制，无法存储如此庞大的数据量，因此对于需求海量数据的机构大都会将数据存储在数据仓库中，用以取数和分析
奔跑的白鸥·2025-02-24 04:09

【ETL】从理论到实践的数据处理流程及其工具的应用

在大数据时代，随着企业数据量的快速增长，ETL不仅要满足传统数据仓库的需求，还要应对实时数
絆人心·2025-02-23 19:10

24道数据仓库面试八股文（答案、分析和深入提问）整理

回答在数据仓库（DW）中，ODS（OperationalDataStore）层到DW层的ETL（Extract,Transform,Load）过程主要包括以下几个步骤：提取（Extract）：从ODS层提取原始数据
守护海洋的猫·2025-02-23 16:11

大数据MaxCompute教程（阿里云离线数仓项目）学习笔记20231127

1数据仓库概念数据仓库定义（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。
多刷亿点题⑧·2025-02-22 22:54

数据技术的进化史：从数据仓库到数据中台再到数据飞轮

数据技术介绍：1.数据仓库（DataWarehouse）概念与起源：数据仓库是20世纪90年代初期兴起的一种数据管理和分析技术。
Earth explosion·2025-02-22 15:28

【面试系列】TypeScript高频面试题及详细解答

⭐️全流程数据技术实战指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台和数据仓库的核心技术和方法。文章目录常见的初级面试题1.什么是TypeSc
野老杂谈·2025-02-22 11:01

在虚拟机上安装MySQL和Hive

文章目录零、学习目标一、Hive概述（一）Hive的SQL-HQL（二）数据库与数据仓库（三）Hive的适用场景二、下载、安装和配置MySQL（一）下载MySQL组件压缩包（二）将MySQL组件压缩包上传到虚拟机
酒城译痴无心剑·2025-02-22 06:23

Oracle 12c 并发统计信息收集功能：技术解析与实践指南

对于大规模数据库或数据仓库环境，这种串行模式可能导致统计信息收集耗时过长，影响维护窗口效率。
安呀智数据·2025-02-22 01:28

SQLMesh 系列教程7- 详解 seed 模型

在本文中，我们介绍了Seed模型的定义及其在实际项目中的应用，展示了如何通过简单的SQL查询创建Seed模型，并将其加载到数据仓库中。通过一个电
梦想画家·2025-02-22 00:17

【AI大数据】数据中台的数据分析与挖掘：从数据到业务的决策

文章目录1.前言2.基本概念术语说明2.1数据模型及其实体关系实体（Entity）属性（Attribute）实体关系（EntityRelationships）2.2数据仓库2.3分析引擎2.4噪声数据2.5
AI天才研究院·2025-02-21 08:34

为AI聊天工具添加一个知识系统 之113 详细设计之54 Chance：偶然和适配 之2

和它在实操中的三种槽（占据槽，请求槽和填充槽，实时数据库（source）中数据(流入ETL的一个正序流程行列并发靶向整形绑定变量）是如何通过“命名所依的AI行为”、“分类所缘的因果结构”和“求实所据的机器特征”（元数据仓库
一水鉴天·2025-02-21 00:15

（一）大数据---Hadoop整体介绍（架构层）----（组件(3)

==================================================================基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库
2401_84166965·2025-02-19 16:15

正式开源：使用Kafka FDW 加载数据到 Apache Cloudberry™

Cloudberry可以作为数据仓库使用
·2025-02-19 15:58

数仓_数据口径

数仓_数据口径数据口径含义数据口径包含口径收敛数据口径含义在数据仓库（数仓）中，数据口径是指在数据统计和分析过程中，对数据的定义、计算方法、范围和标准等方面的详细规定。
TTXS123456789ABC·2025-02-19 06:56

数据仓库和数据湖 数据仓库和数据库

数据仓库和数据湖是两种不同的数据存储解决方案，它们在设计、用途和数据管理方式上有着显著的区别。
qq_25467441·2025-02-18 12:11

数据仓库、数据湖和数据湖仓

数据仓库、数据湖和数据湖仓是三种常见的数据存储和管理技术，各自有不同的特点和适用场景。
阿湯哥·2025-02-18 11:58

数据库MySQL 8.0.32安装包网盘资源下载（附教程）

MySQL支持多种操作系统，包括Windows、Linux和MacOS等，并且广泛用于各种应用程序中，如Web应用程序、数据仓库和电子商务系统等。
听风说雨的人儿·2025-02-17 14:56

数据仓库与数据湖的协同工作：智慧数据管理的双引擎

数据仓库与数据湖的协同工作：智慧数据管理的双引擎引言在数据驱动的今天，企业和组织收集和存储的数据量正以惊人的速度增长。如何高效管理和利用这些数据，成为了决策者和技术专家的共同难题。
Echo_Wish·2025-02-17 07:58

MariaDB数据库部署

数据库初始化4.设置防火墙策略5.登录数据库·数据库常用语句·创建数据库·查询指定位置数据·数据库备份·彻底删除数据库·恢复数据·数据库介绍数据库：是指按照某些特定结构来存储数据资料的数据仓库数据库管理系统
m0_修道成仙·2025-02-16 00:03

数据总线/一致性维度/总线矩阵

数据仓库数据总线一种技术解决方案，旨在实现数据仓库与各个数据源之间的数据集成、交换和共享，通常做法是将所有的数据源连接到一条共享的数据总线上。
DouMiaoO_Oo·2025-02-15 17:43

Apache Iceberg 与 Apache Hudi：数据湖领域的双雄对决

数据湖仓结合了数据仓库和数据湖的最佳元素，提供了一个统一的平台，支持数据科学、商业智能、人工智能/机器学习以及临时报告等多种关键功能。
夜里慢慢行456·2025-02-15 12:35

探索数据云的无缝桥梁：Apache Spark 与 Snowflake 的完美结合

spark-snowflakeSnowflakeDataSourceforApacheSpark.项目地址:https://gitcode.com/gh_mirrors/sp/spark-snowflake项目介绍在大数据处理的浩瀚宇宙中，Snowflake以其独特的云数据仓库能力闪耀
窦育培·2025-02-15 12:32

数据仓库与数据挖掘记录 二

1.数据仓库的产生从20世纪80年代初起直到90年代初,联机事务处理一直是关系数据库应用的主流。
匆匆整棹还·2025-02-14 22:08

数据仓库与数据挖掘记录 三

数据仓库的数据存储和处理数据的ETL过程数据ETL是用来实现异构数据源的数据集成,即完成数据的抓取/抽取、清洗、转换.加载与索引等数据调和工作,如图2.2所示。
匆匆整棹还·2025-02-14 21:27

高聚合 低耦合

同样的，可以将这个思想用在建设企业数据仓库上。做
草藤木屋·2025-02-14 21:56

数据湖和数据仓库的区别？

简介数据湖这个概念和数据仓库这两个概念一直搞不清楚，之前感觉区别就是数据湖是数据仓库的父集。数据湖是个伪命题，平时生活中也用不到，然后今天听了我的一个师哥的讲解，然后简单总结下。
春风不会绿大地·2025-02-14 08:25

新型大数据架构之湖仓一体（Lakehouse）架构特性说明——Lakehouse 架构（一）

湖仓一体（Lakehouse）——新的大数据架构模式同时具备数仓与数据湖的优点湖仓一体架构存储层计算层湖仓一体特性单一存储拥有数据仓库的查询性能存算分离开放式架构支持各种数据源类型支持各种使用方式架构简单数据共享
m0_74825238·2025-02-13 05:24

分布式架构设计全解：以银行系统为例

Hadoop用于构建大数据仓库并支持数据分析，F5优化网络流量并确保高可用性，Dubbo和SpringCloud实现服务间的通信和微服务架构。
聚合收藏·2025-02-12 04:54

hive数仓的分层与建模

Hive数据仓库分层和数据建模是一种常见的数据仓库设计方法，旨在通过分层的方式组织数据，提高数据的可维护性、可复用性和查询性能。
korry24·2025-02-11 13:04

HiveQL命令（三）- Hive函数

ApacheHive作为一种流行的数据仓库工具，提供了丰富的内置函数，帮助用户高效地处理和分析存储在Hadoop分布式文件系统（HDFS）中的数据。这些内置函数涵盖了数值计算、字符
BigDataMagician·2025-02-11 12:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他