数据湖数据仓库

ERD-ONLINE 免费在线数据库建模工具

ERD-ONLINE说明功能特点ERD-ONLINE是一款在线协作数据仓库设计软件，无需本地安装应用程序，在线操作数据库，是桌面数据建模工具的一个优秀的替代方案。
ERD Online·2024-01-26 14:02

用户画像项目背景

1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统（1）数据仓库：加快数据的分析和查询数据仓库分层：ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky·2024-01-26 13:20

第2章 信息技术发展——2.1 信息技术及其发展

软件定义网络3.第五代移动通信技术2.1.3存储和数据库1.存储技术2.数据结构模型1)层次模型2)网状模型3)关系模型3.常用数据库类型1)关系型数据库2)非关系型数据库3)不同存储方式数据库的优缺点4.数据仓库
Mrlibai·2024-01-26 07:06

产品解读 | 新一代湖仓集存储，多模型统一架构，高效挖掘数据价值

推出了新一代湖仓集存储格式Holodesk，一份数据满足数据湖的离线实时接入、数仓的复杂加工以及数据集市的分析需求。避免数
星环科技·2024-01-26 07:40

深度干货｜谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析

文/李少锋阿里云瑶池旗下的云原生数据仓库AnalyticDBMySQL版是基于湖仓一体架构打造的实时湖仓。本文将分享AnalyticDBMySQLSpark助力构建低成本数据湖分析的最佳实践。
阿里云瑶池数据库·2024-01-26 06:57

Docker安装Clickhouse详细教程

简介ClickHouse是一种列式数据库管理系统，专门用于高性能数据分析和数据仓库应用。它是一个开源的数据库系统，最初由俄罗斯搜索引擎公司Yandex开发，用于满足大规模数据分析和报告的需求。
AscendKing·2024-01-26 01:13

大数据｜Spark介绍

前文回顾：Hive和数据仓库目录为什么会有SparkSpark的基本架构和组件主要体系结构和组件Spark集群的基本结构Spark系统的基本结构Spark应用程序的基本结构Spark程序运行机制⭐️Spark
啦啦右一·2024-01-25 21:08

sqoop之hive数据仓库和oracle数据库数据转换

1sqoop简介1.1什么是sqoop？sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个
Summer_1981·2024-01-25 20:37

三层架构到DDD分层架构的演变

数据访问层业务接口层：主要是API的定义，包括资源路径定义、请求报文接受、响应报文返回、请求编码等定义的内容；业务逻辑层：主要做业务逻辑处理，这一层包括数据映射DTO转VO，业务核心逻辑编写，组合不同数据仓库
rickJinzhu·2024-01-25 19:59

银行数据仓库体系实践（7）--数据模型设计及流程

数据仓库作为全行或全公司的数据中心和总线，汇集了全行各系统以及外部数据，通过良好的系统架构可以保证系统稳定性和处理高效性，那如何保障系统数据的完备性、规范性和统一性呢？
南极找南·2024-01-25 17:51

银行数据仓库体系实践（5）--数据转换

数据转换作业主要是指在数据仓库内的结构化数据批量加工，对于非结构化数据以及在线查询接口、数据流的开发主要是遵循代码开发规范以及各中间件的开发规范，如使用java来开发遵守java开发规范，使用Kafka
南极找南·2024-01-25 17:21

银行数据仓库体系实践（6）--调度系统

调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，为不互相影响可以和交易类系统独立分开
南极找南·2024-01-25 17:19

白话文讲数据仓库系统

标准的数据仓库系统一般包含四层：ETL层、数据仓库层、数据集市层、应用展现层。数据其实本质上就是一种虚拟商品。数据仓库系统实现的就是将虚拟的商品（数据）从原材料到成品售卖的过程。
江边蚊子·2024-01-25 15:23

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

如何避免数据仓库项目失败

什么是数据仓库？在深入研究不同的数据仓库概念之前，了解数据仓库的实际含义非常重要。数据仓库通常被认为是商业智能系统，旨在帮助满足业务实体的日常报告需求。
国强_dev·2024-01-25 14:32

为什么需要数据仓库

OLTP环境也会存储历史数据，但这些历史数据并不是业务运行所需的，这些历史数据需要经常归档到数据仓库，并且在OLTP数据库中删除。
howard_shooter·2024-01-25 13:46

【技术预研】StarRocks官方文档浅析（1）

参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析
偏振万花筒·2024-01-25 12:37

【30秒看懂大数据】数据湖

简单说数据湖是一个存储平台，存储了企业所有所需要的数据。举例理解我们仍然以下周备餐为例。
风姑娘数据说·2024-01-25 11:05

数据库基础知识以及mysql的安装步骤

（数据仓库）数据：描述事务的符号记录，包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式，它们都可以经过数字化后存入计算机。数据库：数据仓库。
匿名好友657·2024-01-25 10:44

Hudi学习笔记(一)

学习目标什么是数据湖为什么使用数据湖Hudi基本功能如何编译Hudi源码Hudi与Spark集成管理Hudi中COW和ROW不同类型表功能Hudi的三种查询方式Hudi中不同表数据写入流程数据仓库数据仓库是一个用于存储
一一|一一一亅·2024-01-25 09:37

【AWS征文】AWS 数据分析新服务——数据湖

本文将从实践角度阐述AWS数据湖以及数据分析等产品，是如何帮助企业更加智能的利用数据，从而辅助业务决策。
wzlinux·2024-01-25 07:45

AWS实战：AWS Kinesis Data Firehose

简介AmazonKinesisDataFirehose是一项提取、转换、加载(ETL)服务，可以将串流数据以可靠方式捕获、转换和提供到数据湖、数据存储和分析服务中。
JessicaWind·2024-01-25 07:43

StarRocks本地部署

介绍StarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。
keyson R·2024-01-25 06:14

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
小猪Harry·2024-01-25 05:09

基于大模型(LLM)的数据仓库

数据仓库作为企业数据存储和管理的重要基础设施，其运维和管理面临着越来越多的挑战。如何构建一个高效、智能的数据仓库，成为了运维开发人员关注的焦点。
百度_开发者中心·2024-01-24 16:14

从数据处理到规模化应用

为了满足这一需求，许多组织开始转向数据仓库来提供稳定、高效的数据存储和处理能力。HashData等现代数据仓库解决方案的出现，为大模型的规模化应用提供了新的可能性。
百度_开发者中心·2024-01-24 16:14

在SQL Server中的关系型数据仓库分区策略

developer.51cto.com/art/200702/41068.htmhttp://www.fengfly.com/plus/view-29754-1.html在SQLServer中的关系型数据仓库分区策略
king_idea8848·2024-01-24 08:49

元数据管理在数据仓库中的实践应用

一、什么是数据仓库的元数据管理？1、什么是元数据？元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata）。
小枫@码·2024-01-24 08:53

数据仓库建模

简介数据仓库建模是指将数据仓库中的数据进行组织和结构化，以便支持分析、报告和查询。数据仓库建模需要考虑多个方面的因素，包括业务需求、数据源、查询性能等。
不加班程序员·2024-01-24 07:44

银行数据仓库体系实践（4）--数据抽取和加载

1、ETL和ELTETL是Extract、Transfrom、Load即抽取、转换、加载三个英文单词首字母的集合：E：抽取，从源系统(Souce)获取数据；T：转换，将源系统获取的数据进行处理加工，比如数据格式转化、数据精度转换、数据清洗、缺失数据补齐、异常数据排除等。L：加载，将数据加载到目标数据库(Target)。ELT也是同样三个单词的首字母组合，只是把T、L颠倒了下顺序。ETL强调的是先进
南极找南·2024-01-24 07:12

银行数据仓库体系实践（3）--数据架构

狭义的数据仓库数据架构用来特指数据分布，广义的数据仓库数据架构还包括数据模型、数据标准和数据治理。
南极找南·2024-01-24 07:42

数据仓库-相关概念

简介数据仓库是一个用于集成、存储和管理大量数据的系统。它用于支持企业决策制定过程中的数据分析和报告需求。数据仓库从多个来源收集和整合数据，并将其组织成易于查询和分析的结构。
不加班程序员·2024-01-24 07:10

【数据库】第一章 数据库基础理论

（数据仓库）数据：描述事务的符号记录，包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式，它们都可以经过数字化后存入计算机。数据库：数据仓库。
悲伤自画像·2024-01-24 04:55

数据仓库-日期维度表的设计与实现

时间维度表的制作1需求背景在大数据分析模块中，我们需要从不同的维度分析主题表，包括常用的公用维度：时间维，地区维度，教育信息维…以及各种各样的业务维度：员工维度，部门维度…，业务维度就是我们从哪些角度去分析业务过程，本文就是做一张常用时间维度表。时间维表由于是可预见的，因此可以一次性导入未来几十年的，当然对于一些节假日的设置可能只能获取未来一年的，因此可以每年全量更新一次。2维表设计给出时间维度表
yongfeicao·2024-01-23 21:17

【大数据精讲】全量同步与CDC增量同步方案对比

ETLETL数据仓库
话数Science·2024-01-23 20:44

企业建数仓的第一步是选择一个好用的ETL工具

当企业决定建立数据仓库（DataWarehouse），第一步就是选择一款优秀的ETL（Extract,Transform,Load）工具。
苛子·2024-01-23 20:36

解读 EventBridge Transform：数据转换和处理的灵活能力

除此之外，它还可以作为流式的数据管道，在不同的数据仓库和数据处理或分析程序之间快速构建ETL系统。本文将从以下几个方面展开对阿里云EventBridg
阿里云云原生·2024-01-23 20:05

PowerDesigner 导出数据库表到word文档

概述：利用PowerDesigner可以制作数据流程图、概念数据模型、物理数据模型，还可以为数据仓库制作结构模型，也能对团队设计模型进行控制，同时还可以创建一个数据库。
木白星枝·2024-01-23 17:28

邢春晓：新型区块链数据湖技术研发

其中邢春晓老师发表主题演讲《新型区块链数据湖技术研发》从区块链的发展趋势，新型区块链关键技术，区块链赋能经济社会等层面解析区块链+知识图谱发展趋势，为开源知识运动提供了重要的技术
EpikProtocol·2024-01-23 08:10

数据分析的理念、流程、方法、工具（上）

企业中数据从产生到应用依次要经过数据源层、数据仓库层、数据建模层，最后到数据应用层，经过层层加工逐渐支持到上游的应用环节。数据应用层
学掌门·2024-01-23 07:38

Hive 数仓及数仓设计方案

数仓(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供一个统一、规范的出口。做数仓就是做方案，是用数据治理企业的方案。
Byyyi耀·2024-01-23 06:34

数据仓库系列10- 数据仓库规范

一.数据模型架构原则1.1数据仓库分层分层的好处：清晰数据结构；数据血缘追踪；减少重复开发；数据关系条理化；屏蔽原始数据的影响。
只是甲·2024-01-23 06:20

Vue 兄弟组件通信

在Vue3中，以下是五种常用的方法来实现兄弟组件之间的通信：使用共享状态（SharedState）：创建一个共享的数据仓库（store），可以使用Vuex或者Vue3的新特性CompositionAPI
珊珊而川·2024-01-23 05:34

Vue 兄弟组件通信

在Vue3中，以下是五种常用的方法来实现兄弟组件之间的通信：使用共享状态（SharedState）：创建一个共享的数据仓库（store），可以使用Vuex或者Vue3的新特性CompositionAPI
珊珊而川·2024-01-23 05:34

Apache Paimon学习记录

基本都是在官网的学习，简单记录一下其中的核心特点ApachePaimon官网ApachePaimon|ApachePaimon根据官网介绍去快速了解paimon是用来设计做什么，可以做什么，对比与其他数据湖有什么特点
这个程序猿可太秀了·2024-01-22 17:27

数据湖技术之Paimon

一、简介Flink社区希望能够将Flink的Streaming实时计算能力和Lakehouse新架构优势进一步结合，推出新一代StreamingLakehouse技术，促进数据在数据湖上真正实时流动起来
小枫@码·2024-01-22 17:48

关于Hive架构原理，尚硅谷

首先hive的定义为，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，Hive中每张表的数
大数据ＳＱＬｂｏｙ·2024-01-22 11:41

【数据库原理】（38）数据仓库

数据仓库（DataWarehouse,DW）是为了满足企业决策分析需求而设计的数据环境，它与传统数据库有明显的不同。
游码客·2024-01-22 10:24

Apache Hive（二）

一、ApacheHive1、HiveSQLDML语法之加载数据2、HiveSQLDML语法之查询数据3、HiveSQLJoin关联查询4、HiveSQL中的函数使用数据仓库&ApacheHive请记住，
杀神lwz·2024-01-22 09:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他