E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据建模数据仓库
[AIGC 大数据基础]hive浅谈
Hive作为一个基于Hadoop的
数据仓库
基础设施,为用户提供了类SQL的查询语言和丰富的功能,使得处理大规模数据变得更加简单和高效。
程序员三木
·
2024-01-25 14:17
大后端
大数据
AIGC
hive
如何避免
数据仓库
项目失败
什么是
数据仓库
?在深入研究不同的
数据仓库
概念之前,了解
数据仓库
的实际含义非常重要。
数据仓库
通常被认为是商业智能系统,旨在帮助满足业务实体的日常报告需求。
国强_dev
·
2024-01-25 14:32
数据仓库
为什么需要
数据仓库
OLTP环境也会存储历史数据,但这些历史数据并不是业务运行所需的,这些历史数据需要经常归档到
数据仓库
,并且在OLTP数据库中删除。
howard_shooter
·
2024-01-25 13:46
Doris
数据仓库
数据库
大数据
【技术预研】StarRocks官方文档浅析(1)
参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型
数据仓库
,使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析
偏振万花筒
·
2024-01-25 12:37
大数据
starRocks
数据库
大数据
starRocks
数据库
数据库基础知识以及mysql的安装步骤
(
数据仓库
)数据:描述事务的符号记录,包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式,它们都可以经过数字化后存入计算机。数据库:
数据仓库
。
匿名好友657
·
2024-01-25 10:44
数据库
mysql
oracle
Hudi学习笔记(一)
学习目标什么是数据湖为什么使用数据湖Hudi基本功能如何编译Hudi源码Hudi与Spark集成管理Hudi中COW和ROW不同类型表功能Hudi的三种查询方式Hudi中不同表数据写入流程
数据仓库
数据仓库
是一个用于存储
一一|一一一亅
·
2024-01-25 09:37
学习
笔记
StarRocks本地部署
介绍StarRocks是一款高性能分析型
数据仓库
,使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。
keyson R
·
2024-01-25 06:14
数据库
数据库
大数据
StarRocks
数据仓库
Hive运行机制与使用
hive介绍hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
小猪Harry
·
2024-01-25 05:09
基于大模型(LLM)的
数据仓库
数据仓库
作为企业数据存储和管理的重要基础设施,其运维和管理面临着越来越多的挑战。如何构建一个高效、智能的
数据仓库
,成为了运维开发人员关注的焦点。
百度_开发者中心
·
2024-01-24 16:14
数据仓库
大模型
自然语言处理
llama
人工智能
从数据处理到规模化应用
为了满足这一需求,许多组织开始转向
数据仓库
来提供稳定、高效的数据存储和处理能力。HashData等现代
数据仓库
解决方案的出现,为大模型的规模化应用提供了新的可能性。
百度_开发者中心
·
2024-01-24 16:14
人工智能
大模型
自然语言处理
在SQL Server中的关系型
数据仓库
分区策略
developer.51cto.com/art/200702/41068.htmhttp://www.fengfly.com/plus/view-29754-1.html在SQLServer中的关系型
数据仓库
分区策略
king_idea8848
·
2024-01-24 08:49
SQL
海量数据
表分区和分表
sql
server
数据仓库
microsoft
磁盘
存储
数据库
元数据管理在
数据仓库
中的实践应用
一、什么是
数据仓库
的元数据管理?1、什么是元数据?元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(dataaboutdata)。
小枫@码
·
2024-01-24 08:53
数据治理
数据仓库
大数据
数据仓库
建模
简介
数据仓库
建模是指将
数据仓库
中的数据进行组织和结构化,以便支持分析、报告和查询。
数据仓库
建模需要考虑多个方面的因素,包括业务需求、数据源、查询性能等。
不加班程序员
·
2024-01-24 07:44
Hadoop相关
原理
ETL
数据仓库
数学建模
hadoop
银行
数据仓库
体系实践(4)--数据抽取和加载
1、ETL和ELTETL是Extract、Transfrom、Load即抽取、转换、加载三个英文单词首字母的集合:E:抽取,从源系统(Souce)获取数据;T:转换,将源系统获取的数据进行处理加工,比如数据格式转化、数据精度转换、数据清洗、缺失数据补齐、异常数据排除等。L:加载,将数据加载到目标数据库(Target)。ELT也是同样三个单词的首字母组合,只是把T、L颠倒了下顺序。ETL强调的是先进
南极找南
·
2024-01-24 07:12
银行数据仓库
数据仓库
银行
数据仓库
体系实践(3)--数据架构
狭义的
数据仓库
数据架构用来特指数据分布,广义的
数据仓库
数据架构还包括数据模型、数据标准和数据治理。
南极找南
·
2024-01-24 07:42
银行数据仓库
数据仓库
架构
数据仓库
-相关概念
简介
数据仓库
是一个用于集成、存储和管理大量数据的系统。它用于支持企业决策制定过程中的数据分析和报告需求。
数据仓库
从多个来源收集和整合数据,并将其组织成易于查询和分析的结构。
不加班程序员
·
2024-01-24 07:10
Hadoop相关
hive
ETL
数据仓库
大数据
【数据库】第一章 数据库基础理论
(
数据仓库
)数据:描述事务的符号记录,包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式,它们都可以经过数字化后存入计算机。数据库:
数据仓库
。
悲伤自画像
·
2024-01-24 04:55
数据库
数据库
oracle
数据仓库
-日期维度表的设计与实现
时间维度表的制作1需求背景在大数据分析模块中,我们需要从不同的维度分析主题表,包括常用的公用维度:时间维,地区维度,教育信息维…以及各种各样的业务维度:员工维度,部门维度…,业务维度就是我们从哪些角度去分析业务过程,本文就是做一张常用时间维度表。时间维表由于是可预见的,因此可以一次性导入未来几十年的,当然对于一些节假日的设置可能只能获取未来一年的,因此可以每年全量更新一次。2维表设计给出时间维度表
yongfeicao
·
2024-01-23 21:17
Hive
数据仓库
维度建模
大数据
日期维度
pymsql
【大数据精讲】全量同步与CDC增量同步方案对比
ETLETL
数据仓库
话数Science
·
2024-01-23 20:44
面试
大数据
大数据
企业建数仓的第一步是选择一个好用的ETL工具
当企业决定建立
数据仓库
(DataWarehouse),第一步就是选择一款优秀的ETL(Extract,Transform,Load)工具。
苛子
·
2024-01-23 20:36
etl
数据仓库
解读 EventBridge Transform:数据转换和处理的灵活能力
除此之外,它还可以作为流式的数据管道,在不同的
数据仓库
和数据处理或分析程序之间快速构建ETL系统。本文将从以下几个方面展开对阿里云EventBridg
阿里云云原生
·
2024-01-23 20:05
阿里云
云原生
EventBridge
1.2 数据模型
数据模型是对现实世界数据特征的抽象,是现实世界的模拟数据模型是用来描述数据、组织数据和对数据进行操作的数据模型应满足三方面要求:1能比较真实地模拟现实世界2容易为人所理解3便于在计算机上实现数据模型是数据库系统的核心和基础1.2.1
数据建模
数据建模
DarkFlameM
·
2024-01-23 18:07
数据库
PowerDesigner 导出数据库表到word文档
概述:利用PowerDesigner可以制作数据流程图、概念数据模型、物理数据模型,还可以为
数据仓库
制作结构模型,也能对团队设计模型进行控制,同时还可以创建一个数据库。
木白星枝
·
2024-01-23 17:28
杂杂杂
数据分析的理念、流程、方法、工具(上)
企业中数据从产生到应用依次要经过数据源层、
数据仓库
层、
数据建模
层,最后到数据应用层,经过层层加工逐渐支持到上游的应用环节。数据应用层
学掌门
·
2024-01-23 07:38
数据分析
IT
程序员
数据分析
数据挖掘
Hive 数仓及数仓设计方案
数仓(DataWarehouse)
数据仓库
存在的意义在于对企业的所有数据进行汇总,为企业各个部门提供一个统一、规范的出口。做数仓就是做方案,是用数据治理企业的方案。
Byyyi耀
·
2024-01-23 06:34
hive
hadoop
数据仓库
数据仓库
系列10-
数据仓库
规范
一.数据模型架构原则1.1
数据仓库
分层分层的好处:清晰数据结构;数据血缘追踪;减少重复开发;数据关系条理化;屏蔽原始数据的影响。
只是甲
·
2024-01-23 06:20
Vue 兄弟组件通信
在Vue3中,以下是五种常用的方法来实现兄弟组件之间的通信:使用共享状态(SharedState):创建一个共享的
数据仓库
(store),可以使用Vuex或者Vue3的新特性CompositionAPI
珊珊而川
·
2024-01-23 05:34
vue.js
javascript
ecmascript
Vue 兄弟组件通信
在Vue3中,以下是五种常用的方法来实现兄弟组件之间的通信:使用共享状态(SharedState):创建一个共享的
数据仓库
(store),可以使用Vuex或者Vue3的新特性CompositionAPI
珊珊而川
·
2024-01-23 05:34
vue.js
javascript
ecmascript
关于Hive架构原理,尚硅谷
首先hive的定义为,基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张表,Hive中每张表的数
大数据SQLboy
·
2024-01-22 11:41
Hive
hive
架构
hadoop
【数据库原理】(38)
数据仓库
数据仓库
(DataWarehouse,DW)是为了满足企业决策分析需求而设计的数据环境,它与传统数据库有明显的不同。
游码客
·
2024-01-22 10:24
数据库
数据库
数据仓库
Apache Hive(二)
一、ApacheHive1、HiveSQLDML语法之加载数据2、HiveSQLDML语法之查询数据3、HiveSQLJoin关联查询4、HiveSQL中的函数使用
数据仓库
&ApacheHive请记住,
杀神lwz
·
2024-01-22 09:16
数据分析
大数据
apache
hive
hadoop
Flink背景
数仓简介在信息爆炸的时代,为了从海量数据中洞察业务价值,驱动运营决策,企业通常会构建用于数据分析的
数据仓库
。
201001070
·
2024-01-22 08:31
Flink
flink
大数据
大数据开发之电商数仓(hadoop、flume、hive、hdfs、zookeeper、kafka)
第1章:
数据仓库
1.1
数据仓库
概述1.1.1
数据仓库
概念1、
数据仓库
概念:为企业制定决策,提供数据支持的集合。通过对
数据仓库
中数据的分析,可以帮助企业,改进业务流程、控制成本,提高产品质量。
Key-Key
·
2024-01-22 07:29
大数据
hadoop
flume
kafka
hive
hdfs
支持机器学习的8个
数据仓库
有一些
数据仓库
在一定程度上支持这一点。而随之而来的问题是:哪些
数据仓库
支持机器学习?它们是如何做到的?以下按字母排序对这些
数据仓库
进行分析和阐述。
鹤子青云上
·
2024-01-22 03:57
Hive SQL的编译过程(转)
Hive是基于Hadoop的一个
数据仓库
系统,在各大公司都有广泛的应用。美团
数据仓库
也是基于Hive搭建,每天执行近万次的HiveETL计算流程,负责每天数百GB的数据存储和分析。
愤怒的谜团
·
2024-01-21 20:40
《人人都是产品经理》40页
2005年入职阿里巴巴,三年时间从
数据仓库
需求分析工程师到需求分析师再到产品经理,作者以分享经验与体会为出发点,将自己三年产品工作过程中学到的思维方法与做事方式,及其他们对自己的帮助系统性的梳理为用户、
SnowbabyG
·
2024-01-21 18:03
JNPF低代码开发平台总体架构介绍
基于Springboot、Vue技术,采用微服务、前后端分离架构,基于可视化
数据建模
、流程建模、表单建模、报表建模等工具,零代码快速构建云端业务应用,也可基于代码生成工具开发复杂企业应用系统。
这我可不懂
·
2024-01-21 16:21
低代码
架构
JNPF
开发平台
4W字全面解读数据中台、
数据仓库
和数据湖
点击上方"大数据肌肉猿"关注,星标一起成长后台回复【加群】,进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来。据统计,每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决
无精疯
·
2024-01-21 15:59
数据仓库
sqlite
lamp
scipy
zk
数据仓库
系统如何运维和优化!
关于
数据仓库
系统的运维优化的详细内容:ApsaraClouder大数据专项技能认证:
数据仓库
系统的运维优化(本课程是阿里云大学ApsaraClouder大数据专项技能认证:
数据仓库
系统的运维优化相关课程
xmvip01
·
2024-01-21 12:51
数据仓库
简介、
数据仓库
的发展、数仓理论简介
数仓理论简介
数据仓库
解决方案诞生至今,也有2、30年的发展历史了,在这个过程中,数仓理论不断被更新和完善,逐步形成了目前大家普通遵守的数仓开发理论(概念)。
yida&yueda
·
2024-01-21 11:48
大数据
数据仓库
big
data
数据库
数据仓库
简介
一、数仓概念
数据仓库
,英文名称为DataWarehouse,可简写为DW或DWH。
数据仓库
,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
水坚石青
·
2024-01-21 11:46
数据仓库
mysql
数据库
java
数据仓库
oracle
大数据
数据大咖都在考CDMP,你呢?
全方位技能加持:CDMP认证涵盖
数据建模
、数据质量、数据治理等
IT课程顾问
·
2024-01-21 11:50
DAMA
服务器
python
java
前端
后端
Atlas元数据处理框架:让你的大数据应用更高效、更稳定!
不同业务线的数据可能存储在多种类型的数据库中,最终汇集到企业的
数据仓库
中进行整合分析。在这种情况下,追踪数据来源和理清数据之间的关系可能会变得非常困难。如
知识分享小能手
·
2024-01-21 03:26
学习心得体会
大数据
大数据
数据库
数据分析
数据集成时表模型同步方法解析
数据湖通常是OLAP型的数据库,虽然中台系统很少会采用多种
数据仓库
技术,但在技术选型时,可选项也有很多。数据集成可实现多种异构数据库间的数据
KaiwuDB 数据库
·
2024-01-20 23:58
KaiwuDB
技术博客
数据库
数据集成
数据同步
KaiwuDB
1- ETL概念
1、ETL概念 ETL是将业务系统的数据经过抽取、清洗转换之后加载到
数据仓库
的过程(从哪儿抽取:业务系统;加载到哪里:
数据仓库
) *问题: 1>抽取,怎么抽取?什么时候抽取?
大富的大数据之路
·
2024-01-20 17:23
数据仓库
ETL
数据仓库
ETL
ETL概念
ETL概念集锦
ETLhttps://zh.wikipedia.org/wiki/ETLDW(Datawarehouse)
数据仓库
https://zh.wikipedia.org/wiki/%E8%B3%87%E6%96%
weixin_34220623
·
2024-01-20 17:22
ETL基本概念
ETL一词较常用在
数据仓库
,但其对象并不限于
数据仓库
。它的主要作用是将企业中分散、非完全结构化、标准不统一的各种数据,整合到一起,形成企业级统一
数据仓库
,为企业的分析决策提供有质量保证的数据源。
晓之以理的喵~~
·
2024-01-20 17:22
ETL
数据分析
数据仓库
ETL 概念及实现<1>
ETL是
数据仓库
的第一步,指的是数据的EXTRACT、TRANSFER、LOAD三个步骤,解释分别是从操作系统中抽取,数据转化,入库。
weixin_43132433
·
2024-01-20 17:22
ETL
ETL概念详解
ETL是将业务系统的数据经过抽取、清洗转换之后加载到
数据仓库
的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节。
weixin_30502157
·
2024-01-20 17:52
数据库
ETL概念,ETL流程
ETL是将业务系统的数据经过抽取、清洗转换之后加载到
数据仓库
的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节。
weixin_30780649
·
2024-01-20 17:52
数据库
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他