E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据中台数据仓库
数据仓库
系列篇之基本概述
@Author:Spinach|GHB@Link:http://blog.csdn.net/bocai8058文章目录前言什么是
数据仓库
数据仓库
与数据库的区别为什么要建立
数据仓库
及数仓平台的优势为什么要建立
数据仓库
大数据数仓平台的特点或优势
数据仓库
和数据集市的关系前言通过收集资料
小学僧来啦
·
2024-09-09 09:53
数据仓库
数据仓库
数据库
大数据
数据域VS主题域
数据域和主题域是
数据仓库
中两个重要的概念,他们在
数据仓库
建设和数据分析中扮演着不同的角色,两者有着明显的区别。数据域:以业务系统的角度,对业务过程进行归纳,抽象出来的数据域。
陈吉俊
·
2024-09-09 03:43
spark
大数据
分布式
MySQL数据库运维:深度解析与实践指南
⭐️全流程数据技术实战指南:全面讲解从数据采集到数据可视化的整个过程,掌握构建现代化数据平台和
数据仓库
的核心技术和方法。⭐
野老杂谈
·
2024-09-09 01:58
数据库
mysql
运维
Hive的优势与使用场景
Hive的优势Hive作为一个构建在Hadoop上的
数据仓库
工具,具有许多优势,特别是在处理大规模数据分析任务时。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
后端
大数据
hive
hadoop
数据仓库
大数据面试题:说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?
它提供了一种SQL(结构化查询语言)方言,可以查询存储在Hadoop分布式文件系统(HDFS)中的数据或其他和Hadoop集成的文件系统,如MapR-FS、Amazon的S3和像HBase(Hadoop
数据仓库
蓦然_
·
2024-09-08 15:50
大数据面试题
hive
大数据开发面试题
大数据面试
详解神策数据银行对公业务数字化运营解决方案
在此背景下,数据全生命周期的闭环体系成为银行数字化运营的引擎,发挥
数据中台
和业务中台相辅相成、相互支撑的作用,构建以客户数据为
汪功校
·
2024-09-08 04:34
大数据
hive序列生成_Hive实现自增列的两种方法
多维
数据仓库
中的维度表和事实表一般都需要有一个代理键,作为这些表的主键,代理键一般由单列的自增数字序列构成。
weixin_39559804
·
2024-09-05 20:17
hive序列生成
CDC 数据实时同步入湖的技术、架构和方案汇总
博主历时三年精心创作的《大数据平台架构与原型实现:
数据中台
建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》
Laurence
·
2024-09-05 18:33
CDC数据入湖方案
•
合集
大数据专题
CDC
实时
同步
数据湖
方案
架构
技术
数据仓库
之【商品订单数据数仓】10:数据可视化工具:Zeppelin安装部署、Zeppelin使用
一、数据可视化数据可视化这块不是项目的重点,不过为了让大家能有一个更加直观的感受,我们可以选择一些现成的数据可视化工具实现。咱们前面分析过,想要查询hive中的数据可以使用hue,不过hue无法自动生成图表。所以我们可以考虑使用Zeppelin针对一些复杂的图表,可以选择定制开发,使用echarts、finebi组件实现。二、Zeppelin安装部署注意:不要使用Zeppelin0.8.2版本,这
做一个有趣的人Zz
·
2024-09-05 15:45
hadoop
hive
数据仓库
hive
big
data
关于Apache Hive 和 Apache Iceberg
我们可以用大白话来比喻它们之间的关系:ApacheHive可以想象成一个“
数据仓库
超市”,它的货架上摆满了各种商品(数据),并且提供了一个购物车(HiveQL,一种类SQL语言),让你可以方便地从这些商品中挑选你想要的
[听得时光枕水眠]
·
2024-09-04 17:55
apache
hive
hadoop
【GaussDB(DWS)】数仓部署架构与物理结构分析
数仓架构与物理结构分析一、部署架构二、物理结构三、测试验证一、部署架构华为
数据仓库
服务DWS,集群版本8.1.3.x集群拓扑结构:上述拓扑结构为DWS单AZ高可靠部署架构,为减少硬件故障对系统可用性的影响
若兰幽竹
·
2024-09-03 20:06
GaussDB
DWS
gaussdb
hive学习记录
一、Hive的基本概念定义:Hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
2302_80695227
·
2024-09-03 12:46
hive
学习
hadoop
数据中台
:企业数字化转型的核心驱动力
一、
数据中台
的定义与核心思想1.1
数据中台
的概念与愿景
数据中台
,作为企业数字化转型的核心驱动力,其概念源于对传统数据管理模式的深刻反思与创新。
我就是全世界
·
2024-09-02 19:34
AI
大数据
医疗数字化转型
数据中台
架构方案(一)
为推进医疗数字化转型,我们提出构建
数据中台
架构方案:通过集成医院内外多个数据源,利用大数据、人工智能等技术对数据进行清洗、整合、标准化处理,形成高质量的数据资产;再基于云原生技术构建湖仓一体化大数据平台
智汇优库
·
2024-09-02 19:32
数字化转型
产业数字化
数字化建设
大数据
人工智能
产业数字化
政务
数字化建设
06 | 学数据分析要掌握哪些基本概念?
商业智能BI、
数据仓库
DW、数据挖掘DM开头中的百货商店利用数据预测用户购物行为属于商业智能,他们积累的顾客的消费行为习惯会存储在
数据仓库
中,通过对个体进行消费行为分析总结出来的规律属于数据挖掘。
张九日zx
·
2024-09-02 15:48
异构数据源间数据同步及迁移神器dbSwitch免费推荐!!
图1.开源多组件
数据中台
架构图 书接上回,下面分析数据采集层中DBswitch异构数据同步工具的使用及安装: 3.DBswitch异构数据同步工具DBswitch是一种异构数据同步工具,它能够将不同类型的数据进行转换
开源数据中台
·
2024-09-02 13:02
数据库
数据仓库
数据库开发
数仓分层架构:DWS
在
数据仓库
的分层架构中,"DWS"通常指的是
数据仓库
的"服务层"或"汇总层",但这个缩写可能根据不同的上下文有不同的含义。以下是几种可能的解释:1.
大连赵哥
·
2024-09-01 16:11
大数据
大数据
六、SpringCloud Alibaba + Spring Boot + mybatis +
数据中台
+多租户saas+前后端分离之Spring Cloud Alibaba基于Nacos分布式配置中心
1.前言在上一篇文章,我们实现了基于nacos做分布式配置中心,实施的存储、更新我们的配置文件数据,在使用以往的一些配置中心时,服务重启或者注册中心重启后,配置文件数据将会丢失,这种情况是因为将数据储存在JVM的内存当中,当JVM不再提供运行时,数据也会相应的丢失,一些开源框架默认将数据存储在JVM内存中的还挺多的,那么nacos又是存储在哪里呢?架构技术选型核心框架SpringBootSOASp
不会写代码的女程序猿
·
2024-08-31 14:03
分布式
spring
boot
spring
cloud
阿里云日志服务sls的典型应用场景
日志服务的典型应用场景包括:数据采集与消费、数据清洗与流计算(ETL/StreamProcessing)、
数据仓库
对接(DataWarehouse)、日志实时查询与分析。
阿里云天池
·
2024-08-31 01:30
体验场景
云计算
大数据分析与大数据开发两者的区别是怎样的?
大数据主要分为两个就业方向:①大数据开发②大数据分析大数据分析:主要负责现有数据价值提炼与挖掘,包括业务增长点挖掘,产品改进点挖掘,业务分析指标体系构建,业务分析报告出具等大数据开发:主要负责大数据平台与应用开发,包括
数据仓库
构建
泰迪智能科技01
·
2024-08-29 10:18
就业班
大数据
数据仓库
数据集成开源工具
数据集成是
数据仓库
建设的重要环节,开源工具在这一领域提供了许多强大的解决方案。
james二次元
·
2024-08-28 07:45
数据仓库
数据仓库
开源
【大数据】
数据仓库
的定义、数据模型及其建设与设计
1.
数据仓库
1.1定义
数据仓库
不是数据的简单堆积,而是从大量的事务型数据库中抽取数据,并将其清理、转换为新的存储格式,即为决策目标把数据聚合在一种特殊的格式中。
牧心.
·
2024-08-27 07:10
数据治理
大数据
数据仓库
第三章 可视化ETL平台——Kettle
课程目标能够理解Kettle的主要用途能够搭建Kettle开发环境能够掌握Kettle输入组件的使用能够掌握Kettle输出组件的使用能够掌握Kettle转换组件的使用1.Kettle介绍1.1
数据仓库
数据仓库
是一个很大的数据存储集合
okbin1991
·
2024-08-26 12:30
etl
数据仓库
数据库
数据仓库
系列总结
一、
数据仓库
架构1、
数据仓库
的概念
数据仓库
(DataWarehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。
大数据00
·
2024-08-25 10:17
数据仓库
数据仓库
数据仓库
中的表设计模式:全量表、增量表与拉链表
在现代
数据仓库
中,管理和分析海量数据需要高效且灵活的数据存储策略。全量表、增量表和拉链表是三种常见的数据存储模式,各自针对不同的数据管理需求提供了解决方案。
isNotNullX
·
2024-08-25 09:45
数据仓库
设计模式
spark
从零到一建设
数据中台
- 关键技术汇总
一、
数据中台
关键技术汇总语言框架:Java、Maven、SpringBoot数据分布式采集:Flume、Sqoop、kettle数据分布式存储:HadoopHDFS离线批处理计算:MapReduce、Spark
我码玄黄
·
2024-08-24 12:09
数据中台
数据挖掘
数据分析
大数据
Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)
湖仓一体(DataLakehouse)融合了
数据仓库
的高性能、实时性以及数据湖的低成本、灵活性等优势,能够更加便捷地满足各种数据处理分析的需求。
SelectDB技术团队
·
2024-08-24 10:25
iceberg
doris
lakehouse
湖仓一体
数据库
【数据库和
数据仓库
】
数据仓库
和数据库主要有以下区别:一、用途不同数据库:就像一个日常的储物间,主要用于存储和管理日常业务操作中的各种数据,比如电商网站中用户的下单信息、银行系统中客户的交易记录等。
W Y
·
2024-08-23 22:03
数据库
数据仓库
大数据
数字(智)化采购系统优点_亮点_应用场景
郑州信源数字化采购系统研发商,系统融合云原生、微服务、大数据、人工智能、物联网等先进技术,构建业务中台、
数据中台
、AI中台三大核心基座,以采购为切入点,结合供应链管理理念,为招采供应链提供交易、监管、数据
xinyuan_123456
·
2024-08-22 02:38
软件工程
云原生
微服务
什么是湖仓一体
在数据湖的基础之上引入事务层,把数据湖和
数据仓库
的优点有机结合在一起,形成了一个可以同时支持数据分析、数据科
修破立生
·
2024-08-21 21:03
湖仓
数据仓库
big
data
数据库
大数据
数据仓库
——事务、快照和累积快照事实表
事务、快照和累积快照事务事实表跟踪定义业务过程的个体行为,并且支持几种描述这种行为事实。可以提供丰富的分析型能力,时常充当原子数据的粒度化仓库快照事实表周期性地采样状态度量,这些度量与一系列事务的累积效果相当,但是这些事务的格式不易进行研累积快照事实表用来跟踪通过一系列处理步骤的个体项的进展情况,用于研究多数过程中里程碑或者事件的经过时间。这种事实表在单一行中关联多个不同的行为。事务事实表事务事实
墨染丶eye
·
2024-03-28 23:58
背诵
数据仓库
数据库
服务器虚拟化和云平台,云平台和服务器虚拟化区别
云平台和服务器虚拟化区别内容精选换一换云硬盘(ElasticVolumeService,EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求,适用于分布式文件系统、开发测试、
数据仓库
以及高性能计算等场景
木子Hui
·
2024-03-20 05:14
服务器虚拟化和云平台
大数据开发(Hive面试真题-卷二)
跟
数据仓库
区别?3、Hive架构?4、Hive数据倾斜以及解决方案?5、Hive如果不用参数调优,在map和reduce端应该做什么?6、Hive的三种自定义函数是什么?实现步骤与流程?
Key-Key
·
2024-03-20 05:14
大数据
hive
面试
数据挖掘-数据预处理的必要性及主要任务
(2)数据集成:将数据由多个数据源合并成一个一致的数据存储,如
数据仓库
。(3)数据归约:可以通过如狙击、删除冗余特征或聚类来降低数据的规模。(4)数据变换:
嘣嘣嚓
·
2024-03-17 10:16
数据挖掘
数据仓库
数据库
数据分析
人工智能
MySQL建表以及excel内容导入
一个数据库从逻辑上来说是由一个或多个表空间所组成,表空间是数据库中物理编组的
数据仓库
。每一个表空间是由段所组成,一个表空间存放一个或多个数据库的物理文件。一个数据库中的
jameszjd
·
2024-03-17 00:03
mysql
excel
oracle
数据仓库
的设计开发应用(三)
目录五、
数据仓库
的实施(一)
数据仓库
的创建(二)数据抽取转换加载六、
数据仓库
系统的开发(一)开发任务(二)开发方法(三)系统测试七、
数据仓库
系统的应用(一)用户培训(二)决策支持(三)维护评估 五、
数据仓库
的实施
Francek Chen
·
2024-03-16 14:22
数据仓库与数据挖掘
数据仓库
大数据
数据仓库设计
数据库开发
03hive数仓安装与基础使用
hiveHive概述Hive是基于Hadoop的一个
数据仓库
工具。
daydayup9527
·
2024-03-14 13:39
hadoop_hive
运维
hadoop
Spark从入门到精通29:Spark SQL:工作原理剖析以及性能优化
SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的
数据仓库
,例如Hive。
勇于自信
·
2024-03-11 00:20
ETL策略
数据仓库
平台,ETL是很重要一环,看ETL的发展史,最初使用表格,人工从系统下载,在excel匹配,然后加载到
数据仓库
平台,到后来开始出现ETL工具,大概分为两个派别,以ETL架构的datastage,
朱先生_hfm
·
2024-03-10 13:11
etl
数据仓库
【
数据仓库
作业】第1章 绪论
三、简述
数据仓库
的定义。四、简述
数据仓库
的特征。五、简述主题的定义。六、简述元数据的概念。七、简述数据挖掘的主要任务。八、简述数据挖掘的主要步骤。九、下列活动是否属于数据挖掘任务,并简述其理由。
Francek Chen
·
2024-03-06 06:28
数据仓库与数据挖掘
数据仓库
数据库
数据挖掘
让数据用起来:
数据中台
建设的评估与选择(第4章)
开始构建企业级
数据仓库
,使用BI工具、大屏等。第三个阶段:数据驱动。加强业务与数据融合,利用大数据、机器学习、深度学习等技术进行精准营销、信用风险控制等。第四个阶段:运营优化。
小阳阳兄
·
2024-03-03 02:20
读书笔记
产品经理
数据分析
大数据
Hive
数据仓库
行转列
查了很多资料发现网上很多文章都是转发和抄袭,有些问题。这里分享一个自己项目中使用的行转列例子,供大家参考。代码如下:SELECTmy_id,nm_cd_map['A']ASmy_cd_a,nm_cd_map['B']ASmy_cd_b,nm_cd_map['C']ASmy_cd_c,nm_num_map['A']ASmy_num_a,nm_num_map['B']ASmy_num_b,nm_num
XueminXu
·
2024-02-28 07:47
大数据
hive
行转列
str_to_map
COLLECT_LIST
STRUCT
数据仓库
和数据湖的区别
数据仓库
和数据湖是两种不同的数据存储和管理架构,它们有以下区别:1.数据结构:
数据仓库
采用结构化的数据模型,通常是规范化的关系型数据库,其中数据以表格形式组织,使用预定义的模式和架构。
图灵追慕者
·
2024-02-28 02:10
中台
数据仓库
数据湖
数据中台
算法平台
【云学院干货】
数据仓库
服务:在冗余海量数据中找到正确决策
数据仓库
服务:在冗余海量数据中找到正确决策目前
数据仓库
分析解决方案在金融,电信,零售等多个行业发展迅速,很多企业在关键决策中需要对自身海量数据进行多样化,深层次的分析。
舒意从生
·
2024-02-24 07:21
每天一个数据分析题(一百六十四)
关于OLAP系统,下列选项不正确的是()A.是基于
数据仓库
的信息进行分析处理过程B.用户数量相对较少,其用户主要是业务决策人员与管理人员C.对响应时间要求非常高。
紫色沙
·
2024-02-22 22:43
数据分析题库
数据分析
大数据
数据挖掘
大数据计算技术秘史(上篇)
其实在大数据技术兴起之前,对于用户来讲并没有存储和计算的区分,都是用一套数据库或
数据仓库
的产品来解决问题。而在数据量爆炸性增长后,情况就变得不一样了。
·
2024-02-22 20:33
人工智能
开源ETL工具
ETL是构建
数据仓库
的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的
数据仓库
模型,将
SkTj
·
2024-02-20 20:15
ETL、ELT区别以及如何正确运用
这种方法适用于需要对数据进行加工和整合后再加载到目标系统的场景,如
数据仓库
构建、商业智能报表制作等。相比之下,ELT(Extract,Load,Transform)则是先将数据从源系统抽取出来,直
·
2024-02-20 18:00
etl数据处理
透彻理解实时数仓的支撑技术:Upsert Kafka 和 Flink 动态表(Dynamic Table)
博主历时三年精心创作的《大数据平台架构与原型实现:
数据中台
建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》
Laurence
·
2024-02-20 10:23
大数据专题
upsert-kafka
flink
动态表
原理
解释
更新
BI 数据分析,数据库,Office,可视化,
数据仓库
AIGCChatGPT职场案例AI绘画与短视频制作PowerBI商业智能68集Mysql8.054集Oracle21C142集Office2021实战应用Python数据分析实战,ETLInformatica
数据仓库
案例实战
阿里数据专家
·
2024-02-20 07:29
数据分析
数据库
数据仓库
excel
AIGC
powerpoint
数据挖掘
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他