E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据仓库数据中台数据湖
Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)
湖仓一体(DataLakehouse)融合了
数据仓库
的高性能、实时性以及
数据湖
的低成本、灵活性等优势,能够更加便捷地满足各种数据处理分析的需求。
SelectDB技术团队
·
2024-08-24 10:25
iceberg
doris
lakehouse
湖仓一体
数据库
【数据库和
数据仓库
】
数据仓库
和数据库主要有以下区别:一、用途不同数据库:就像一个日常的储物间,主要用于存储和管理日常业务操作中的各种数据,比如电商网站中用户的下单信息、银行系统中客户的交易记录等。
W Y
·
2024-08-23 22:03
数据库
数据仓库
大数据
关于Apache Iceberg
ApacheIceberg是一种为大
数据湖
设计的现代化、开放式的表格式。要理解它,我们先来看看它要解决的问题以及为什么需要它。
[听得时光枕水眠]
·
2024-08-23 02:33
apache
Apache Paimon毕业,湖仓架构的未来发展趋势!
经过社区的共同努力和持续创新,ApachePaimon在构建实时
数据湖
与流批处理技术领域取得了重大突破,
数据湖
步入实时新篇章!恭喜Paimon进入一个新的篇章,这篇文章也是我个人结合当前
王知无(import_bigdata)
·
2024-08-22 07:08
apache
架构
数字(智)化采购系统优点_亮点_应用场景
郑州信源数字化采购系统研发商,系统融合云原生、微服务、大数据、人工智能、物联网等先进技术,构建业务中台、
数据中台
、AI中台三大核心基座,以采购为切入点,结合供应链管理理念,为招采供应链提供交易、监管、数据
xinyuan_123456
·
2024-08-22 02:38
软件工程
云原生
微服务
什么是湖仓一体
数据湖
回顾在之前的文章《什么是
数据湖
》中提到
数据湖
遇到的几个挑战:不支持事务,缺乏对数据质量和治理的约束,缺乏性能优化的手段。
修破立生
·
2024-08-21 21:03
湖仓
数据仓库
big
data
数据库
大数据
数据仓库
——事务、快照和累积快照事实表
事务、快照和累积快照事务事实表跟踪定义业务过程的个体行为,并且支持几种描述这种行为事实。可以提供丰富的分析型能力,时常充当原子数据的粒度化仓库快照事实表周期性地采样状态度量,这些度量与一系列事务的累积效果相当,但是这些事务的格式不易进行研累积快照事实表用来跟踪通过一系列处理步骤的个体项的进展情况,用于研究多数过程中里程碑或者事件的经过时间。这种事实表在单一行中关联多个不同的行为。事务事实表事务事实
墨染丶eye
·
2024-03-28 23:58
背诵
数据仓库
数据库
服务器虚拟化和云平台,云平台和服务器虚拟化区别
云平台和服务器虚拟化区别内容精选换一换云硬盘(ElasticVolumeService,EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求,适用于分布式文件系统、开发测试、
数据仓库
以及高性能计算等场景
木子Hui
·
2024-03-20 05:14
服务器虚拟化和云平台
大数据开发(Hive面试真题-卷二)
跟
数据仓库
区别?3、Hive架构?4、Hive数据倾斜以及解决方案?5、Hive如果不用参数调优,在map和reduce端应该做什么?6、Hive的三种自定义函数是什么?实现步骤与流程?
Key-Key
·
2024-03-20 05:14
大数据
hive
面试
数据挖掘-数据预处理的必要性及主要任务
(2)数据集成:将数据由多个数据源合并成一个一致的数据存储,如
数据仓库
。(3)数据归约:可以通过如狙击、删除冗余特征或聚类来降低数据的规模。(4)数据变换:
嘣嘣嚓
·
2024-03-17 10:16
数据挖掘
数据仓库
数据库
数据分析
人工智能
MySQL建表以及excel内容导入
一个数据库从逻辑上来说是由一个或多个表空间所组成,表空间是数据库中物理编组的
数据仓库
。每一个表空间是由段所组成,一个表空间存放一个或多个数据库的物理文件。一个数据库中的
jameszjd
·
2024-03-17 00:03
mysql
excel
oracle
数据仓库
的设计开发应用(三)
目录五、
数据仓库
的实施(一)
数据仓库
的创建(二)数据抽取转换加载六、
数据仓库
系统的开发(一)开发任务(二)开发方法(三)系统测试七、
数据仓库
系统的应用(一)用户培训(二)决策支持(三)维护评估 五、
数据仓库
的实施
Francek Chen
·
2024-03-16 14:22
数据仓库与数据挖掘
数据仓库
大数据
数据仓库设计
数据库开发
03hive数仓安装与基础使用
hiveHive概述Hive是基于Hadoop的一个
数据仓库
工具。
daydayup9527
·
2024-03-14 13:39
hadoop_hive
运维
hadoop
Spark从入门到精通29:Spark SQL:工作原理剖析以及性能优化
SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的
数据仓库
,例如Hive。
勇于自信
·
2024-03-11 00:20
ETL策略
数据仓库
平台,ETL是很重要一环,看ETL的发展史,最初使用表格,人工从系统下载,在excel匹配,然后加载到
数据仓库
平台,到后来开始出现ETL工具,大概分为两个派别,以ETL架构的datastage,
朱先生_hfm
·
2024-03-10 13:11
etl
数据仓库
【
数据仓库
作业】第1章 绪论
三、简述
数据仓库
的定义。四、简述
数据仓库
的特征。五、简述主题的定义。六、简述元数据的概念。七、简述数据挖掘的主要任务。八、简述数据挖掘的主要步骤。九、下列活动是否属于数据挖掘任务,并简述其理由。
Francek Chen
·
2024-03-06 06:28
数据仓库与数据挖掘
数据仓库
数据库
数据挖掘
让数据用起来:
数据中台
建设的评估与选择(第4章)
开始构建企业级
数据仓库
,使用BI工具、大屏等。第三个阶段:数据驱动。加强业务与数据融合,利用大数据、机器学习、深度学习等技术进行精准营销、信用风险控制等。第四个阶段:运营优化。
小阳阳兄
·
2024-03-03 02:20
读书笔记
产品经理
数据分析
大数据
Hive
数据仓库
行转列
查了很多资料发现网上很多文章都是转发和抄袭,有些问题。这里分享一个自己项目中使用的行转列例子,供大家参考。代码如下:SELECTmy_id,nm_cd_map['A']ASmy_cd_a,nm_cd_map['B']ASmy_cd_b,nm_cd_map['C']ASmy_cd_c,nm_num_map['A']ASmy_num_a,nm_num_map['B']ASmy_num_b,nm_num
XueminXu
·
2024-02-28 07:47
大数据
hive
行转列
str_to_map
COLLECT_LIST
STRUCT
数据仓库
和
数据湖
的区别
数据仓库
和
数据湖
是两种不同的数据存储和管理架构,它们有以下区别:1.数据结构:
数据仓库
采用结构化的数据模型,通常是规范化的关系型数据库,其中数据以表格形式组织,使用预定义的模式和架构。
图灵追慕者
·
2024-02-28 02:10
中台
数据仓库
数据湖
数据中台
算法平台
【云学院干货】
数据仓库
服务:在冗余海量数据中找到正确决策
数据仓库
服务:在冗余海量数据中找到正确决策目前
数据仓库
分析解决方案在金融,电信,零售等多个行业发展迅速,很多企业在关键决策中需要对自身海量数据进行多样化,深层次的分析。
舒意从生
·
2024-02-24 07:21
每天一个数据分析题(一百六十四)
关于OLAP系统,下列选项不正确的是()A.是基于
数据仓库
的信息进行分析处理过程B.用户数量相对较少,其用户主要是业务决策人员与管理人员C.对响应时间要求非常高。
紫色沙
·
2024-02-22 22:43
数据分析题库
数据分析
大数据
数据挖掘
大数据计算技术秘史(上篇)
其实在大数据技术兴起之前,对于用户来讲并没有存储和计算的区分,都是用一套数据库或
数据仓库
的产品来解决问题。而在数据量爆炸性增长后,情况就变得不一样了。
·
2024-02-22 20:33
人工智能
开源ETL工具
ETL是构建
数据仓库
的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的
数据仓库
模型,将
SkTj
·
2024-02-20 20:15
ETL、ELT区别以及如何正确运用
这种方法适用于需要对数据进行加工和整合后再加载到目标系统的场景,如
数据仓库
构建、商业智能报表制作等。相比之下,ELT(Extract,Load,Transform)则是先将数据从源系统抽取出来,直
·
2024-02-20 18:00
etl数据处理
透彻理解实时数仓的支撑技术:Upsert Kafka 和 Flink 动态表(Dynamic Table)
博主历时三年精心创作的《大数据平台架构与原型实现:
数据中台
建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》
Laurence
·
2024-02-20 10:23
大数据专题
upsert-kafka
flink
动态表
原理
解释
更新
BI 数据分析,数据库,Office,可视化,
数据仓库
AIGCChatGPT职场案例AI绘画与短视频制作PowerBI商业智能68集Mysql8.054集Oracle21C142集Office2021实战应用Python数据分析实战,ETLInformatica
数据仓库
案例实战
阿里数据专家
·
2024-02-20 07:29
数据分析
数据库
数据仓库
excel
AIGC
powerpoint
数据挖掘
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践
博主历时三年精心创作的《大数据平台架构与原型实现:
数据中台
建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》
Laurence
·
2024-02-20 06:28
大数据专题
flink
catalog
hudi
metastore
hive
共用表
元数据
怎么用ETL工具实现MQ消息同步
而在一些特定场景下,需要将MQ中的消息同步到
数据仓库
或其他存储系统中,以便进行更深入的数据分析和挖掘。这时候,ETL工具可以成为实现MQ消息同步的利器。
RestCloud
·
2024-02-20 06:30
ETL
数据集成
MQ
ETL数据集成工具DataX、Kettle、ETLCloud特点对比
ETL数据集成工具对于
数据仓库
,大数据集成类应用,通常会采用ETL工具辅助完成。
RestCloud
·
2024-02-20 05:28
ETL
数据集成
datax
kettle
数据仓库
、大数据平台、
数据中台
的区别
问题导读:1、如何理解
数据中台
?2、
数据仓库
、大数据平台、
数据中台
都是什么?3、大数据平台硬件架构如何设计?4、
数据仓库
、大数据平台、
数据中台
架构如何理解?
000X000
·
2024-02-20 05:30
数据中台
我该建数仓、大数据平台还是
数据中台
?看完脑子终于清醒了
:顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台;平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有
数据仓库
zl1zl2zl3
·
2024-02-20 05:30
大数据
中台
大数据
中台
【30秒看懂大数据】
数据中台
点击上方「蓝字」关注我们30秒看懂大数据专栏让您在有限的碎片化时间,快速看懂最火热的大数据简单说:描述性分析中台是相对于前台和后台而言,
数据中台
就是对于数据进行加工、整理、分析、应用的一个中间平台,较于
数据中台
而言
风姑娘数据说
·
2024-02-20 05:58
生活中的数据学
大数据
大数据
大数据架构体系(
数据仓库
)
1、传统大数据架构优点缺点使用场景简单,易懂,对于BI系统来说,基本思想没有发生变化,变化的仅仅是技术选型,用大数据架构替换掉BI的组件1、没有BI下如此完备的Cube架构,虽然目前有kylin,但是kylin的局限性非常明显,远远没有BI下的Cube的灵活度和稳定度,因此对业务支撑的灵活度不够,2、存在大量报表,或者复杂的钻取的场景,需要太多的手工定制化3、同时该架构依旧以批处理为主,缺乏实时的
Shaw_Bigdata
·
2024-02-19 21:52
技术学习分享
数据仓库
大数据
企业如何选择一款高效的ETL工具
在企业发展至一定规模后,构建
数据仓库
(DataWarehouse)和商业智能(BI)系统成为重要举措。
·
2024-02-19 19:23
etl
ETL数据集成工具DataX、Kettle、ETLCloud特点对比
ETL数据集成工具对于
数据仓库
,大数据集成类应用,通常会采用ETL工具辅助完成。
·
2024-02-19 19:52
etlkettle
解读 EventBridge Transform,数据转换和处理的灵活能力
除此之外,它还可以作为流式的数据管道,在不同的
数据仓库
和数据处理或分析程序之间快速构建ETL系统。本文将从以下几个方面展开对阿里云EventBridgeTran
·
2024-02-19 18:08
Amazon Web Services -- 全球云计算领导者
AmazonWebServices--全球云计算领导者AmazonWebServices--全球云计算领导者、云基础设施与平台服务(Iaas&PaaS)领导者;计算、存储和数据库等基础设施技术,到机器学习、人工智能、
数据湖
和分析以及物联网等新兴技术
·
2024-02-19 16:06
数据系统架构-10.数仓开发平台
数仓开发平台1.背景
数据仓库
是存储各种数据的仓库,形同于现实当中存储货物的仓库,不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
·
2024-02-19 11:45
大数据系统架构数据仓库
StarRocks 介绍
其逻辑就是,基于页面的点击事件流,面向
数据仓库
进行OLAP
·
2024-02-19 10:16
dorisdb
大厂的供应链采购系统设计
负责:中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及
数据中台
等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
·
2024-02-19 10:16
后端
怎么用ETL工具实现MQ消息同步
而在一些特定场景下,需要将MQ中的消息同步到
数据仓库
或其他存储系统中,以便进行更深入的数据分析和挖掘。这时候,ETL工具可以成为实现MQ消息同步的利器。
·
2024-02-19 10:43
etl数据同步mq
基于 Webpack5 Module Federation 的业务解耦实践
我们是袋鼠云数栈UED团队,致力于打造优秀的一站式
数据中台
产品。我们始终保持工匠精神,探索前端道路,为社区积累并传播经验价值。
·
2024-02-19 10:01
Hive入门,Hive是什么?
Hive是一个开源的
数据仓库
工具,主要用于处理大规模数据集。它是建立在Hadoop生态系统之上的,利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy
·
2024-02-19 10:31
hive
hadoop
数据仓库
数仓面试
4).长的帅或漂亮,前四条都可以忽略1.什么是
数据仓库
?如何构建
数据仓库
?
China_mr001
·
2024-02-14 21:46
中金易云:为出版社找到下一本《解忧杂货店》
中金易云出版发行大数据平台正是以数字化转型为核心思路,以大
数据中台
与智能算法为基础的出版业供给侧结构性改革的成果。
猫耳呀
·
2024-02-13 19:57
Java+springboot+MYSQL停车场管理系统的设计与实现82061-计算机毕业设计项目选题推荐(免费领源码)
摘要由于数据库和
数据仓库
技术的快速发展,停车场管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
QQ_3376098506
·
2024-02-13 13:45
java
spring
boot
mysql
hadoop
php
python
c++
一份简单的产品经理转正工作总结
记得先点蓝字关注我哦~关注微信公众号:一个数据人的自留地1、回复“
数据中台
”,获取2、回复“数据产品”,获取3、回复“商业分析”,获取4、回复“交个朋友”,进入引言今天下大雨,小诺打着伞去公司上班,路上他小心翼翼的避开水坑
一个数据人的自留地
·
2024-02-13 12:06
五,Geoserver栅格
数据仓库
(/coveragestores)
覆盖率存储描述如何访问光栅数据源。/workspaces/{workspace}/coveragestoresGet:获取{workspace}中所有覆盖范围存储的列表Post:向服务器添加新的覆盖率存储条目。Put:无效。Delete:无效。改用/coverage/{style}/workspaces/{workspace}/coveragestores/{store}Get:在{workspa
武汉小强
·
2024-02-13 08:07
ETL入门系列 之 ETL是什么
简单定义:将数据从OLTP系统中转移到
数据仓库
中的一系列操作的集合。ETL应用范围抽取:一般抽取过程需要连接到不同的数据源,以便为随后的步骤提供数据。
小纠结在简书
·
2024-02-13 00:34
数据仓库
内容分享(十七):Doris实践分享:它做了哪些架构优化和场景优化?
ApacheDoris是一款开源的实时
数据仓库
,由百度旗下的技术团队开发。它具有高性能、高可靠性、易扩展等特点,能够满足大规模数据实时查询和分析的需求。
之乎者也·
·
2024-02-12 20:13
数据仓库内容分享
架构设计
内容分享
数据仓库
架构
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他