E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据建模数据仓库
ETL策略
数据仓库
平台,ETL是很重要一环,看ETL的发展史,最初使用表格,人工从系统下载,在excel匹配,然后加载到
数据仓库
平台,到后来开始出现ETL工具,大概分为两个派别,以ETL架构的datastage,
朱先生_hfm
·
2024-03-10 13:11
etl
数据仓库
数据分析Pandas专栏---第十一章<Pandas数据聚合与分组(1)>
无论是市场营销数据分析、销售业绩评估还是金融
数据建模
,数据聚合和分组操作都起着关键的作用。正文:数据聚合操作定义数据聚合在数据分析中,聚合是指将多个数据元素合并为更高级别的结果表示。
晦涩男董先生
·
2024-03-08 02:24
数据分析pandas
数据分析
pandas
数据挖掘
【
数据仓库
作业】第1章 绪论
三、简述
数据仓库
的定义。四、简述
数据仓库
的特征。五、简述主题的定义。六、简述元数据的概念。七、简述数据挖掘的主要任务。八、简述数据挖掘的主要步骤。九、下列活动是否属于数据挖掘任务,并简述其理由。
Francek Chen
·
2024-03-06 06:28
数据仓库与数据挖掘
数据仓库
数据库
数据挖掘
让数据用起来:数据中台建设的评估与选择(第4章)
开始构建企业级
数据仓库
,使用BI工具、大屏等。第三个阶段:数据驱动。加强业务与数据融合,利用大数据、机器学习、深度学习等技术进行精准营销、信用风险控制等。第四个阶段:运营优化。
小阳阳兄
·
2024-03-03 02:20
读书笔记
产品经理
数据分析
大数据
《决胜B端:产品经理升级之路》第六章
第06章B端产品的细节方案设计6.1业务
数据建模
业务
数据建模
也叫实体建模、领域建模,或业务对象建模,是指针对业务特点,归纳并设计对应的底层数据模型的过程。
蛋蛋的读书笔记
·
2024-03-02 08:37
Hive
数据仓库
行转列
查了很多资料发现网上很多文章都是转发和抄袭,有些问题。这里分享一个自己项目中使用的行转列例子,供大家参考。代码如下:SELECTmy_id,nm_cd_map['A']ASmy_cd_a,nm_cd_map['B']ASmy_cd_b,nm_cd_map['C']ASmy_cd_c,nm_num_map['A']ASmy_num_a,nm_num_map['B']ASmy_num_b,nm_num
XueminXu
·
2024-02-28 07:47
大数据
hive
行转列
str_to_map
COLLECT_LIST
STRUCT
数据仓库
和数据湖的区别
数据仓库
和数据湖是两种不同的数据存储和管理架构,它们有以下区别:1.数据结构:
数据仓库
采用结构化的数据模型,通常是规范化的关系型数据库,其中数据以表格形式组织,使用预定义的模式和架构。
图灵追慕者
·
2024-02-28 02:10
中台
数据仓库
数据湖
数据中台
算法平台
【云学院干货】
数据仓库
服务:在冗余海量数据中找到正确决策
数据仓库
服务:在冗余海量数据中找到正确决策目前
数据仓库
分析解决方案在金融,电信,零售等多个行业发展迅速,很多企业在关键决策中需要对自身海量数据进行多样化,深层次的分析。
舒意从生
·
2024-02-24 07:21
每天一个数据分析题(一百六十四)
关于OLAP系统,下列选项不正确的是()A.是基于
数据仓库
的信息进行分析处理过程B.用户数量相对较少,其用户主要是业务决策人员与管理人员C.对响应时间要求非常高。
紫色沙
·
2024-02-22 22:43
数据分析题库
数据分析
大数据
数据挖掘
大数据计算技术秘史(上篇)
其实在大数据技术兴起之前,对于用户来讲并没有存储和计算的区分,都是用一套数据库或
数据仓库
的产品来解决问题。而在数据量爆炸性增长后,情况就变得不一样了。
·
2024-02-22 20:33
人工智能
开源ETL工具
ETL是构建
数据仓库
的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的
数据仓库
模型,将
SkTj
·
2024-02-20 20:15
ETL、ELT区别以及如何正确运用
这种方法适用于需要对数据进行加工和整合后再加载到目标系统的场景,如
数据仓库
构建、商业智能报表制作等。相比之下,ELT(Extract,Load,Transform)则是先将数据从源系统抽取出来,直
·
2024-02-20 18:00
etl数据处理
BI 数据分析,数据库,Office,可视化,
数据仓库
AIGCChatGPT职场案例AI绘画与短视频制作PowerBI商业智能68集Mysql8.054集Oracle21C142集Office2021实战应用Python数据分析实战,ETLInformatica
数据仓库
案例实战
阿里数据专家
·
2024-02-20 07:29
数据分析
数据库
数据仓库
excel
AIGC
powerpoint
数据挖掘
怎么用ETL工具实现MQ消息同步
而在一些特定场景下,需要将MQ中的消息同步到
数据仓库
或其他存储系统中,以便进行更深入的数据分析和挖掘。这时候,ETL工具可以成为实现MQ消息同步的利器。
RestCloud
·
2024-02-20 06:30
ETL
数据集成
MQ
ETL数据集成工具DataX、Kettle、ETLCloud特点对比
ETL数据集成工具对于
数据仓库
,大数据集成类应用,通常会采用ETL工具辅助完成。
RestCloud
·
2024-02-20 05:28
ETL
数据集成
datax
kettle
数据仓库
、大数据平台、数据中台的区别
2、
数据仓库
、大数据平台、数据中台都是什么?3、大数据平台硬件架构如何设计?4、
数据仓库
、大数据平台、数据中台架构如何理解?
000X000
·
2024-02-20 05:30
数据中台
我该建数仓、大数据平台还是数据中台?看完脑子终于清醒了
:顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台;平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有
数据仓库
zl1zl2zl3
·
2024-02-20 05:30
大数据
中台
大数据
中台
数据模型概念
可以将这些模型划分为两类:(2)分类A:概念数据模型它也称信息模型它是按用户的观点(观念世界)来对数据和信息建模,主要用于数据库设计B:DBMS支持的基本数据模型它是按计算机系统的观点进行(机器世界)
数据建模
我想要变强
·
2024-02-20 02:34
oracle
数据库
Python如何运用matplotlib库绘制3D图形
3D图形在数据分析、
数据建模
、图形和图像处理等领域中都有着广泛的应用,下面将给大家介绍一下如何在Python中使用matplotlib进行3D图形的绘制,包括3D散点、3D表面、3D轮廓、3D直线(曲线
hakesashou
·
2024-02-20 00:58
python基础知识
python
matplotlib
3d
大数据架构体系(
数据仓库
)
1、传统大数据架构优点缺点使用场景简单,易懂,对于BI系统来说,基本思想没有发生变化,变化的仅仅是技术选型,用大数据架构替换掉BI的组件1、没有BI下如此完备的Cube架构,虽然目前有kylin,但是kylin的局限性非常明显,远远没有BI下的Cube的灵活度和稳定度,因此对业务支撑的灵活度不够,2、存在大量报表,或者复杂的钻取的场景,需要太多的手工定制化3、同时该架构依旧以批处理为主,缺乏实时的
Shaw_Bigdata
·
2024-02-19 21:52
技术学习分享
数据仓库
大数据
企业如何选择一款高效的ETL工具
在企业发展至一定规模后,构建
数据仓库
(DataWarehouse)和商业智能(BI)系统成为重要举措。
·
2024-02-19 19:23
etl
ETL数据集成工具DataX、Kettle、ETLCloud特点对比
ETL数据集成工具对于
数据仓库
,大数据集成类应用,通常会采用ETL工具辅助完成。
·
2024-02-19 19:52
etlkettle
解读 EventBridge Transform,数据转换和处理的灵活能力
除此之外,它还可以作为流式的数据管道,在不同的
数据仓库
和数据处理或分析程序之间快速构建ETL系统。本文将从以下几个方面展开对阿里云EventBridgeTran
·
2024-02-19 18:08
数据库系统 --- 绪论
目录一、数据库系统概述1.4个基本概念2.数据管理技术的产生和发展二、数据模型1.
数据建模
2.概念模型3.数据模型的三要素4.层次模型5.关系模型三、数据库系统的三级模式结构1.基本概念2.数据库的三级模式结构
顾城猿
·
2024-02-19 16:53
数据库
数据系统架构-10.数仓开发平台
数仓开发平台1.背景
数据仓库
是存储各种数据的仓库,形同于现实当中存储货物的仓库,不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
·
2024-02-19 11:45
大数据系统架构数据仓库
【软考高级信息系统项目管理师--第五章:信息系统工程下】
作者:“码上有前”文章简介:软考高级–信息系统项目管理师欢迎小伙伴们点赞、收藏⭐、留言第五章:信息系统工程下数据工程十八、数据模型分类十九、
数据建模
过程二十、数据元数据标准化管理数掘备份数据容灾数据清理步骤数据开发利用二十四
码上有前
·
2024-02-19 11:40
软考高项
职场和发展
程序人生
学习方法
软件工程
StarRocks 介绍
其逻辑就是,基于页面的点击事件流,面向
数据仓库
进行OLAP
·
2024-02-19 10:16
dorisdb
怎么用ETL工具实现MQ消息同步
而在一些特定场景下,需要将MQ中的消息同步到
数据仓库
或其他存储系统中,以便进行更深入的数据分析和挖掘。这时候,ETL工具可以成为实现MQ消息同步的利器。
·
2024-02-19 10:43
etl数据同步mq
Hive入门,Hive是什么?
Hive是一个开源的
数据仓库
工具,主要用于处理大规模数据集。它是建立在Hadoop生态系统之上的,利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy
·
2024-02-19 10:31
hive
hadoop
数据仓库
数仓面试
4).长的帅或漂亮,前四条都可以忽略1.什么是
数据仓库
?如何构建
数据仓库
?
China_mr001
·
2024-02-14 21:46
学会这招,POWER BI建模过程中会带来更多方便!
在POWERBI
数据建模
过程中,有时候我们需要新建一个具有特定维度的表,以便建立关系,通过它实现对一个甚至多个表格的控制。比如下图所示:你有两张数据表——业绩表、客户表。
麦浪_011e
·
2024-02-14 01:05
Java+springboot+MYSQL停车场管理系统的设计与实现82061-计算机毕业设计项目选题推荐(免费领源码)
摘要由于数据库和
数据仓库
技术的快速发展,停车场管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
QQ_3376098506
·
2024-02-13 13:45
java
spring
boot
mysql
hadoop
php
python
c++
五,Geoserver栅格
数据仓库
(/coveragestores)
覆盖率存储描述如何访问光栅数据源。/workspaces/{workspace}/coveragestoresGet:获取{workspace}中所有覆盖范围存储的列表Post:向服务器添加新的覆盖率存储条目。Put:无效。Delete:无效。改用/coverage/{style}/workspaces/{workspace}/coveragestores/{store}Get:在{workspa
武汉小强
·
2024-02-13 08:07
探索XGBoost:时间序列
数据建模
导言XGBoost是一种强大的机器学习算法,广泛应用于各种领域的
数据建模
任务中。但是,在处理时间序列数据时,需要特别注意数据的特点和模型的选择。
Echo_Wish
·
2024-02-13 05:22
Python
笔记
Python算法
python
算法
开发语言
ETL入门系列 之 ETL是什么
简单定义:将数据从OLTP系统中转移到
数据仓库
中的一系列操作的集合。ETL应用范围抽取:一般抽取过程需要连接到不同的数据源,以便为随后的步骤提供数据。
小纠结在简书
·
2024-02-13 00:34
数据仓库
内容分享(十七):Doris实践分享:它做了哪些架构优化和场景优化?
ApacheDoris是一款开源的实时
数据仓库
,由百度旗下的技术团队开发。它具有高性能、高可靠性、易扩展等特点,能够满足大规模数据实时查询和分析的需求。
之乎者也·
·
2024-02-12 20:13
数据仓库内容分享
架构设计
内容分享
数据仓库
架构
云计算 - 对象存储服务OSS技术全解
从媒体存储到数据备份,再到
数据仓库
与数据湖,我们不仅解析了OSS在各种应用场景下的关键角色,还深入讨论了其与机器学习、多媒体处理以及日志和监控等多个开发场景的结合。
·
2024-02-11 18:21
go后端
离线数仓(一)【数仓概念、需求架构】
1、
数据仓库
概念1.1、概念
数据仓库
(DataWarehouse),是为企业制定决策,提供数据支持的。可以帮助企业,改进业务流程、提高产品质量等。(
数据仓库
的目的
让线程再跑一会
·
2024-02-11 11:58
离线数仓
大数据
Hive与ClickHouse的区别
Hive是Hadoop生态系统中事实上的
数据仓库
标准。Hive是建立在Hadoop生态中的
数据仓库
中间件,其本身并不提供存储与计算能力。
晓之以理的喵~~
·
2024-02-11 08:18
Hadoop
大数据
hive
hive
clickhouse
hadoop
Spring框架常见的注解Spring、SpringMVC、SpringBoot)
@Repository:表示一个
数据仓库
组件,用于数据库访问。@Controller:定义
辞暮尔尔-烟火年年
·
2024-02-11 03:31
框架
Spring
spring
java
京东面试总结
1
数据仓库
的概念?和数据库的区别?2hdfs上传文件有哪几种方式?3Hive的优化问题?4Hive的数据倾斜问题?5数据分析?概念和总结6Django源码?7python的浅拷贝和深拷贝?
小小少年Boy
·
2024-02-09 21:45
OLAP 和数据挖掘的关系
从技术角度看,商务智能的过程是企业的决策人员以企业中的
数据仓库
为基础,经由数据挖掘工具、联机分析处理工具加上决策规划人员的专业知识,从数据中获得有用的信息和知识,帮助企业获取更多的利润。
挣扎的菜鸟
·
2024-02-09 18:02
数据库
数据中台 pdf_数据中台到底怎么建设,有人把他说清楚了
本人断断续续从事
数据仓库
约有五六年经验,在移动公司前三年是负责
数据仓库
项目实施,后四年开发搞大数据平台,见证了从传统
数据仓库
转型到大数据平台的全历程,见证了大数据平台从0到1的全部过程,包括第一个MPP
weixin_39699121
·
2024-02-09 18:59
数据中台
pdf
【DDD】学习笔记-理解领域模型
EricEvans的领域驱动设计是对软件设计领域的一次重新审视,是在面向对象语言大行其道时对
数据建模
的“拨乱反正”。
码农丁丁
·
2024-02-09 08:59
软件工程
#
领域驱动设计
DDD
微服务
领域驱动设计
亚马逊认证考试系列 - 知识点 - Redshift简介
AWSRedshift是一种快速、可扩展的
数据仓库
服务,可简化数据分析和BI工作负载的管理。它提供了强大的数据处理能力,使得用户能够轻松地分析海量的数据,并从中汲取有价值的信息。
customservice
·
2024-02-09 02:32
考试专栏
-
AWS
大数据
aws
云计算
IT认证
认证考试
学习
浅谈ETL
前言ETL开发是数据工程师必备的技能之一,在
数据仓库
、BI等场景中起到重要的作用。但很多从业者连ETL对应的英文是什么都不了解,更不要谈对ETL的深入解析,这无疑是非常不称职的。
秋夜雨凉
·
2024-02-08 21:15
UML 2.5图形库
统一建模语言(UML)是一组标准符号和图类型,通常用于
数据建模
、工作流可视化和系统建模。
程序员布瓜
·
2024-02-08 20:19
drawon
uml
uml2.5
SQL在云计算中的新角色:重新定义数据分析
文章目录1.云计算与数据分析的融合2.SQL在云计算中的新角色3.分布式SQL查询引擎4.SQL-on-Hadoop解决方案5.SQL与其他数据分析工具的集成6.实时数据分析与SQL7.SQL在云
数据仓库
中的角色
程序边界
·
2024-02-08 13:01
sql
云计算
数据分析
Apache Doris 用户案例库
物化视图与索引在京东的典型应用ApacheDoris在京东客服OLAP中的应用实践京东搜索实时OLAP探索与实践知乎基于ApacheDoris的DMP平台架构建设实践同程数科基于ApacheDoris的
数据仓库
建设货拉拉基于
hf200012
·
2024-02-08 11:03
Doris
大数据
doris
13
数据仓库
设计
1.
数据仓库
分层该项目数据分层如下:2.
数据仓库
构建流程2.1数据调研数据调研重点做两项工作,分别是业务调研和需求分析。2.1.1业务调研业务调研主要目标是熟悉业务流程、熟悉业务数据。
kk_io
·
2024-02-08 10:32
数据仓库
数据仓库
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他