E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据湖数据仓库
如何将单体
数据湖
转移到分布式数据网格
许多企业正在投资下一代
数据湖
,希望大规模地实现数据民主化,以提供商业洞察力,并最终做出自动化的智能决策。基于
数据湖
架构的数据平台存在着常见的失败模式,这些失败
蚊子squirrel
·
2023-09-05 05:14
Hive 和 HDFS、MySQL 之间的关系
HiveHive是一个基于Hadoop生态系统的
数据仓库
工具,用于管理和查询大规模数据集。它提供了一种类似于SQL的查询语言(HiveQL),允许用户执行数据分析和查询操作。
月亮给我抄代码
·
2023-09-05 05:42
hive
hdfs
mysql
大数据
数据仓库
MySQL数据库
数据库—
数据仓库
—数据持久化,管理数据关系(型)数据库:MySQL、Oracle、SQLServer、MariaDB、DB2、PostgreSQL、SQLite(嵌入式数据库)等非关系型数据库:NoSQL
乌拉的故事
·
2023-09-05 05:06
SQL
学习
开发语言
sql
mysql
Kylin:多维立方体(Cube)
Cube示意图几个关键词
数据仓库
:存放的数据包含时间信息,且不常被修改立方体:由维度构建出来的多维空间,包含了所有要分析的基础数据,所有的聚合数据操作都
longLiveData
·
2023-09-05 02:49
基于 Kafka、Flink 构建实时
数据湖
的最佳实践
最近行业大佬都在聊怎么部署
数据湖
,这波操作未来走向如何?
数据湖
技术能够实现全量数据的单一存储,通常存储原始格式的对象块或者文件。
浪尖聊大数据-浪尖
·
2023-09-04 22:15
大数据
人工智能
编程语言
java
数据分析
软件工程专业的发展方向
企业计算是稍时髦较好听的名词,主要是指企业信息系统,如ERP软件(企业资源规划)、CRM软件(客户关系管理)、SCM软件(供应链管理,即物流软件),银行证券软件,财务软件,电子商务/政务(包括各种网站),
数据仓库
Rayabc
·
2023-09-04 18:29
嵌入式
嵌入式操作系统
wince
linux
手机游戏
j2me
论道
数据仓库
维度建模和关系建模
为什么要
数据仓库
建模呢?
治理之路
·
2023-09-04 15:31
实时同步!从MySQL到SelectDB的无缝数据迁移
而SelectDB作为一款专为大数据分析设计的分布式
数据仓库
,具有高性能、可扩展的特点,其优异的数据处理能力也在行业内广受关注。01在什么情况下需要把MySQL同步到SelectDB?
NineData
·
2023-09-04 14:19
数据复制
云数据库技术
mysql
数据库
数据库开发
dba
hadoop核心架构
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及
数据仓库
工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。
凉意先生
·
2023-09-04 06:38
一文弄懂游戏服务器的云原生化
目录云原生背景知识DockerKubernetes云原生在游戏行业应用现状游戏服务器容器化云原生数据库云原生
数据仓库
云游戏函数计算游戏服务器云原生化paddle-soccerAgonesOpenKruiseGame
长三月
·
2023-09-04 01:24
游戏
服务器
云原生
游戏服务器
agones
数据湖
| 一文读懂Data Lake的概念、特征、架构与案例(转)
本文包括七个小节:1、什么是
数据湖
;2、
数据湖
的基本特征;3、
数据湖
基本架构;4、各厂商的
数据湖
解决方案;5、典型的
数据湖
应用场景;6、
数据湖
建设的基本过程;7、总结。
MisterCH
·
2023-09-04 00:17
【数仓基础(一)】基础概念:
数据仓库
【用于决策的数据集合】的概念、建立
数据仓库
的原因与好处
文章目录一.
数据仓库
的概念1.面向主题2.集成3.随时间变化4.非易失粒度二.建立
数据仓库
的原因三.使用
数据仓库
的好处一.
数据仓库
的概念
数据仓库
的主要作用:
数据仓库
概念主要是解决多重数据复制带来的高成本问题
roman_日积跬步-终至千里
·
2023-09-04 00:11
数据仓库
数据仓库
数据同步工具ETL、ELT傻傻分不清楚?3分钟看懂两者区别
什么是数据同步工具(ETL、ELT)数据同步工具ETL或者ELT的作用是将业务系统的数据经过抽取、清洗转换之后加载到
数据仓库
的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据
OushuDB
·
2023-09-03 19:13
酷克数据与华为合作更进一步 携手推出云数仓联合解决方案
酷克数据作为国内云原生
数据仓库
的代表企业,也是华为重要的生态合作伙伴,受邀参与本次论坛,并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
HashData酷克数据
·
2023-09-03 08:45
华为
数据库
大数据
31省政府数字关注度121个关键词(2001-2021年)
宁夏、青海、山东、山西、陕西、上海、四川、天津、西藏、新疆、云南、浙江、重庆4、指标说明:参考政府文本、文献,共统计121个关键词词频,含指标如下:1.数字技术'大数据':'大数据','数据挖掘','
数据仓库
成长之路514
·
2023-09-03 02:11
其他
维度退化
将维度退化到事实表中,减少事实表和维度表的关联在维度建模的
数据仓库
中,有一种维度叫DegenerateDimension,中文一般翻译为“退化维度”。
无敌飞天小肥猫
·
2023-09-03 01:19
在 Amazon EMR 上构建实时
数据湖
前言当公司业务发展遇到瓶颈时,业务分析师以及决策者们总会希望通过交叉分析大量的业务数据和用户行为数据,以解答“为什么利润会下滑?”“为什么库存周转变慢了?”等问题,最终整点“干货”出来从而促进业务发展。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球
·
2023-09-02 23:52
amazon-emr
使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift
现状ApacheHue是一个基于Web的交互式SQL助手,通过它可以帮助大数据从业人员(数仓工程师,数据分析师等)与
数据仓库
进行SQL交互。在AmazonEMR集群启动时,通过勾选Hue进行安装。
·
2023-09-02 23:50
amazon-emr
使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift
现状ApacheHue是一个基于Web的交互式SQL助手,通过它可以帮助大数据从业人员(数仓工程师,数据分析师等)与
数据仓库
进行SQL交互。在AmazonEMR集群启动时,通过勾选Hue进行安装。
亚马逊云开发者
·
2023-09-02 23:52
Amazon
EMR
酷克数据与华为合作更进一步 携手推出云数仓联合解决方案
酷克数据作为国内云原生
数据仓库
的代表企业,也是华为重要的生态合作伙伴,受邀参与本次论坛,并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
·
2023-09-02 18:43
数据库postgresql
Hive窗口函数大全
Hive是一个
数据仓库
查询和分析工具,它支持窗口函数(WindowFunctions),用于在查询结果集上执行各种分析操作,如排名、聚合、比较等。以下是一些常
贾斯汀玛尔斯
·
2023-09-02 11:22
hadoop
hive
hadoop
数据仓库
Elasticsearch:自动使用服务器时间设置日期字段并更新时区
即使没有日期字段,处理各种格式和时区的日期对
数据仓库
来说也是一个重大挑战。与此类似,如果要检测变化的数据,则必须准确设置日期字段。
Elastic 中国社区官方博客
·
2023-09-02 08:39
Elasticsearch
Elastic
elasticsearch
大数据
搜索引擎
BDCC - 闲聊
数据仓库
的架构
文章目录典型
数据仓库
架构图
数据仓库
ETLvsELTETLELT区别联系
数据仓库
分层(1)
数据仓库
ODS层(2)
数据仓库
CDM层DWD数据明细层DWS数据汇总层(3)
数据仓库
ADS层典型
数据仓库
架构图按自下而上的顺序
小小工匠
·
2023-09-02 07:24
【大数据&云计算】
数据仓库
Paimon+StarRocks 湖仓一体数据分析方案
内容主要分为四个部分:传统
数据仓库
分析实现方案简介Paimon+StarRocks构建湖仓一体数据分析实现方案StarRocks与Paimon结合的使用方式与实现原理StarRocks社区湖仓分析未来规划点击查看原文视频
Apache Flink
·
2023-09-02 06:04
Flink
大数据
实时计算
数据分析
数据挖掘
8月《中国数据库行业分析报告》已发布,聚焦
数据仓库
、首发【全球
数据仓库
产业图谱】
为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》,持续传播数据技术知识、努力促进技术创新与行业生态发展,目前已更至第十六期,并发布了共计122页的2022年度分析报告。墨天轮8月《中国数据库行业分析报告》已正式发布(点击即可跳转,欢迎大家下载查阅),本期报盘点了墨
MoMoSQL666
·
2023-09-02 05:36
数据库
数据仓库
oracle
数据库架构
GaussDB数据库SQL系列-行列转换
静态行转列3)行转列(结果值:拼接式)4)动态行转列(拼接SQL式)2、列转行示例1)创建实验表(复用前面的测试数据)2)使用unionall,将各科目(数学、英语、语文)整合为一列四、小结一、前言在构建
数据仓库
或做数据分析时
Gauss松鼠会
·
2023-09-02 05:37
GaussDB经验总结
数据库
gaussdb
sql
520页(17万字)集团大数据平台整体解决方案word
本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除,更多浏览公众号:智慧方案文库1.1.1系统总体逻辑结构4-14系统总体逻辑结构图参见上图,基于Hadoop构建的企业级
数据仓库
,包含:分布式列式存储数据库
2023小目标
·
2023-09-02 01:40
数据库
大数据
漫谈大数据 -
数据湖
认知篇
导语:
数据湖
是目前比较热的一个概念,许多企业都在构建或者准备构建自己的
数据湖
。
昊昊该干饭了
·
2023-09-01 22:20
大数据
大数据
数据仓库
数据抽取建设需求
在数据融合中,数据的ETL,即数据抽取、转换、装载是不可避免的前置操作,首先从原始数据中抽取数据,然后进行数据的转换和初步处理,最后装载到
数据仓库
中,用以进一步的融合、挖掘、分析等。
hanyf
·
2023-09-01 21:19
【大数据】
数据湖
:下一代大数据的发展趋势
数据湖
:下一代大数据的发展趋势1.
数据湖
技术产生的背景1.1离线大数据平台(第一代)1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结
G皮T
·
2023-09-01 16:24
大数据
大数据
数据湖
Iceberg
Lambda架构
Kappa架构
火山引擎ByteHouse:ClickHouse如何保证海量数据一致性
基于高性能、分布式特点,ClickHouse可以满足大规模数据的分析和查询需求,因此字节研发团队以开源ClickHouse为基础,推出火山引擎云原生
数据仓库
ByteHouse。在日常工作中,研发人员经
字节数据平台
·
2023-09-01 16:08
大数据
数据库
数仓
云原生
8月《中国数据库行业分析报告》已发布,聚焦
数据仓库
、首发【全球
数据仓库
产业图谱】
为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》,持续传播数据技术知识、努力促进技术创新与行业生态发展,目前已更至第十六期,并发布了共计122页的2022年度分析报告。墨天轮8月《中国数据库行业分析报告》已正式发布(点击即可跳转,欢迎大家下载查阅),本期报盘点了墨
·
2023-09-01 15:41
Paimon+StarRocks 湖仓一体数据分析方案
内容主要分为四个部分:传统
数据仓库
分析实现方案简介Paimon+StarRocks构建湖仓一体数据分析实现方案StarRocks与Paimon结合的使用方式与实现原理StarRocks社区湖仓分析未来规划点击查看原文视频
·
2023-09-01 15:37
后端flink大数据
mac 装python环境下mysql_python和数据库学习笔记-在mac下配置python和mysql开发环境
现在研究的课题和大数据有关,
数据仓库
目前是在vertica上面,然后计划用公有云的方案来处理计算能力的弹性问题,也就是将部分数据从vertica导入到hive+spark中,方案还是庞大复杂的,所以除了设计整个架构以外
weixin_39897267
·
2023-09-01 15:32
mac
装python环境下mysql
事实表和维度表是怎么造数据_学习数据工程从何下手?这些基本知识先了解一下...
过去,数据工程师只需知道基本的
数据仓库
、数据的提取转换加载(ETL)和数据可视化就够了。而近些年数据工程师的职能范围已发生了很大变化,不再局限于数据库管理和商业智能(BI)。
weixin_39964660
·
2023-09-01 15:32
事实表和维度表是怎么造数据
python etl 大猩猩_用于ETL的Python数据转换工具详解
ETL的考虑做
数据仓库
系统,ETL是关键的一环。说大了,ETL是数据整合解决方案,说小了,就是倒数据的工具。回忆一下工作这么些年来,处理数据迁移、转换的工作倒还真的不少。
无无可能
·
2023-09-01 15:31
python
etl
大猩猩
python实现
数据仓库
ETL
python实现
数据仓库
ETL通常讲的
数据仓库
ETL,可以分为ETL和ELT两种实现方式.ELT是在加载到仓库后,再做数据转换.ETL是在加载之前完成转换,落地的数据就是转换后的样子了.ELT多使用在MPP
dsqzhong
·
2023-09-01 15:24
python
数据仓库
数据库
【校招VIP】前端算法考点之大数据相关
可用于大数据分析的关键技术主要包括A/B测试,关联规则挖掘,数据挖掘,集成学习,遗传算法,机器学习,自然语言处理,模式识别,预测模型,信号处理,空间分析,监督式学习,时间序列分析等,可用于大数据处理的关键技术主要是商业智能,云计算,
数据仓库
校招VIP
·
2023-09-01 13:14
前端专题
算法
大数据
前端
流批一体不只有Flink,还有实时数据模型
|0x00从流批一体诞生的必然性说起通常来讲,
数据仓库
的建设,都是以离线作为主要的密报,下游的应用,不论是报表还是接口,所提供的数据也大多是T-1时效性。
晓阳的数据小站
·
2023-09-01 12:58
数据治理-
数据仓库
和商务智能
业务驱动因素
数据仓库
建设的主要驱动力是运营支持职能、合规需求和商务智能活动。一个组织建设
数据仓库
的目标支持商务智能活动赋能商业分析和高效决策基于数据洞察寻找创新方法。
世润
·
2023-09-01 12:26
数据仓库
大数据
DataWorks增强分析发布,一站式数据查询分析与可视化
在以往的数据分析工作流中,从
数据仓库
取数查询、到数据可视化、数据共享,往往要横跨多个产品,步骤繁琐,产
·
2023-09-01 11:39
大数据阿里云
基于
数据湖
的多流拼接方案-HUDI实操篇
(三)测试结果三、后序一、前情提要基于
数据湖
对两条实时流进行拼接(如前端埋点+服务端埋点、日志流+订单流等);基础概念见前一篇文章:基于
数据湖
的多流拼接方案-HUDI概念篇_Leonardo_KY的博客
Leonardo_KY
·
2023-09-01 10:42
大数据
数据湖
数据仓库
大数据
flink
Flink+Paimon多流拼接性能优化实战
dataFile总大小3、数据延迟(五)未来展望:异步Compact(零)本文简介Paimon多流拼接/合并性能优化;为解决离线T+1多流拼接数据时效性、Flink实时状态太大任务稳定性问题,这里基于
数据湖
工具
Leonardo_KY
·
2023-09-01 10:40
数据湖
大数据
flink
大数据
数据仓库
白鲸开源 DataOps 平台加速数据分析和大模型构建
他们使用
数据仓库
或
数据湖
来发现、访问和使用数据,并利用AI推动分析用例。但他们很快意识到
DolphinScheduler社区
·
2023-09-01 06:42
大数据
实训笔记8.31
数据清洗预处理阶段1.4数据统计分析阶段1.5数据迁移导出阶段1.6数据可视化阶段二、项目数据清洗预处理的实现2.1清洗预处理规则2.2代码实现三、项目的数据统计分析阶段3.1概念和技术选项3.2Hive
数据仓库
进行统计分析时两个核心概念
cai-4
·
2023-09-01 02:25
实训
笔记
大数据
51页企业数字化转型战略实践与启示PPT(附400份转型资料)
本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除,更多内容浏览公众号:智慧方案文库企业数字化转型之路.pptx企业数字化转型大
数据湖
一体化平台项目建设方案PPT.pptx企业数字化转型大
数据湖
一体化运营管理平台建设方案
2023小目标
·
2023-08-31 23:37
数据分析
数据库
大数据学习:Hive安装部署
Hive的安装部署注意hive就是一个构建
数据仓库
的工具,只需要在一台服务器上安装就可以了,不需要在多台服务器上安装。
zui初的梦想
·
2023-08-31 20:34
大数据
大数据
学习
hive
数据治理深水区,行业用户该如何走出?
在经历多年的数字化建设之后,绝大部分传统行业用户的数据治理已步入深水区:一方面,企业积累了较为丰富的数据资源,数据正加速重塑业务、流程等方方面面,数据驱动型业务也不断提升;另一方面,企业数据资产化演进过程中,普遍经历了
数据仓库
大数据在线
·
2023-08-31 17:18
云静思园
大数据
数据治理
中国电子云
中海油
数字化转型
实时数仓构建新思路,NineData数据复制技术详解
双方聚焦于实时
数据仓库
技术和数据开发能力,展示如何通过强大的生态开发兼容性,对接丰富的大数据生态产品,助力企业快速开展数据分析业务,共同探索实时数据驱动的未来企业智能化数据管理解决方案。
·
2023-08-31 16:55
ETl
ETL是将业务系统的数据经过抽取、清洗转换之后加载到
数据仓库
的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节。
来10086投诉
·
2023-08-31 15:01
上一页
28
29
30
31
32
33
34
35
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他