E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据湖数据仓库
数据分析思维学习1:业务指标、数据获取、
数据仓库
、数据治理、数据分析方法
数据分析入门实战最近上了一个关于数据分析思维的网课,内容比较偏业务上的实际应用,关注点更多在于数据思维。以下是我在学习过程中的笔记整理。文章目录数据分析入门实战第一章数据分析与数据分析师数据分析思维是什么第二章业务指标与指标体系2.1什么是指标,如何找到正确的指标1.什么是指标,什么是维度2.好的指标3.快的指标2.2北极星指标及其重要性1.什么是北极星指标?2.北极星指标有什么用?3.如何选择北
真是喵啊
·
2023-09-23 13:34
数据分析
数据仓库
数据仓库
模型全景
数据仓库
模型构建一、
数据仓库
构建需要考虑的问题与数据库的单表基于ER模型构建思路不同,其面向特定业务分析的特性,决定了它的构建需要整合多套数据输入系统,并输出多业务条线的、集成的数据服务能力,需要考虑更全面的因素
公众号:肉眼品世界
·
2023-09-23 13:33
数据仓库
大数据
编程语言
数据库
java
实时数仓新选择——Doris构建实时数仓落地方案详解
一、实时
数据仓库
概述**首先,**我们从
数据仓库
说起。
数据仓库
的概念可以追溯到20世纪80年代,当时IBM的研究人员提出了商业
数据仓库
的概念。
胖胖胖胖胖虎
·
2023-09-23 13:32
Flink
doris
数据仓库
doris
flink
数据仓库
大数据项目实战之
数据仓库
:电商
数据仓库
系统——第10章 数仓开发之DWS层
文章目录第10章数仓开发之DWS层10.1最近1日汇总表10.1.1交易域用户商品粒度订单最近1日汇总表10.1.2交易域用户商品粒度退单最近1日汇总表10.1.3交易域用户粒度订单最近1日汇总表10.1.4交易域用户粒度加购最近1日汇总表10.1.5交易域用户粒度支付最近1日汇总表10.1.6交易域省份粒度订单最近1日汇总表10.1.7交易域用户粒度退单最近1日汇总表10.1.8流量域会话粒度页
yiluohan0307
·
2023-09-23 13:29
大数据项目实战之数据仓库
大数据
数据仓库
华为云 FusionInsight 大数据技术普惠创新,释放千行百业数据价值
主题,从金融、运营商等行业在大数据创新的实践,顶级高校的大数据顶尖人才培养和科学研究,以及华为云FusionInsight智能
数据湖
系列大数据产品的技术创新等方面,以产学研深度融合的方式展开分享和探讨。
数据湖洞见
·
2023-09-23 10:37
大数据
spark
hadoop
同一份数据全域共享,HashData UnionStore实时性背后的故事
云数仓的出现,不仅改变了传统
数据仓库
的服务模式,更给用户带来了应对海量、新型数据的存储和处理能力,为满足业务现代化需求提供了基础。
HashData酷克数据
·
2023-09-23 09:59
数据库
大数据
数据仓库
数据仓库
&数据库
数据仓库
和数据库是两个重要的数据存储和管理工具,它们有着不同的特点和用途。一、
数据仓库
与数据库的定义1.
数据仓库
数据仓库
,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
Elseide艾思
·
2023-09-23 08:26
数据仓库
数据库
大数据
hive mysql初始_hive mysql 初始化
Hive简介Hive是一个基于hadoop的开源
数据仓库
工具,用于存储和处理海量结构化数据。
戴舜
·
2023-09-23 04:14
hive
mysql初始
使用 Databend 加速 Hive 查询
许多企业的数仓/
数据湖
中都有PB级的数据,其中绝大多数都属于旧有系统中的
Databend
·
2023-09-23 03:27
hive
hadoop
数据仓库
pg数据表同步到hive表数据压缩总结
为了解决pg的压力,尝试采用hive
数据仓库
存数,利用hive支持的parquet列式存储,同时支持lzo、none、uncompressed、brotil、snappy和gzip的压缩算法,更节省空间
zcc_0015
·
2023-09-23 00:28
hive
hadoop
数据仓库
仔仔细细的给您讲,如何建立
数据仓库
数据仓库
的定位在整个数据价值生产链路中,
数据仓库
的主要作用就是中心化分发,将原始数据与数据价值挖掘活动隔离。所有的原始数据都会进入
数据仓库
,再由
数据仓库
统一分发给下游的数据使用者。
派可数据BI可视化
·
2023-09-22 20:06
数据仓库
数字化转型
商业智能
数据仓库
大数据
spark
数据分析
信息可视化
干货:
数据仓库
基础知识(全)
1、什么是
数据仓库
?权威定义:
数据仓库
是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。
派可数据BI可视化
·
2023-09-22 20:01
数字化转型
数据要素
商业智能
数据仓库
数据分析
信息可视化
大数据
同一份数据全域共享,HashData UnionStore实时性背后的故事
云数仓的出现,不仅改变了传统
数据仓库
的服务模式,更给用户带来了应对海量、新型数据的存储和处理能力,为满足业务现代化需求提供了基础。
·
2023-09-22 16:27
数据库postgresql
ByConity 技术详解之 ELT
谈到
数据仓库
,一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform(ELT)。将来源不同、格式各异的数据提取到
数据仓库
中,并进行处理加工。
·
2023-09-22 16:27
ETL工具介绍
ETL是BI/DW(商务智能/
数据仓库
)的核心和灵魂,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标
数据仓库
转化的过程,是实施
数据仓库
的重要步骤。ETL包含了三方面,首先是“抽取
quanlin_kuccynl
·
2023-09-22 13:52
工具
数据仓库
平台
引擎
电子商务
产品
[转载]ETL 数据抽取、转换、加载_徐川江的博客_新浪博客
原文地址:ETL数据抽取、转换、加载作者:SAP_Jimmy
数据仓库
的一个重要功能就是对不同来源的数据进行归集和处理。不同类型的数据对象可以用来存储这些数据或者实现数据的联合视图。
徐川江的个人博客
·
2023-09-22 13:51
数据仓库
大数据
编程语言
python
人工智能
六、
数据仓库
详细介绍(ETL)工具篇上
对于相对简单的ETL系统我们可以完全依赖数据库或者内部开发一个小型的的流程控制、调度工具去实现,但是对于大多数的
数据仓库
项目,从数据源到最终数据应用,至少也有大几十上百甚至几百个ETL过程(节点),这些过程之间的依赖关系
Hanson,
·
2023-09-22 13:50
数据仓库
数据仓库
etl
数据库
ETL工具点评
ETL所完成的工作主要包括三方面:首先,在
数据仓库
和业务系统之间搭建起一座桥梁,确保新的业务数据源源不断地进入
数据仓库
;其次,用户的分析和应用也能反映出最新的业务动态,虽然ETL在
数据仓库
架构的三部分中技术含量并不算高
赵一一
·
2023-09-22 13:20
数据湖
干货丨常用的数据集成ETL工具有哪些?
ETL一词较常用在
数据仓库
,但其对象并不限于
数据仓库
。
传智播客
·
2023-09-22 13:19
数据仓库
java
编程语言
大数据
项目管理
推荐一款可以快速抽取sap数据的ETL工具
然而,使用SAPERP系统面临着一些数据分析不方便,数据导出困难等问题:数据集成困难:将SAP中的数据整合到其他系统或本地
数据仓库
通常是一项复杂的任务。
苛子
·
2023-09-22 13:46
etl
数据仓库
BD就业复习第五天
回答:Hive是一个
数据仓库
工具,它建立在Hadoop之上,用于分析和查询大规模数据。Hive将SQL查询转化为MapReduce任务,但由于MapReduce的延迟,性能可
密斯特.张先生
·
2023-09-22 12:48
数据仓库
BD就业复习第三天
1.连续活跃区间表的实现思路实现连续活跃区间表是
数据仓库
中常见的需求,通常用于分析用户或实体在一段时间内的活跃情况。
密斯特.张先生
·
2023-09-22 11:42
数据仓库
MPPDB是什么?
个问题搞定大数据理论体系解答MPPDB是一款SharedNothing架构的分布式并行结构化数据库集群,具备高性能、高可用、高扩展特性,可以为超大规模数据管理提供高性价比的通用计算平台,并广泛地用于支撑各类
数据仓库
系统
Shockang
·
2023-09-22 02:29
大数据理论体系
大数据
MPP
系统稳定性保障设计总结和思考
是选择Mysql这类OLTP数据库还是MPP型OLAP
数据仓库
。如何进行消息队列选型?是选择可靠性更强的RabbitMQ还是还是轻松吞吐百万流量的Kafka,这些都是需要根据具体的业务和场景来抉择的。
yangnk42
·
2023-09-22 00:00
系统优化
NineData X SelectDB 联合发布会,即将上线!
本次发布会将聚焦于实时
数据仓库
技术和数据开发能力,展示SelectDB新一代实时
数据仓库
产品如何解决实时数据分析的行业痛点,以及「NineData如何提供高效、智能、安全的数据管理能力」。
·
2023-09-21 21:31
Tapdata Connector 实用指南:云原生数仓场景之数据实时同步到 Databend
典型用例包括数据库到数据库的复制、将数据引入
数据仓库
或
数据湖
,以及通用ETL处理等。引用随着TapdataConnector的不断增长,我们最新推
·
2023-09-21 14:28
数据库mysql
ELT in ByteHouse 实践与展望
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群谈到
数据仓库
,一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform
·
2023-09-21 12:18
大数据数据库云原生
ELT in ByteHouse 实践与展望
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群谈到
数据仓库
,一定离不开使用Extract-Transform-Load(ETL)或Extract-Load-Transform
·
2023-09-21 12:46
大数据数据库云原生
活动报名 | Modern Data Stack Meetup 北京首站启动!与三大开源社区共同探索现代数据栈的最佳实践
现代数据堆栈的流行伴随着云计算和云
数据仓库
的崛起,本质上是各种软件工具的组合,用于在一个完全集成的基于云的数据平台上收集、处理和存储
·
2023-09-21 12:42
数据库
Doris-05-集成Spark、Flink、Datax,以及
数据湖
分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)
Doris准备Spark环境使用SparkDorisConnectorFlinkDorisConnector准备Flink环境使用FlinkDorisConnectorDataXdoriswriter
数据湖
分析
迷雾总会解
·
2023-09-21 12:33
大数据
数据库
spark
flink
elasticsearch
大数据
doris
HIVE,SparkSql和Presto对比
HIVE,SparkSql和Presto对比HIVEhive是基于Hadoop的一个
数据仓库
工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
loophome
·
2023-09-21 09:20
大数据处理
hive
hadoop
数据仓库
电商数仓学习笔记(一)
第一章
数据仓库
概念第二章项目需求及架构设计项目需求项目框架第三章数据生成模块目标数据数据埋点服务器和jdk准备编写集群分发脚本xsync模拟数据集群日志生成脚本第四章数据采集模块集群所有进程查看脚本Hadoop
芝士雪豹.
·
2023-09-21 06:01
大数据
hadoop
数仓主题域和数据域、雪花模型,星型模型和星座模型
数据域和主题域都是
数据仓库
中的重要概念,但含义略有不同,常常作为面试官的面试考点。数据域指的是特定的业务领域或是业务过程,如销售、采购、人力资源管理、财务等。在
数据仓库
中。
Aimyon_36
·
2023-09-20 23:23
数据仓库
spark
大数据
分布式
发挥现代数据栈MDS的更大价值
将碎片数据集成到集中式
数据仓库
依赖于ELT或ETL过程,为此您可能需要多个提供程序来连接所有源。以下步骤-存储,转换,可视化和分析-都涉及将数据重新
qq_38767591
·
2023-09-20 21:47
大数据
数据仓库
json函数 presto_Presto Functions
Presto被设计为
数据仓库
和数据分析产品:数据分析、大规模数据聚集和生成报表。这些工作经常通常被认为是线上分析处理操作。所以说,当公司业务有跨库分析时(一般情况是,业务数据库
weixin_39644146
·
2023-09-20 08:23
json函数
presto
【大数据】Doris 构建实时数仓落地方案详解(三):Doris 实时数仓设计
本系列包含:Doris构建实时数仓落地方案详解(一):实时
数据仓库
概述Doris构建实时数仓落地方案详解(二):Doris核心功能解读Doris构建实时数仓落地方案详解(三):Doris实时数仓设计Doris
G皮T
·
2023-09-20 08:10
大数据
大数据
数据仓库
Doris
流批一体
Lambda
Kappa
实时数仓
【大数据】Doris 构建实时数仓落地方案详解(一):实时
数据仓库
概述
本系列包含:Doris构建实时数仓落地方案详解(一):实时
数据仓库
概述Doris构建实时数仓落地方案详解(二):Doris核心功能解读Doris构建实时数仓落地方案详解(三):Doris实时数仓设计Doris
G皮T
·
2023-09-20 08:40
大数据
大数据
数据仓库
Doris
实时数仓
MPP架构
Hadoop
HDFS
【大数据】Doris 构建实时数仓落地方案详解(二):Doris 核心功能解读
本系列包含:Doris构建实时数仓落地方案详解(一):实时
数据仓库
概述Doris构建实时数仓落地方案详解(二):Doris核心功能解读Doris构建实时数仓落地方案详解(三):Doris实时数仓设计Doris
G皮T
·
2023-09-20 08:40
大数据
大数据
数据仓库
Doris
实时数仓
MPP架构
Hadoop
HDFS
【大数据】Doris 构建实时数仓落地方案详解(三):Doris 实时数仓设计
本系列包含:Doris构建实时数仓落地方案详解(一):实时
数据仓库
概述Doris构建实时数仓落地方案详解(二):Doris核心功能解读Doris构建实时数仓落地方案详解(三):Doris实时数仓设计Doris
G皮T
·
2023-09-20 08:38
大数据
大数据
数据仓库
Doris
流批一体
Lambda
Kappa
实时数仓
实时分析、融合统一及云原生,现代化
数据仓库
未来发展必经之路|专访飞轮科技 CEO 马如悦
在国内拥有2500+中大型企业用户,用户社群聚集开发者超3万人,活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑,ApacheDoris已成为全国数据库和大数据领域最为活跃的开源项目之一。ApacheDoris历经近十年的发展,为何还能持续保持竞争力和活力?其背后的核心推动力又是什么?在QCon全球软件开发大会·北京站的现场,基于ApacheDoris的商业化公司飞轮科技的CEO、A
SelectDB技术团队
·
2023-09-20 08:30
云原生
数据仓库
云计算
创业创新
apache
ETL数据加载性能优化
这些实践指南可以帮助您加快数据处理速度,提升
数据仓库
或
数据湖
的效率。随着数据量的不断增长,ETL过程中的数据加载性能成为企业面临的一个重要挑战。
ETLCloud数据集成社区
·
2023-09-20 08:11
etl
性能优化
数据仓库
大数据之
数据湖
---flink 整合hudi
1.hudi简介Huid支持流式的读写操作,流数据可以通过Huid的增量来进行数据追加,精准的保存Index位置,如果一旦写入或者读出的时候出现问题,可以进行索引回滚数据,因为在Hudi写入和写出的时候他是要记录元数据信息的。Hudi最大的特点就是会进行预写日志功能,也就是把所有的操作都先预写,然后一旦发生问题就会先找预写日志Log,进行回滚或者其他操作,所以你会发现在Hudi中,它会写很多Log
wudl
·
2023-09-20 07:06
【hudi】
数据湖
客户端运维工具Hudi-Cli实战
数据湖
客户端运维工具Hudi-Cli实战helphudi:student_mysql_cdc_hudi_fl->helpAVAILABLECOMMANDSArchivedCommitsCommandtriggerarchival
lisacumt
·
2023-09-20 07:50
大数据
Clickhouse存算分离的思考
ExploringstorageandcomputingseparationforClickHouse-JuiceFSBlogClickHouse存算分离改造:小红书自研云原生
数据仓库
实践唯品会翻牌ClickHouse
ELI_He999
·
2023-09-20 06:02
大数据
clickhouse
Hadoop学习(8)-- Apache Hive入门
ApacheHive概述什么是HiveApacheHive是一款建立在Hadoop之上的开源
数据仓库
系统,可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表,基于表提供了一种类似
技术闲聊DD
·
2023-09-20 05:25
大数据
hadoop
hive
学习
大数据 Hive
数据仓库
介绍
目录一、
数据仓库
概念二、场景案例:
数据仓库
为何而来?2.1操作型记录的保存2.2分析型决策的制定2.3OLTP环境开展分析可行吗?
Stars.Sky
·
2023-09-20 05:24
Hive
大数据
数据仓库
hive
【Hadoop】三、
数据仓库
基础与Apache Hive入门
文章目录三、
数据仓库
基础与ApacheHive入门1、
数据仓库
基本概念1.1、
数据仓库
概念1.2、场景案例:
数据仓库
为何而来1.3、
数据仓库
主要特征1.4、
数据仓库
主流开发语言--SQL2、ApacheHive
陌上人如玉এ
·
2023-09-20 05:22
大数据
数据仓库
hive
hadoop
数据仓库
、Apache hive 入门
ApacheHive是一款建立在Hadoop之上的开源
数据仓库
系统,可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表,基于表提供了一种类似SQL的查询模型,称为Hive查询语言
互联网小白兔
·
2023-09-20 05:21
大数据
数据仓库
apache
hive
Apache Hive入门:模拟实现Hive功能、Hive架构、 组件
一、ApacheHive概述什么是HiveApacheHive是一款建立在Hadoop之上的开源
数据仓库
系统,可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表,基于表提供了一种类似
黑马程序员官方
·
2023-09-20 05:48
hive
apache
hadoop
《数据挖掘概念与技术》——第四章
数据仓库
与联机分析处理
一、基本概念1、宽泛概念:
数据仓库
是一种数据库,它与的那位的操作数据库分别维护。
数据仓库
系统允许将各种应用系统集成在一起,为同一的历史数据分析提供坚实的平台,对信息处理提供支持。
daxunjiu7613
·
2023-09-20 05:22
数据库
后端
前端
ViewUI
上一页
24
25
26
27
28
29
30
31
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他