E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据仓库(数仓)
Databend 开源周报第 128 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2024-01-23 03:01
开源
Databend 开源周报第 129 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2024-01-23 03:31
开源
关于Hive架构原理,尚硅谷
首先hive的定义为,基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张表,Hive中每张表的数
大数据SQLboy
·
2024-01-22 11:41
Hive
hive
架构
hadoop
【数据库原理】(38)
数据仓库
数据仓库
(DataWarehouse,DW)是为了满足企业决策分析需求而设计的数据环境,它与传统数据库有明显的不同。
游码客
·
2024-01-22 10:24
数据库
数据库
数据仓库
Apache Hive(二)
一、ApacheHive1、HiveSQLDML语法之加载数据2、HiveSQLDML语法之查询数据3、HiveSQLJoin关联查询4、HiveSQL中的函数使用
数据仓库
&ApacheHive请记住,
杀神lwz
·
2024-01-22 09:16
数据分析
大数据
apache
hive
hadoop
Flink背景
数仓
简介在信息爆炸的时代,为了从海量数据中洞察业务价值,驱动运营决策,企业通常会构建用于数据分析的
数据仓库
。
201001070
·
2024-01-22 08:31
Flink
flink
大数据
大数据开发之电商
数仓
(hadoop、flume、hive、hdfs、zookeeper、kafka)
第1章:
数据仓库
1.1
数据仓库
概述1.1.1
数据仓库
概念1、
数据仓库
概念:为企业制定决策,提供数据支持的集合。通过对
数据仓库
中数据的分析,可以帮助企业,改进业务流程、控制成本,提高产品质量。
Key-Key
·
2024-01-22 07:29
大数据
hadoop
flume
kafka
hive
hdfs
支持机器学习的8个
数据仓库
有一些
数据仓库
在一定程度上支持这一点。而随之而来的问题是:哪些
数据仓库
支持机器学习?它们是如何做到的?以下按字母排序对这些
数据仓库
进行分析和阐述。
鹤子青云上
·
2024-01-22 03:57
Hive SQL的编译过程(转)
Hive是基于Hadoop的一个
数据仓库
系统,在各大公司都有广泛的应用。美团
数据仓库
也是基于Hive搭建,每天执行近万次的HiveETL计算流程,负责每天数百GB的数据存储和分析。
愤怒的谜团
·
2024-01-21 20:40
《人人都是产品经理》40页
2005年入职阿里巴巴,三年时间从
数据仓库
需求分析工程师到需求分析师再到产品经理,作者以分享经验与体会为出发点,将自己三年产品工作过程中学到的思维方法与做事方式,及其他们对自己的帮助系统性的梳理为用户、
SnowbabyG
·
2024-01-21 18:03
4W字全面解读数据中台、
数据仓库
和数据湖
点击上方"大数据肌肉猿"关注,星标一起成长后台回复【加群】,进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来。据统计,每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决
无精疯
·
2024-01-21 15:59
数据仓库
sqlite
lamp
scipy
zk
数据仓库
系统如何运维和优化!
关于
数据仓库
系统的运维优化的详细内容:ApsaraClouder大数据专项技能认证:
数据仓库
系统的运维优化(本课程是阿里云大学ApsaraClouder大数据专项技能认证:
数据仓库
系统的运维优化相关课程
xmvip01
·
2024-01-21 12:51
数据仓库
简介、
数据仓库
的发展、
数仓
理论简介
数仓
理论简介
数据仓库
解决方案诞生至今,也有2、30年的发展历史了,在这个过程中,
数仓
理论不断被更新和完善,逐步形成了目前大家普通遵守的
数仓
开发理论(概念)。
yida&yueda
·
2024-01-21 11:48
大数据
数据仓库
big
data
数据库
数据仓库
简介
一、
数仓
概念
数据仓库
,英文名称为DataWarehouse,可简写为DW或DWH。
数据仓库
,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
水坚石青
·
2024-01-21 11:46
数据仓库
mysql
数据库
java
数据仓库
oracle
大数据
Atlas元数据处理框架:让你的大数据应用更高效、更稳定!
不同业务线的数据可能存储在多种类型的数据库中,最终汇集到企业的
数据仓库
中进行整合分析。在这种情况下,追踪数据来源和理清数据之间的关系可能会变得非常困难。如
知识分享小能手
·
2024-01-21 03:26
学习心得体会
大数据
大数据
数据库
数据分析
数据集成时表模型同步方法解析
数据湖通常是OLAP型的数据库,虽然中台系统很少会采用多种
数据仓库
技术,但在技术选型时,可选项也有很多。数据集成可实现多种异构数据库间的数据
KaiwuDB 数据库
·
2024-01-20 23:58
KaiwuDB
技术博客
数据库
数据集成
数据同步
KaiwuDB
Hologres V2.1版本发布,新增计算组实例构建高可用实时
数仓
Highlight产品介绍Hologres是阿里云自研一站式实时
数仓
,统一数据平台架构,将OLAP查询、即席分析、在线服务、向量计算多个数据应用构建在统一存储之上,实现一份数据,多种计算场景。
阿里云大数据AI技术
·
2024-01-20 21:07
网络
java
数据库
1- ETL概念
1、ETL概念 ETL是将业务系统的数据经过抽取、清洗转换之后加载到
数据仓库
的过程(从哪儿抽取:业务系统;加载到哪里:
数据仓库
) *问题: 1>抽取,怎么抽取?什么时候抽取?
大富的大数据之路
·
2024-01-20 17:23
数据仓库
ETL
数据仓库
ETL
ETL概念
ETL概念集锦
ETLhttps://zh.wikipedia.org/wiki/ETLDW(Datawarehouse)
数据仓库
https://zh.wikipedia.org/wiki/%E8%B3%87%E6%96%
weixin_34220623
·
2024-01-20 17:22
ETL基本概念
ETL一词较常用在
数据仓库
,但其对象并不限于
数据仓库
。它的主要作用是将企业中分散、非完全结构化、标准不统一的各种数据,整合到一起,形成企业级统一
数据仓库
,为企业的分析决策提供有质量保证的数据源。
晓之以理的喵~~
·
2024-01-20 17:22
ETL
数据分析
数据仓库
ETL 概念及实现<1>
ETL是
数据仓库
的第一步,指的是数据的EXTRACT、TRANSFER、LOAD三个步骤,解释分别是从操作系统中抽取,数据转化,入库。
weixin_43132433
·
2024-01-20 17:22
ETL
ETL概念详解
ETL是将业务系统的数据经过抽取、清洗转换之后加载到
数据仓库
的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节。
weixin_30502157
·
2024-01-20 17:52
数据库
ETL概念,ETL流程
ETL是将业务系统的数据经过抽取、清洗转换之后加载到
数据仓库
的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节。
weixin_30780649
·
2024-01-20 17:52
数据库
数据处理中的ETL概念
是构建
数据仓库
的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的
数据仓库
模型,将数据加载到
数据仓库
中去。
GTW_Zeus
·
2024-01-20 17:19
【Zeus】数据库类
java
前端
javascript
ETL学习笔记之概念
ETL,Extraction-Transformation-Loading的缩写,即数据抽取(Extract)、转换(Transform)、装载(Load)的过程,它是构建
数据仓库
的重要环节。
「已注销」
·
2024-01-20 17:19
ETL学习笔记
数据仓库
ETL
Hive调优一文打尽
一、调优概述Hive作为大数据领域常用的
数据仓库
组件,在平时设计和查询时要特别注意效率。
跟着大数据和AI去旅行
·
2024-01-20 13:16
大数据企业级实战
hive
巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践
我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期:第一期是在调研验证的基础上进行
数仓
分层,并且上线一些简单的业务验证效果;第二期是实现流式
数仓
的基础设施建设
Apache Flink
·
2024-01-20 12:21
Flink
大数据
实时计算
apache
kafka
大数据
java
分布式
阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse
01背景信息数据湖与传统的
数据仓库
相比,可以更灵活地处理各种类型的数据,并支持高度可扩展的存储,通常被用于大数据分析。
Apache Spark中国社区
·
2024-01-20 12:51
阿里云
云计算
程序员必备的面试技巧——大数据工程师面试必备技能
目录前言一、不同工程师的职责和技能要求1、
数仓
开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen
·
2024-01-20 11:22
话题征文
面试
职场和发展
大数据
Kylin即席查询教程
KylinKylin即席查询教程学习目标简介核心概念
数据仓库
,OLAP与OLTP,维度和度量,事实表和维度表。星型模型和雪花模型。
岁月的眸
·
2024-01-20 03:08
大数据
#
Kylin总结
markdown
redis
数据库
超融合之道:亚信安慧AntDB 8.0版本引领数据库创新
在当今多变的数据应用场景中,AntDB作为行业领先的超融合流式实时
数仓
,秉承着“融合+实时”的研发理念,全面应对企业日益复杂的数据处理需求。
亚信安慧AntDB数据库
·
2024-01-20 01:00
数据库
antdb数据库
antdb
clickhouse安装及简单使用
非常适合用来搭建
数据仓库
。下载&安装下载官网文档https://clickhouse.com/docs/zh/get
花菜回锅肉
·
2024-01-19 21:07
数据仓库
clickhouse
干货:自助分析BI产品实践指南
百度百科上BI的定义是:商业智能(BusinessIntelligence,简称:BI),指用现代
数据仓库
技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
e73fe7dcce95
·
2024-01-19 19:18
华为外包数据库面试问题分享20211225
数仓
的东西了解多少。数据库开发支持这方面你做过哪些。你现在的工作中的SQL开发,具体是作了哪些。你的工作意愿是哪个方向(这么问是因为知道了我没做过DBA)在
数仓
的设
钦䲹
·
2024-01-19 16:05
数据库
华为
面试
某小外包公司线上面试-大数据开发
1.
数仓
和数据库的区别2.
数仓
建模3.hive用到的函数4.rank,dense_rank,row_number的区别5.hive数据倾斜的原因有哪些7.如何理解数据质量?
劝学-大数据
·
2024-01-19 16:03
大数据面试题
大数据
GBASE南大通用数据库GBase BI V5的应用特点
1.高效率挖掘数据价值l以业务主题为单位,面向业务的
数据仓库
存储形式。l任意角度分析数据,业务灵活,快速生成查询结果集。l无须编程,图文并茂,高效灵活的数据即席查询gQuery。
GBASE数据库
·
2024-01-19 15:49
数据库
GBASE南大通用
GBASE
数据库基础理论
(
数据仓库
)数据:描述事务的符号记录,包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式,它们都可以经过数字化后存入计算机。数据库:
数据仓库
。
acro_09
·
2024-01-19 11:07
数据库
oracle
database
基于 Hologres+Flink 的曹操出行实时
数仓
建设
本文整理自曹操出行实时计算负责人林震基于Hologres+Flink的曹操出行实时
数仓
建设的分享,内容主要分为以下六部分:曹操出行业务背景介绍曹操出行业务痛点分析Hologres+Flink构建企业级实时
数仓
曹操出行实时
数仓
实践曹操出行业务成果分析未来展望一
Apache Flink
·
2024-01-19 08:54
flink
大数据
FineBI实战项目一(25):实战项目一总结
实在项目使用mysql做
数仓
库的ODS层,这仅仅是带领大家入门,用mysql做
数仓
存在很多问题。
不死鸟.亚历山大.狼崽子
·
2024-01-19 02:39
FineBI
finebi
数仓
架构图
阿里巴巴的数据团队把表数据模型分为三层:操作数据层(ODS)、公共维度模型层(DM)和应用数据层(DS),其中公共维度模型层包括明细数据层(DWD)和汇总数据层(DWS)。模型层次关系如9.9所示。image.png公共维度模型层(CDM):存放明细事实数据、维表数据及公共指标汇总数据其中明细事实数据、维表数一般根据ODS层数据加工生成:公共指标汇总数据般根据维表数据和明细事实数据加工生成。CDM
liuxiaolin
·
2024-01-19 01:27
数据库系统原理总结之——数据管理技术的发展
第八章数据管理技术的发展第八章数据管理技术的发展一、数据库技术发展★★二、
数据仓库
★★★三、数据挖掘的功能★★★四、大数据的定义★★五、大数据存储★六、NoSQL系统支持的数据存储模型★★★★七、MapReduce
润小仙女
·
2024-01-19 00:45
数据库系统原理总结
数据库
数据库系统
数据库内核那些事|一文Get PolarDB IMCI如何对半结构化数据进行高效分析
InMemoryColumnIndex,IMCI)推出完备虚拟列与列式JSON等功能,可以快速处理大数据和支持多种数据类型(包括结构化与半结构化数据),并提供高效的数据分析、查询与流计算能力,适用于数据分析、
数据仓库
与扩展流计算等应用场景
阿里云瑶池数据库
·
2024-01-18 23:39
数据库
阿里云
云原生
数据结构
数据库的设计模式
2.StarSchema(星型模式)用途:用于
数据仓库
和商业智能应用。描述:一个中心事实表和多个维度表。事实表存储度量值或事务数据,维度表存
凌寒ᨐ舞
·
2024-01-18 23:37
数据库设计
数据库
Hologres + Flink 流式湖仓建设
Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新2传统实时
数仓
分层方案
Direction_Wind
·
2024-01-18 21:56
hologres
技术调研
flink
大数据
Hive入门
介绍Hive是一个基于Hadoop的
数据仓库
工具,它可以将结构化数据文件映射成一张表,然后通过类似SQL的查询语句来执行查询。
kongxx
·
2024-01-18 17:11
白山云基于StarRocks数据库构建湖仓一体
数仓
的实践
背景随着每天万亿级别的业务数据流向数据湖,数据湖的弊端也逐渐凸显出来,例如:数据入湖时效性差:数据湖主要依赖于离线批量计算,通常不支持实时数据更新,因此无法保证数据的强一致性,造成数据不及时、不准确;查询性能差:在传统架构下,数据湖的查询速度较差,小时粒度的数据查询往往需要数分钟才能得到响应,在多个业务方同时执行数据湖查询任务时,查询响应慢的劣势更加明显;查询体验差:数据存储在多个地方,在进行联邦
StarRocks_labs
·
2024-01-18 17:04
社区投稿
数据库
大数据
构建高效数据生态:数据库、
数据仓库
、数据湖、大数据平台与数据中台解析_光点科技
本文将深入探讨数据库、
数据仓库
、数据湖、大数据平台以及数据中台的功能和价值,帮助您构建一个符合自身业务需求的高效数据生态系统。
光点数据治理
·
2024-01-18 12:24
数据库
数据仓库
大数据
Excel 动态可视化图表分享
AIGCChatGPT职场案例AI绘画与短视频制作PowerBI商业智能68集数据库Mysql8.054集数据库Oracle21C142集Office2021实战应用Python数据分析实战,ETLInformatica
数据仓库
案例实战
阿里数据专家
·
2024-01-18 11:29
excel
chatgpt
AIGC
数据分析
信息可视化
nodejs+vue+ElementUi婚恋交友相亲网站yne25-vscode项目
同时,使用MySQL数据库,设计实体-联系图和数据表格,用于更好的存储和管理数据信息的
数据仓库
。通过使用关键技术研发本系统,并根据需求分析得出用户的主要需求,设计与实现本系统的功能模块。
QQ_402205496
·
2024-01-18 09:16
vue.js
elementui
交友
技术选型|开源大数据OLAP引擎最佳实践
一、开源OLAP综述二、开源
数仓
解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样,不同种类的引擎满足了我们不同的需求
浪尖聊大数据-浪尖
·
2024-01-18 08:14
运维
大数据
分布式
数据库
人工智能
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他