E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据仓库
数仓工作中的常见问题及解决方案
数据仓库
系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系
数据仓库
之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派
·
2024-01-04 16:34
spark
大数据
分布式
JavaSE学习笔记 2023-12-28 --MySQL
MySQL1.数据库介绍数据库:
数据仓库
DataBase:简称DB,用于长期存储有结构的,大量的,共享的数据长期的:持久存储,永久存储有结构:有类型,有内部的数据类型有关系,数据与数据之前是有关联的大量的
白斑马不是斑马
·
2024-01-04 09:05
MySQL
学习
笔记
mysql
【
数据仓库
与联机分析处理】
数据仓库
目录一、
数据仓库
的概念二、
数据仓库
与操作性数据库的区别三、发展前期四、
数据仓库
的系统结构五、建模划分六、主要案例一、
数据仓库
的概念目前很难给
数据仓库
(DataWarehouse)一个严格的定义,不准确地说
Francek Chen
·
2024-01-04 08:57
大数据技术基础
数据仓库
大数据
GBase 8a GDCA认证之GBase 8a初认识
2、特性高性能高可用高扩展3、主要应用系统
数据仓库
系统商业智能系统决策支持系统4、所属类型GBase8a集群数据库属于NewSQL分析型数据库,针对海量数据查询和关联分析,课程中以银行架构为例介绍了数据架构
lFang Li
·
2024-01-04 02:24
其他数据库
从零开始了解大数据(六):
数据仓库
Hive篇
目录前言一、
数据仓库
基本概念二、ApacheHive入门1.ApacheHive概述2.ApacheHive架构与组件三、ApacheHive安装部署1.ApacheHive部署实战(1)Hadoop与
橘子-青衫
·
2024-01-04 02:51
大数据
从零开始了解大数据
大数据
数据仓库
hive
hadoop
分布式
从零开始了解大数据(七):总结
博客从零开始了解大数据(三):HDFS分布式文件系统篇-CSDN博客从零开始了解大数据(四):MapReduce篇-CSDN博客从零开始了解大数据(五):YARN篇-CSDN博客从零开始了解大数据(六):
数据仓库
橘子-青衫
·
2024-01-04 02:19
从零开始了解大数据
大数据
大数据
hadoop
hive
big
data
hdfs
数据仓库
hive基本概念原理与底层架构
hive是一个
数据仓库
基础工具在hadoop中用来处理结构化的数据,它架构在hadoop之上,总归为大数据,并使得查询和分析方便,提供简单的sql查询功能,可以讲sql语句转换成mapreduce任务进行
byway_lyn
·
2024-01-03 20:22
软件设计师---数据库系统基础
重点:规范化理论(必考)、关系代数(必考)一.数据库概述1.数据库模式2.ER模型3.关系代数与元组演算4.规范化理论5.并发控制6.数据库完整性7.分布式数据库8.
数据仓库
与数据发掘二.数据库系统--
Cirrod
·
2024-01-03 17:33
软考中级---软件设计师
软件设计师
软考
数据库
Trino兼容Hive SQL方案探索
应用场景公司的经营分析使用的
数据仓库
是基于开源CDH5.12.6自带的Hive(1.1.6版本)实现的。
数据仓库
的开发平台使用的是数澜科技的数栖平台(4.8.4版本)。
DawsonSally
·
2024-01-03 11:15
大数据
Trino
java
数据库
大数据
数据仓库
数据仓库
开发教程 (DW) 之数据模型架构&编码规范
数据层次的划分ODS:OperationalDataStore,操作数据层,在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区,同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM:CommonDataModel,公共维度模型层,又细分为DWD和DWS。它的主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的
禅与计算机程序设计艺术
·
2024-01-03 08:38
大数据技术原理与应用期末考试题
A、利用分布式文件系统、
数据仓库
、关系数据库等实现对结构化、半结构化和非结构化海量数据的存储和管理B、利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析C、构建隐私数据保护体系和数据安全体系
无敌海苔咪
·
2024-01-03 08:03
大数据开源框架
期末
大数据
数据仓库
命名规范详解
养成良好的编程习惯写出清楚、易懂、易维护的程序代码提高代码质量与沟通效率减少编码中的不必要的错误二、数仓开发命名规范主要分为以下几个方面(1)
数据仓库
命名规范(2)表命名规范(3)字段命名规范(4)字段类型规范三
孤城暮雨@
·
2024-01-03 04:17
数据仓库
hive
hadoop
数据库
sql
database
数据库架构
数据仓库
分层详解
为什么要对
数据仓库
分层?a)空间换时间通过建设多层次的数据模型供用户使用,避免用户直接使用操作型数据,可以更高效的访问数据。b)把复杂问题简单化。
孤城暮雨@
·
2024-01-03 04:47
数据仓库
大数据
hive
sql
数据库
数据库开发
MySql基础知识及下载安装
数据库(DB,DataBase)概念:
数据仓库
,是一个软件,安装在操作系统之上的。SQL语句,可以存取大量的数据。作用:存数据,管理数据关
从0开始学Java
·
2024-01-03 01:57
数据库开发
大数据要学习什么知识?大数据学习的内容有哪些?
(资料在尾部)大数据技术体系太庞杂了,基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算(批处理、在线处理、实时流处理、内存处理)、多模态计算(图像、文本、视频、音频)、
数据仓库
Java程序员YY
·
2024-01-03 00:19
全面解读数据中台、
数据仓库
和数据湖
随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决策支持系统(DSS)到商业智能(BI)、
数据仓库
、数据湖、数据中台等,这些概念特别容易混淆,本文对这些名词术语及内涵
公众号:肉眼品世界
·
2024-01-03 00:44
数据仓库
lamp
scipy
zk
makefile
浅析PostgreSQL与SQL Server两者间的关键性差异
使用PostgreSQL进行运营的组织可能希望切换到像MicrosoftSQLServer这样的数据库,因为它主要迎合不同的
数据仓库
解决方案、电子商务和其他业务线。
WPHunter
·
2024-01-02 20:46
postgresql
数据库
SQL
数据仓库
建模有哪些常用的方法
数据仓库
建模有以下常用的方法:1.维度建模:维度建模是
数据仓库
中最常用的建模方法之一。
命令执行
·
2024-01-02 07:47
深度学习
机器人
从0到1快速入门ETLCloud
一、ETLCloud的介绍ETL是将业务系统的数据经过抽取(Extract)、清洗转换(Transform)之后加载(Load)到
数据仓库
的过程,目的是将企业中的分散、凌乱、标准不统一的数据整合到一起,
ETLCloud数据集成社区
·
2024-01-01 19:38
ETL
数据集成
实时数据
2020-07-14
具体到技术环节,包括
数据仓库
、ETL、OLAP、数据挖掘、数据可视化这几个方面。大体上来看,BI可分为传统BI和敏捷BI。
木星_288b
·
2024-01-01 18:25
详解大数据
数据仓库
分层架构
大数据
数据仓库
是基于HIVE构建的
数据仓库
,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过
Alukar
·
2024-01-01 14:47
大数据概念:数据网格和DataOps
以下是数据网格的详细介绍:基本概念数据网格的基本构成单元是数据产品,数据产品是由
数据仓库
、数据集市、数据源等组成的。数据网格还包括数据消费者、数据生产者、数据管理员等角色,他们共同协作,实现数
运维仙人
·
2024-01-01 14:52
大数据
大数据
PowerDesigner 12.5 数据建模基础用法(图文版)
利用PowerDesigner可以制作数据流程图、概念数据模型、物理数据模型,可以生成多种客户端开发工具的应用程序,还可为
数据仓库
制作结构模型,也能对团队设计模型进行控制。
老程序员的笔记
·
2024-01-01 12:39
编程经验
关卡设计
java
如何应用DAP
数据仓库
在当前的信息化建设背景下,企业数据的价值日益凸显,数据分析也越来越受到重视。数据分析通过整合和汇总数据,为企业制定战略、了解市场需求等方面提供强有力的支持。而通过对大量数据进行分析,能够真实、准确、清晰、有效地将企业内部及外部行业数据进行可视化展现,使企业能够调整产品定位、开发新产品,以满足市场需求,帮助企业提升行业洞察力,加强决策力,从而提升整体竞争力。此外,数据分析还为企业优化产品和服务提供指
数通畅联
·
2024-01-01 11:30
产品
数据仓库
数据分析
数据可视化
四,Geoserver栅格
数据仓库
(/coveerages)
Put:更新指定工作空间下的数据存储区所有栅格
数据仓库
Delete:删除指定工作空间下的数据存储区所有栅格
数据仓库
/workspaces/{
武汉小强
·
2024-01-01 09:35
trino-435: 理论基础
应⽤场景Trino是定位在
数据仓库
和数据分析业务的分布式SQL引擎,适合以下应⽤场景:•统⼀SQL访问各类数据源•执⾏sql转换与ETL•Ad-Hoc查询•海量结构化数据或半结构化数据分析•海量多维数据聚合
玉成226
·
2024-01-01 04:56
【trino】
大数据
医学信息应用技术(1)急救知识点(90+)必背基础42题
其常用技术:答:是一个集信息管理、信息检索、专家系统、分析评估、
数据仓库
等为一体的应用软件系统。数据库
【赢在起跑线~】
·
2024-01-01 02:31
学习
健康医疗
笔记
数据湖三剑客,大数据时代的新范式?
随着互联网高速发展,大数据技术快速发展和迅速迭代,降低了用户处理海量数据的门槛,越来越多的应运场景出现在我们的身边存储和处理需求越来越多样化,逐渐呈现出
数据仓库
往数据湖方向发展、批处理往流式处理发展、本地部署往云模式发展的趋势
疯码牛
·
2023-12-31 15:33
支撑EB级规模的大数据平台深度揭秘
编者按:4月20日,云栖大会走进深圳,由阿里云高级
数据仓库
专家陈鹏宇(花名:不老)分享的环节内容量巨大,引发现场用户关注。
weixin_33915554
·
2023-12-31 11:51
大数据
数据库
操作系统
ETL数据清洗
ETL一词较常用在
数据仓库
,但其对象并不限于
数据仓库
在运行核心业务MapReduce程序之前,往往要先对数据进行清洗,清理掉不符合用户要求的数据。
栈溢出了
·
2023-12-31 09:26
Hadoop
etl
数据仓库
数据库
大促秒杀更顺滑|忆联携手南大通用,提供数据密集型存储新范式
面对瞬时流量高并发、海量数据查询等应用场景,固态硬盘凭借其高吞吐量、低时延等特征逐渐成为大数据时代下数据存储的重要载体,是当前本地部署的
数据仓库
产品重要搭载硬件,可满足电商大促场景下大规模数据的存储和查询需
Union Memory忆联
·
2023-12-31 07:27
安全
服务器
智能硬件
大数据应用发展史:从搜索引擎时代到机器学习时代
文章目录搜索引擎时代
数据仓库
时代数据挖掘时代机器学习时代小结大数据技术的使用经历了一个发展过程从最开始的Google在搜索引擎中开始使用大数据技术,到现在无处不在的各种人工智能应用,伴随着大数据技术的发展
善守的大龙猫
·
2023-12-31 05:11
大数据
大数据
【遇见Doris】Apache Doris (incubating) 0.12.0版本预览
What'sDorisDoris是一款基于Mesa模型的MPP、列式
数据仓库
,具
ApacheDoris
·
2023-12-31 03:15
运维
大数据
数据库
python
java
数据仓库
基础理论
前端时间,使用阿里云MaxCompute做
数据仓库
,处理大数据的分析处理,整理一下
数据仓库
的基础理论。
大斜千变
·
2023-12-31 03:12
大数据
数据仓库
odps
大数据
数据挖掘
数据库MySQL入门课程
简介1.什么是数据库1.1、什么是数据库数据库:DB(DataBase)概念:
数据仓库
,软件,安装在操作系统之上1.2、数据库分类关系型数据库:SQL(StructuredQueryLanguage)MySQL
射手座的程序媛
·
2023-12-31 02:51
MySQL
数据库
mysql
文档型非关系数据库MongoDB经验总结
数据仓库
是在数据库管理系统管理控制下在一定介质中创建的数据库管理系统:数据库管理软件,用于建立维护操作数据库数据库系统:由数据库和数据库管理系统等构成的数据库开发工具集合。
大强哥666
·
2023-12-30 07:19
python
数据库的使用
mongodb
mongodb
数据库
python
pycharm
AI大模型时代下运维开发探索第二篇:基于大模型(LLM)的
数据仓库
在SREWorks社区聚集了很多进行运维数仓建设的同学,大家都会遇到类似的挑战和问题:数仓中存储大量数据消耗成本,但很多存储的数据却并没有消费。进数仓的ETL学习成本高、管理成本高,相关同学配合度低,以及上游结构改动后ETL却迟迟无人调整。数仓中数据的时效性、准确性问题,导致很多场景无法完全依赖数仓展开。上面的种种让推广数仓的同学很犯难:明明花了大力气构建了统一数仓,但却又受限于各种问题,无法让其
阿里云大数据AI技术
·
2023-12-30 07:39
原型模式
长文解读 "
数据仓库
" 面试必备知识
数仓分层数仓简介1.
数据仓库
和数据库的区别
数据仓库
:数据量特别的大,TB~PB级别会保留历史数据一般使用OLAP分析(On-LineAnalyticalProcessing),联机分析处理(聚合操作),
you的日常
·
2023-12-29 15:28
Apache Druid任意文件读取漏洞(CVE-2021-36749)
1.漏洞描述ApacheDruid是一个集时间序列数据库、
数据仓库
和全文检索系统特点于一体的分析性数据平台。
chaojixiaojingang
·
2023-12-29 13:31
apache
浅识数据库与
数据仓库
的区别
通常我们会认为数据库与
数据仓库
都是用来存储数据的一个库,好像并没有什么明显区别,下面就从几个方面简单认识一下两者的区别。从名称角度区分数据库(Database):用来存储一些基础的、核心的数据。
QYHuiiQ
·
2023-12-29 09:28
数据仓库
数据库
数据仓库
什么是ETL?
这个过程通常用于将数据从一个或多个数据源抽取出来,进行必要的处理和转换,最终加载到目标数据库、
数据仓库
或其他系统中。
小玉起起
·
2023-12-29 09:25
etl
数据仓库
数据仓库
-数仓优化小厂实践
一、背景由于公司规模较小,大数据相关没有实现平台化,相关的架构都是原生的Apache组件,所以集群的维护和优化都需要人工的参与。根据自己的实践整理一些数仓相关的优化。二、优化1、简易架构图2、ODS层优化2.1分段式解析随着业务增长,数据量也不断增加,凌晨任务经常基线预警、破线,导致数据不能正常产出,影响运营人员分析数据。在不增加成本的情况尽可能的优化。经过团队研究,发现t-1的日志解析占用非常长
大数据点滴
·
2023-12-29 09:25
#
数据仓库
数据仓库
数据库是否可以直接作为
数据仓库
的数据源
在
数据仓库
使用数据时,我们是否可以直接将数据库作为数据源?如果使用了,会存在哪些问题?
QYHuiiQ
·
2023-12-29 09:54
数据仓库
数据库
数据仓库
大数据技术16:数据湖和湖仓一体
前言:近几年大数据概念很多,数据库和
数据仓库
还没搞清楚,就又出了数据湖,现在又开始流行湖仓一体。互联网公司拼命造高大上概念来忽略小白买单的能力还是可以的。
Java架构何哥
·
2023-12-29 04:05
大数据治理
大数据
数据湖和湖仓一体
湖仓一体
数据湖
数据仓库
云卷云舒:如何选择正确的数据库
2,产品新版发布,建议技术创新角度使用新型数据库,如云原生数据库、
数据仓库
,对于生产需求不匹配带来的需求,建议选型不变,过渡期间完成选择,云数据库是首选。
Cloud云卷云舒
·
2023-12-28 20:32
数据库
云原生
云计算
数据库
架构
分布式
数据仓库
(八):
数据仓库
中数据库设计的基本模型
关于多维模型的内容可参考Kimball的著作《
数据仓库
工具箱:维度建模的完全指南》等。广泛采用的数据库设计模型有两种:关系型和多维型。
iteye_14608
·
2023-12-28 18:27
数据库
设计模式
银行数仓建模方法论
为了更好地管理和利用这些数据,银行
数据仓库
体系应运而生。在前面的文章中,我们介绍了银行
数据仓库
体系的基础知识,本篇文章将重点介绍银行
数据仓库
体系实践(7)—数据模型设计及流程。
添柴少年yyds
·
2023-12-28 18:56
数据挖掘
数据仓库
人工智能
数据仓库
架构以及数据模型的设计
1、什么是
数据仓库
?权威定义:
数据仓库
是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。
添柴少年yyds
·
2023-12-28 18:24
数据仓库
架构
数据库
Flink开发利器StreamX
在目前云原生架构的普及和湖仓一体化的大背景下,我们已经确定了将Doris作为离线
数据仓库
,将TiDB(目前已经应用于生产)作为实时数据平台,同时因为Doris具有onMySQL的odbc能力,所以又可以对外部数据库资源进行整合
Apache StreamPark
·
2023-12-28 15:34
StreamX
Flink
flink
大数据
big
data
Vuex介绍
通俗点讲可以想象为一个“前端数据库”(
数据仓库
),管理前端项目变量。2、Vuex的作用:Vuex的作用可以防止变量名重复,管理变量。3、Vuex的能够解
落日飞行
·
2023-12-28 14:02
前端-Vue
前端
javascript
css3
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他