E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
--------【数据仓库】
数据挖掘(1)概述
一、
数据仓库
和数据挖掘概述1.1
数据仓库
的产生
数据仓库
与数据挖掘:
数据仓库
和联机分析处理技术(存储)。数据挖掘:在大量的数据中心挖掘感兴趣的知识、规则、规律、模式、约束(分析)。
烟雨平生9527
·
2023-09-30 23:20
数据仓库
数据挖掘
spark
数据仓库
实践杂谈-(四)-元数据
全量第十章:拉链处理第十一章:分布式处理增量第十二章:列式存储第十三章:逻辑数据模型(数仓模型)第十四章:数据模型参考第十五章:维模型第十六章:渐变维第十七章:数据回滚第十八章:关于报表第十九章:数据挖掘
数据仓库
实践杂谈
老程序员一叶知秋
·
2023-09-30 19:13
数据仓库实践
元数据
数据仓库
大数据
数据模型
ETL
数据分析笔记1
数据分析概述:数据获取--探索分析与可视化--预处理--分析建模--模型评估数据分析含义:利用统计与概率的分析方法提取有用的信息,最后进行总结与概括一、数据获取实用网站:kaggle阿里云天池·
数据仓库
从白天到早上
·
2023-09-30 16:28
数据分析
(转)
数据仓库
之拉链表(原理、设计以及在Hive中的实现)
0x00前言本文将会谈一谈在
数据仓库
中拉链表相关的内容,包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成:先分享一下拉链表的用途、什么是拉链表。
primal_d4ad
·
2023-09-30 14:13
springboot基于BS结构的企业人事管理系统的设计与实现毕业设计源码121727
Springboot企业人事管理系统摘要由于数据库和
数据仓库
技术的快速发展,企业人事管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
高级程序源
·
2023-09-30 05:37
spring
boot
java
mysql
vue.js
css
打工人!政务、人力、制造业等行业超实用的40套报表模板来啦
例如,
数据仓库
已达到其目标。而数据质量似乎也正在失去其相关性,这是由于有意放弃数据建模和一个事实点。但是,对项目日常生活的特定看法揭示了不同的形象。
宋懵懵的数据生活
·
2023-09-29 21:13
【
数据仓库
设计基础(四)】
数据仓库
实施步骤
文章目录1.定义范围2.确定需求3.逻辑设计1)建立需要的数据列表2)识别数据源3)制作实体关系图4.物理设计1)性能优化2)数仓的拓展性5.装载数据6.访问数据7.管理维护实施一个
数据仓库
项目的主要步骤是
roman_日积跬步-终至千里
·
2023-09-29 09:56
数据仓库
数据仓库
spark
大数据
hive的安装和使用
hive介绍hive是一款Apache旗下的
数据仓库
构建软件,能够读取hdfs的数据使用SQL对数据进行处理,大大降低了面向关系型数据库开发人员的学习成本。
Captain_Gu
·
2023-09-29 08:36
数据仓库
-Hive基础(一)
数据仓库
的概念
数据仓库
的目的是构建面向分析的集成化数据环境,为企业提供决策支持(DecisionSupport)。
做个合格的大厂程序员
·
2023-09-29 04:16
夯实数据“底座”,AWS完整云存储阵容吹响“集结号”
回顾企业数据的演进史,从早期的数据报表,到实时互动的仪表盘,到
数据仓库
,到今天的数据湖。企业拥有生产经营各个环节产生的、产品和服务相关环节背后隐藏的,以及企业利益相关者等方方面面的数据。
云智时代
·
2023-09-28 23:58
产品解读 | 数据服务平台:KDP
以一体多模的大数据基础平台作为基座,提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务;此外,还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能,致力于满足企事业单位数据湖、
数据仓库
等多样需求
KaiwuDB 数据库
·
2023-09-28 21:17
KaiwuDB
KDP
数据分析报告制作(2)
数据获取与处理1.内部数据获取2.外部数据获取3.数据处理流程4.数据处理流程详解数据报告中涉及的数据image.png数据报告常用的数据来源image.png1.内部数据获取内部数据包括哪些image.png
数据仓库
是为企业所有级别的决策制定过程
西可可
·
2023-09-28 21:44
七、Hive
数据仓库
应用之Hive优化(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hive远程模式部署参考:一、Hive
数据仓库
应用之Hive部署(超详细步骤指导操作,WIN10,VMwareWorkstation15.5PRO,CentOS-6.7)文章目录一、Hive存储优化二、
七层楼的疯子
·
2023-09-28 19:52
Hive数据仓库应用
数据仓库
hive
hadoop
大数据
hdfs
六、Hive
数据仓库
应用之Hive事务(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hive远程模式部署参考:一、Hive
数据仓库
应用之Hive部署(超详细步骤指导操作,WIN10,VMwareWorkstation15.5PRO,CentOS-6.7)文章目录一、事务的设计与特点1、
七层楼的疯子
·
2023-09-28 19:52
Hive数据仓库应用
数据仓库
hive
hadoop
大数据
hdfs
【大数据基础实践】(六)
数据仓库
Hive的基本操作
目录1.
数据仓库
概念2.Hive简介2.1简介2.2特性2.3生态系统3.Hive系统架构4.HQL转成MapReduce作业的原理4.1join的实现原理4.2groupby的实现原理5.实验练习5.1
小生凡一
·
2023-09-28 18:02
大数据基础实践
数据仓库
数据库
大数据
hadoop
hive
【
数据仓库
设计基础(三)】数据集市
文章目录一.数据集市的概念二.数据集市与
数据仓库
的区别三.数据集市设计一.数据集市的概念数据集市是
数据仓库
的一种简单形式,通常由组织内的业务部门自己建立和控制。
roman_日积跬步-终至千里
·
2023-09-28 18:52
数据仓库
数据仓库
spark
大数据
【
数据仓库
设计基础(二)】维度数据模型
.优点1.4.缺点1.5.示例2.雪花模式2.1.数据规范化与存储2.2.优点2.3.缺点2.4.示例一.概述维度数据模型(Dimensionalmodeling,DM),是一套技术和概念的集合,用于
数据仓库
设计
roman_日积跬步-终至千里
·
2023-09-28 18:51
数据仓库
数据仓库
大数据
spark
python解析sql字段血缘_
数据仓库
内表格的血缘关系追溯的方法和装置与流程
本发明涉及计算机领域,尤其涉及一种
数据仓库
内表格的血缘关系追溯的方法和装置。背景技术:在使用
数据仓库
时,用户需要了解他所使用的表格的来源。
箱崎星梨花
·
2023-09-28 16:23
python解析sql字段血缘
解析
数据仓库
里的"元数据管理"
引言元数据管理是企业数据治理的基础,是
数据仓库
的提升;作为一名数据人,首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念,介绍元数据管理在
数据仓库
的地位。
秋夜雨凉
·
2023-09-28 16:15
spark相关网站
Spark的五种JOIN策略解析https://www.cnblogs.com/jmx-bigdata/p/14021183.html万字详解整个
数据仓库
建设体系(好文值得收藏)https://mp.weixin.qq.com
qq_40135006
·
2023-09-28 15:23
spark
大数据
分布式
DataWorks 增强分析发布,一站式数据查询分析与可视化
在以往的数据分析工作流中,从
数据仓库
取数查询、到数据可视化、数据共享,往往要横跨多个产品,步骤繁琐,产
阿里云云栖号
·
2023-09-28 10:05
云栖号技术分享
信息可视化
云原生
云计算
大数据
软考-数据库
数据库系统的体系结构分布式数据库特点可用性:一个副本出问题,可由另一个副本赋值过来接着用,不让系统崩溃分布式数据库透明三级模式-两层映射注意:不存在外模式与内模式的映射
数据仓库
数据库设计过程(了解)E-R
哦灬吼吼吼
·
2023-09-28 08:35
软考
数据库
数据仓库
建模方法 - 长表模式系统实践
*
数据仓库
构建难点:1.主题的准确划分,需要经常进行表的整合,有些表因为别人使用而无法废弃,表的数量越来越多2.数据库每个主题都有多张表,对使用方需要维护一个表说明清单,查询指标需要依赖额外的工具平台(
lwmxa
·
2023-09-28 00:04
1——Hive数仓项目完整流程(在线教育)
目录前言一、项目架构二、软件相关作用1.大数据相关软件2.数仓2.1
数据仓库
与数据库2.2
数据仓库
和数据集市2.3维度分析2.4指标3.数仓建模3.1建模理论3.2维度建模3.3维度建模的三种模型3.4
@—笨小孩—@
·
2023-09-27 23:39
python大数据
数仓实战
大数据
数据仓库
python
oracle 拉链表算法,拉链表设计算法
在企业中,由于有些流水表每日有几千万条记录,
数据仓库
保存5年数据的话很容易不堪重负,因此可以使用拉链表的算法来节省存储空间。1.采集当日全量数据存储到ND(当日)表中。
噼啊求职
·
2023-09-27 20:47
oracle
拉链表算法
oracle 拉链表如何分区,关于
数据仓库
历史拉链表新更新方法的说明
原始资料:
数据仓库
保留了大量的历史数据,这是区别于其他数据库的显著特点之一。历史数据能够使
数据仓库
重现任意时点的现场,对时间维度上的数据分析工作提供了重要的手段。
当回忆牵手未来
·
2023-09-27 20:46
oracle
拉链表如何分区
oracle 拉链表如何分区,利用Hive实现
数据仓库
中的拉链表
拉链表介绍在数据分析中,有时会需要维护一些历史状态,比如订单状态变化、评分变化等,为了保存下来这些状态变化的路径,可以通过拉链表实现适用场景数据量比较大,但业务要求每次需要查询全量历史,每天存储一份全量数据太占用存储空间记录变更不大,比如只有状态和更新时间有变动,其它字段都不变实现思路通过在记录末尾增加start_date和end_date字段来实现同一ID按时间排序后,如果有较新的记录,则当前记
馒猫子
·
2023-09-27 20:16
oracle
拉链表如何分区
Hive
数据仓库
你了解了吗
在工作中我们经常使用的数据库,数据库一般存放的我们系统中常用的数据,一般为百万级别。如果数据量庞大,达到千万级、亿级又需要对他们进行关联运算,该怎么办呢?前面我们已经介绍了HDFS和MapReduce了,它俩结合起来能够进行各种运算,可是MapReduce的学习成本太高了,如果有一种工具可以直接使用sql将hdfs中的数据查出来,并自动编写mapreduce进行运算,这就需要使用到我们的hive数
喜讯XiCent
·
2023-09-27 20:44
hadoop
hive
hadoop
大数据
hive面试题
1、什么是HiveHive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL)2、Hive的意义(最初研发的原因)避免了去写MapReduce
且从容.
·
2023-09-27 20:44
hive
hadoop
大数据
Hive数仓项目之数仓分层、数仓工具的使用
往期内容:Hive数仓项目架构说明、环境搭建及
数据仓库
基础知识今日内容:1)教育项目数仓分层(知道,明确每一层的作用)2)数仓工具的相关的使用(操作)2.1HUE相关的使用(操作HDFSHIVE,OOZIE
黑马程序员官方
·
2023-09-27 20:14
数据仓库
大数据
python
Hive电商数仓实战
数据源可通过日志采集、爬虫、数据库中取得,经过数据清洗转换导入
数据仓库
,通过数仓中数据分析得到数据总结,用于企业决策。
GoAI
·
2023-09-27 20:14
数据仓库
大数据
python
hive
电子商务
hive总结
文章目录1、
数据仓库
的基本概念2、
数据仓库
与数据库区别3、
数据仓库
分层架构4、为什么要对
数据仓库
分层?
TUJC
·
2023-09-27 20:42
大数据知识总结
基于MaxCompute SQL 的半结构化数据处理实践
简介:MaxCompute作为企业级
数据仓库
服务,集中存储和管理企业数据资产、面向数据应用处理和分析数据,将数据转换为业务洞察。通过与阿里云内、外部服务灵活组合,可构建丰富的数据应用。
阿里云云栖号
·
2023-09-27 16:20
云栖号技术分享
sql
big
data
数据库
基于 MaxCompute SQL 的半结构化数据处理实践
一、MaxCompute基础介绍阿里云数据与分析产品解决方案MaxCompute作为企业级
数据仓库
服务,集中存储和管理企业数据资产、面向数据应用处理和分析数据,将数据转换为业务洞察。
阿里云技术
·
2023-09-27 16:48
sql
big
data
数据库
产品解读 | 数据服务平台:KDP
以一体多模的大数据基础平台作为基座,提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务;此外,还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能,致力于满足企事业单位数据湖、
数据仓库
等多样需求
·
2023-09-27 16:55
数据库
现代数据架构-湖仓一体
当前的数据架构已经从数据库、
数据仓库
,发展到了数据湖、湖仓一体架构,本篇文章从头梳理了一下数据行业发展的脉络。
ladofwind
·
2023-09-27 14:59
湖仓一体
数据安全态势管理:什么是事实,什么是虚构?
公司正在将数据转移到云端,将其聚合在
数据仓库
和SaaS应用程序中,并在系统之间实时传输数
网络研究院
·
2023-09-27 09:59
网络研究院
大数据
云安全
数据控制
数据安全
网络安全
定义现代化实时
数据仓库
,SelectDB 全新产品形态全面发布
导读:9月25日,2023飞轮科技产品发布会在线上正式召开,本次产品发布会以“新内核、新图景”为主题,飞轮科技CEO马如悦全面解析了现代化
数据仓库
的演进趋势,宣布立足于多云之上的SelectDBCloud
SelectDB技术团队
·
2023-09-27 08:18
数据仓库
大数据
数据分析
数据库
云原生
关于ETL的两种架构(ETL架构和ELT架构)
ETL一词较常用在
数据仓库
,但其对象并不限于
数据仓库
。ETL是构建
数据仓库
的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的
数据仓库
模型,将数据加载到
数据仓库
中去。
2301_78385600
·
2023-09-27 07:31
etl
架构
数据仓库
hive详解
Hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能2)Hive本质:将HQL转化成MapReduce程序(1)Hive处理的数据存储在HDFS(2)
MYH516
·
2023-09-27 03:43
bash
定义现代化实时
数据仓库
,SelectDB 全新产品形态全面发布
导读:9月25日,2023飞轮科技产品发布会在线上正式召开,本次产品发布会以“新内核、新图景”为主题,飞轮科技CEO马如悦全面解析了现代化
数据仓库
的演进趋势,宣布立足于多云之上的SelectDBCloud
·
2023-09-26 21:27
数据库大数据数据分析云原生算法
腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台
基于公司丰富的音乐内容资产,需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容
数据仓库
,并通过产品工具为业务人员提供数据分析服务。
·
2023-09-26 19:55
实时分析、融合统一及云原生,现代化
数据仓库
未来发展必经之路|专访飞轮科技 CEO 马如悦
在国内拥有2500+中大型企业用户,用户社群聚集开发者超3万人,活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑,ApacheDoris已成为全国数据库和大数据领域最为活跃的开源项目之一。ApacheDoris历经近十年的发展,为何还能持续保持竞争力和活力?其背后的核心推动力又是什么?在QCon全球软件开发大会·北京站的现场,基于ApacheDoris的商业化公司飞轮科技的CEO、A
·
2023-09-26 19:25
如何访问TDH中Inceptor 底层的元数据库TxSQL
如何访问TDH中Inceptor底层的元数据库TxSQL1Inceptor概述在大数据生态系统中,HIVE是离线
数据仓库
事实上的标准,绝大多数的大数据分析型系统或
数据仓库
系统,都是基于HIVE来构建的。
明哥的IT随笔
·
2023-09-26 12:42
大数据
数据库
[
数据仓库
]分层概念,ODS,DM,DWD,DWS,DIM的概念
一.各种名词解释1.1ODS是什么?ODS层最好理解,基本上就是数据从源表拉过来,进行etl,比如mysql映射到hive,那么到了hive里面就是ods层。ODS全称是OperationalDataStore,操作数据存储.“面向主题的”,数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的ETL之后,装入本层。本层的数据,总体上大多是按照源
白鸽呀
·
2023-09-26 12:03
大数据
hive
big
data
《数据库理论与技术》期终考试复习题
文章目录一、填空题:二、选择题:三、简答题:一、填空题:
数据仓库
是面向(主题的)、(集成的)、(相对稳定的)、(反映历史变化)的数据集合.多维数据模型由(维表)和(事实表)定义,其常见的形式有(星型)、
做个好男人!
·
2023-09-26 03:16
数据库
数据库
数据库系统概论
CC00055.pbpositions——|Hadoop&PB级数仓.V13|——|PB数仓.v13|核心交易分析|DWS层建表|加载数据|
一、DWS层建表及数据加载说明###---DIM、DWD=>
数据仓库
分层、
数据仓库
理论~~~#需求:计算当天~~~全国所有订单信息~~~全国、一级商品分类订单信息~~~全国、二级商品分类订单信息~~~大区所有订单信息
yanqi_vip
·
2023-09-25 21:38
数据仓库
大数据
hive
数据分析
人工智能
【离线数仓-9-
数据仓库
开发DWS层设计要点-1d/nd/td表设计】
离线数仓-9-
数据仓库
开发DWS层设计要点-1d/nd/td表设计离线数仓-9-
数据仓库
开发DWS层设计要点-1d/nd/td表设计一、DWS层设计要点二、DWS层设计分析-1d/nd1.DWS层设计一
Apache Minor Trend
·
2023-09-25 21:37
数据仓库
大数据
数据治理
数据仓库
数据库
数据挖掘
离线数仓——(活跃用户ODS层建表及加载数据,活跃用户DWD层建表及加载数据,活跃用户DWS层建表及加载数据,活跃用户ADS层建表及加载数据)
文章目录活跃用户ODS层建表及数据加载活跃用户DWD层建表及加载数据活跃用户活跃用户DWS层建表及加载数据活跃用户ADS层建表及加载数据活跃用户ODS层建表及数据加载离线数仓架构如下图所示:详细概念参考
数据仓库
想做CTO的任同学...
·
2023-09-25 20:36
离线数仓
hive
大数据
数据仓库
数据库
java
数仓命名规范
传统上,企业中
数据仓库
作为全企业数据汇聚的场所,不能直接保留原系统名称,需要进行规范命名,其命名规范也是数据标准的一部门。本文介绍的规范可供大家参考!
后季暖
·
2023-09-25 16:15
大数据
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他