etl+数据仓库

Hive的基本概念

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
乙腾·2023-10-01 05:13

数据挖掘（1）概述

一、数据仓库和数据挖掘概述1.1数据仓库的产生数据仓库与数据挖掘：数据仓库和联机分析处理技术(存储)。数据挖掘：在大量的数据中心挖掘感兴趣的知识、规则、规律、模式、约束(分析)。
烟雨平生9527·2023-09-30 23:20

数据仓库实践杂谈-（四）-元数据

全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型）第十四章：数据模型参考第十五章：维模型第十六章：渐变维第十七章：数据回滚第十八章：关于报表第十九章：数据挖掘数据仓库实践杂谈
老程序员一叶知秋·2023-09-30 19:13

数据分析笔记1

数据分析概述：数据获取--探索分析与可视化--预处理--分析建模--模型评估数据分析含义：利用统计与概率的分析方法提取有用的信息，最后进行总结与概括一、数据获取实用网站：kaggle阿里云天池·数据仓库
从白天到早上·2023-09-30 16:28

(转)数据仓库之拉链表（原理、设计以及在Hive中的实现）

0x00前言本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成：先分享一下拉链表的用途、什么是拉链表。
primal_d4ad·2023-09-30 14:13

springboot基于BS结构的企业人事管理系统的设计与实现毕业设计源码121727

Springboot企业人事管理系统摘要由于数据库和数据仓库技术的快速发展，企业人事管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
高级程序源·2023-09-30 05:37

打工人！政务、人力、制造业等行业超实用的40套报表模板来啦

例如，数据仓库已达到其目标。而数据质量似乎也正在失去其相关性，这是由于有意放弃数据建模和一个事实点。但是，对项目日常生活的特定看法揭示了不同的形象。
宋懵懵的数据生活·2023-09-29 21:13

【数据仓库设计基础（四）】数据仓库实施步骤

文章目录1．定义范围2．确定需求3．逻辑设计1）建立需要的数据列表2）识别数据源3）制作实体关系图4．物理设计1）性能优化2）数仓的拓展性5．装载数据6．访问数据7．管理维护实施一个数据仓库项目的主要步骤是
roman_日积跬步-终至千里·2023-09-29 09:56

hive的安装和使用

hive介绍hive是一款Apache旗下的数据仓库构建软件，能够读取hdfs的数据使用SQL对数据进行处理，大大降低了面向关系型数据库开发人员的学习成本。
Captain_Gu·2023-09-29 08:36

数据仓库-Hive基础（一）数据仓库的概念

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（DecisionSupport）。
做个合格的大厂程序员·2023-09-29 04:16

夯实数据“底座”，AWS完整云存储阵容吹响“集结号”

回顾企业数据的演进史，从早期的数据报表，到实时互动的仪表盘，到数据仓库，到今天的数据湖。企业拥有生产经营各个环节产生的、产品和服务相关环节背后隐藏的，以及企业利益相关者等方方面面的数据。
云智时代·2023-09-28 23:58

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖、数据仓库等多样需求
KaiwuDB 数据库·2023-09-28 21:17

数据分析报告制作（2）

数据获取与处理1.内部数据获取2.外部数据获取3.数据处理流程4.数据处理流程详解数据报告中涉及的数据image.png数据报告常用的数据来源image.png1.内部数据获取内部数据包括哪些image.png数据仓库是为企业所有级别的决策制定过程
西可可·2023-09-28 21:44

七、Hive数据仓库应用之Hive优化（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hive远程模式部署参考：一、Hive数据仓库应用之Hive部署（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）文章目录一、Hive存储优化二、
七层楼的疯子·2023-09-28 19:52

六、Hive数据仓库应用之Hive事务（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hive远程模式部署参考：一、Hive数据仓库应用之Hive部署（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）文章目录一、事务的设计与特点1、
七层楼的疯子·2023-09-28 19:52

【大数据基础实践】(六)数据仓库Hive的基本操作

目录1.数据仓库概念2.Hive简介2.1简介2.2特性2.3生态系统3.Hive系统架构4.HQL转成MapReduce作业的原理4.1join的实现原理4.2groupby的实现原理5.实验练习5.1
小生凡一·2023-09-28 18:02

【数据仓库设计基础（三）】数据集市

文章目录一.数据集市的概念二.数据集市与数据仓库的区别三.数据集市设计一.数据集市的概念数据集市是数据仓库的一种简单形式，通常由组织内的业务部门自己建立和控制。
roman_日积跬步-终至千里·2023-09-28 18:52

【数据仓库设计基础（二）】维度数据模型

．优点1.4．缺点1.5．示例2.雪花模式2.1．数据规范化与存储2.2．优点2.3．缺点2.4．示例一.概述维度数据模型（Dimensionalmodeling,DM），是一套技术和概念的集合，用于数据仓库设计
roman_日积跬步-终至千里·2023-09-28 18:51

python解析sql字段血缘_数据仓库内表格的血缘关系追溯的方法和装置与流程

本发明涉及计算机领域，尤其涉及一种数据仓库内表格的血缘关系追溯的方法和装置。背景技术：在使用数据仓库时，用户需要了解他所使用的表格的来源。
箱崎星梨花·2023-09-28 16:23

解析数据仓库里的"元数据管理"

引言元数据管理是企业数据治理的基础，是数据仓库的提升；作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位。
秋夜雨凉·2023-09-28 16:15

spark相关网站

Spark的五种JOIN策略解析https://www.cnblogs.com/jmx-bigdata/p/14021183.html万字详解整个数据仓库建设体系（好文值得收藏）https://mp.weixin.qq.com
qq_40135006·2023-09-28 15:23

DataWorks 增强分析发布，一站式数据查询分析与可视化

在以往的数据分析工作流中，从数据仓库取数查询、到数据可视化、数据共享，往往要横跨多个产品，步骤繁琐，产
阿里云云栖号·2023-09-28 10:05

软考-数据库

数据库系统的体系结构分布式数据库特点可用性：一个副本出问题，可由另一个副本赋值过来接着用，不让系统崩溃分布式数据库透明三级模式-两层映射注意：不存在外模式与内模式的映射数据仓库数据库设计过程（了解）E-R
哦灬吼吼吼·2023-09-28 08:35

数据仓库建模方法 - 长表模式系统实践

*数据仓库构建难点：1.主题的准确划分，需要经常进行表的整合，有些表因为别人使用而无法废弃，表的数量越来越多2.数据库每个主题都有多张表，对使用方需要维护一个表说明清单，查询指标需要依赖额外的工具平台（
lwmxa·2023-09-28 00:04

1——Hive数仓项目完整流程（在线教育）

目录前言一、项目架构二、软件相关作用1.大数据相关软件2.数仓2.1数据仓库与数据库2.2数据仓库和数据集市2.3维度分析2.4指标3.数仓建模3.1建模理论3.2维度建模3.3维度建模的三种模型3.4
@—笨小孩—@·2023-09-27 23:39

oracle 拉链表算法,拉链表设计算法

在企业中，由于有些流水表每日有几千万条记录，数据仓库保存5年数据的话很容易不堪重负，因此可以使用拉链表的算法来节省存储空间。1.采集当日全量数据存储到ND(当日)表中。
噼啊求职·2023-09-27 20:47

oracle 拉链表如何分区,关于数据仓库历史拉链表新更新方法的说明

原始资料：数据仓库保留了大量的历史数据，这是区别于其他数据库的显著特点之一。历史数据能够使数据仓库重现任意时点的现场，对时间维度上的数据分析工作提供了重要的手段。
当回忆牵手未来·2023-09-27 20:46

oracle 拉链表如何分区,利用Hive实现数据仓库中的拉链表

拉链表介绍在数据分析中，有时会需要维护一些历史状态，比如订单状态变化、评分变化等，为了保存下来这些状态变化的路径，可以通过拉链表实现适用场景数据量比较大，但业务要求每次需要查询全量历史，每天存储一份全量数据太占用存储空间记录变更不大，比如只有状态和更新时间有变动，其它字段都不变实现思路通过在记录末尾增加start_date和end_date字段来实现同一ID按时间排序后，如果有较新的记录，则当前记
馒猫子·2023-09-27 20:16

Hive数据仓库你了解了吗

在工作中我们经常使用的数据库，数据库一般存放的我们系统中常用的数据，一般为百万级别。如果数据量庞大，达到千万级、亿级又需要对他们进行关联运算，该怎么办呢？前面我们已经介绍了HDFS和MapReduce了，它俩结合起来能够进行各种运算，可是MapReduce的学习成本太高了，如果有一种工具可以直接使用sql将hdfs中的数据查出来，并自动编写mapreduce进行运算，这就需要使用到我们的hive数
喜讯XiCent·2023-09-27 20:44

hive面试题

1、什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）2、Hive的意义（最初研发的原因）避免了去写MapReduce
且从容.·2023-09-27 20:44

Hive数仓项目之数仓分层、数仓工具的使用

往期内容：Hive数仓项目架构说明、环境搭建及数据仓库基础知识今日内容:1)教育项目数仓分层(知道,明确每一层的作用)2)数仓工具的相关的使用(操作)2.1HUE相关的使用(操作HDFSHIVE,OOZIE
黑马程序员官方·2023-09-27 20:14

Hive电商数仓实战

数据源可通过日志采集、爬虫、数据库中取得，经过数据清洗转换导入数据仓库，通过数仓中数据分析得到数据总结，用于企业决策。
GoAI·2023-09-27 20:14

hive总结

文章目录1、数据仓库的基本概念2、数据仓库与数据库区别3、数据仓库分层架构4、为什么要对数据仓库分层？
TUJC·2023-09-27 20:42

基于MaxCompute SQL 的半结构化数据处理实践

简介：MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。通过与阿里云内、外部服务灵活组合，可构建丰富的数据应用。
阿里云云栖号·2023-09-27 16:20

基于 MaxCompute SQL 的半结构化数据处理实践

一、MaxCompute基础介绍阿里云数据与分析产品解决方案MaxCompute作为企业级数据仓库服务，集中存储和管理企业数据资产、面向数据应用处理和分析数据，将数据转换为业务洞察。
阿里云技术·2023-09-27 16:48

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖、数据仓库等多样需求
·2023-09-27 16:55

现代数据架构-湖仓一体

当前的数据架构已经从数据库、数据仓库，发展到了数据湖、湖仓一体架构，本篇文章从头梳理了一下数据行业发展的脉络。
ladofwind·2023-09-27 14:59

数据安全态势管理：什么是事实，什么是虚构？

公司正在将数据转移到云端，将其聚合在数据仓库和SaaS应用程序中，并在系统之间实时传输数
网络研究院·2023-09-27 09:59

定义现代化实时数据仓库，SelectDB 全新产品形态全面发布

导读：9月25日，2023飞轮科技产品发布会在线上正式召开，本次产品发布会以“新内核、新图景”为主题，飞轮科技CEO马如悦全面解析了现代化数据仓库的演进趋势，宣布立足于多云之上的SelectDBCloud
SelectDB技术团队·2023-09-27 08:18

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
2301_78385600·2023-09-27 07:31

hive详解

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能2）Hive本质：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）
MYH516·2023-09-27 03:43

定义现代化实时数据仓库，SelectDB 全新产品形态全面发布

导读：9月25日，2023飞轮科技产品发布会在线上正式召开，本次产品发布会以“新内核、新图景”为主题，飞轮科技CEO马如悦全面解析了现代化数据仓库的演进趋势，宣布立足于多云之上的SelectDBCloud
·2023-09-26 21:27

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

基于公司丰富的音乐内容资产，需要将歌曲库、艺人资讯、专辑信息、厂牌信息等大量数据进行统一存储形成音乐内容数据仓库，并通过产品工具为业务人员提供数据分析服务。
·2023-09-26 19:55

实时分析、融合统一及云原生，现代化数据仓库未来发展必经之路｜专访飞轮科技 CEO 马如悦

在国内拥有2500+中大型企业用户，用户社群聚集开发者超3万人，活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑，ApacheDoris已成为全国数据库和大数据领域最为活跃的开源项目之一。ApacheDoris历经近十年的发展，为何还能持续保持竞争力和活力？其背后的核心推动力又是什么？在QCon全球软件开发大会·北京站的现场，基于ApacheDoris的商业化公司飞轮科技的CEO、A
·2023-09-26 19:25

如何访问TDH中Inceptor 底层的元数据库TxSQL

如何访问TDH中Inceptor底层的元数据库TxSQL1Inceptor概述在大数据生态系统中，HIVE是离线数据仓库事实上的标准，绝大多数的大数据分析型系统或数据仓库系统，都是基于HIVE来构建的。
明哥的IT随笔·2023-09-26 12:42

[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念

一.各种名词解释1.1ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进行etl，比如mysql映射到hive，那么到了hive里面就是ods层。ODS全称是OperationalDataStore，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层。本层的数据，总体上大多是按照源
白鸽呀·2023-09-26 12:03

《数据库理论与技术》期终考试复习题

文章目录一、填空题：二、选择题:三、简答题:一、填空题：数据仓库是面向(主题的)、(集成的)、(相对稳定的)、(反映历史变化)的数据集合.多维数据模型由(维表)和(事实表)定义，其常见的形式有(星型)、
做个好男人！·2023-09-26 03:16

CC00055.pbpositions——|Hadoop&PB级数仓.V13|——|PB数仓.v13|核心交易分析|DWS层建表|加载数据|

一、DWS层建表及数据加载说明###---DIM、DWD=>数据仓库分层、数据仓库理论~~~#需求：计算当天~~~全国所有订单信息~~~全国、一级商品分类订单信息~~~全国、二级商品分类订单信息~~~大区所有订单信息
yanqi_vip·2023-09-25 21:38

【离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计】

离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计一、DWS层设计要点二、DWS层设计分析-1d/nd1.DWS层设计一
Apache Minor Trend·2023-09-25 21:37

离线数仓——（活跃用户ODS层建表及加载数据，活跃用户DWD层建表及加载数据，活跃用户DWS层建表及加载数据，活跃用户ADS层建表及加载数据）

文章目录活跃用户ODS层建表及数据加载活跃用户DWD层建表及加载数据活跃用户活跃用户DWS层建表及加载数据活跃用户ADS层建表及加载数据活跃用户ODS层建表及数据加载离线数仓架构如下图所示：详细概念参考数据仓库
想做CTO的任同学...·2023-09-25 20:36
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他