--------【数据仓库】

PB级企业电商离线数仓项目实战

数据仓库的四大特征：面向主题、集成的、稳定的、反映历史变化的。
大数据人之路·2023-01-23 14:27

[电商实时数仓] 数据仓库建模过程分析

文章目录1.数据仓库概述1.1数据仓库概念1.2数据仓库核心架构2.数据仓库建模概述2.1数据仓库建模的意义2.2数据仓库建模方法论2.2.1ER模型2.2.2维度模型3.维度建模理论之事实表3.1事实表概述
OoZzzy·2023-01-23 14:27

本地虚拟机集群搭建数据仓库实战

组件目录一.环境准备二.JDK安装三.Hadoop安装过程四.Zookeeper安装五.Flume安装六.Kafka安装七.MySQL安装八.Sqoop安装九.Hive安装十.安装ES5.2十一.安装Spark2.4.3十二.安装Livy十三.Maven十四.ApacheGriffin编译本文参考尚硅谷的视频配置，组件较多，可根据需要酌情配置一.环境准备内存4G，硬盘50G(根据自己的电脑配置酌情
ZhaoHY KeepRunning·2023-01-21 09:11

银行数据仓库体系实践（8）--主数据模型设计

主数据区域中保留了数据仓库的所有基础数据及历史数据，是数据仓库中最重要的数据区域之一，那主数据区域中主要分为近源模型区和整合（主题）模型区。上一节讲到了模型的设计流程如下图所示。
acumen_leo·2023-01-20 14:12

可路由计算引擎实现前置数据库

中央数据仓库局限很多大机构都会有个中央数据仓库负责向应用提供数据服务。随着业务的发展，中央数据仓库的负载在持续增加。一方面，数仓是前端应用的数据后台
小虚竹·2023-01-19 05:01

干货 | 携程酒店实时数仓架构和案例

作者简介秋石，携程数据仓库专家，关注大数据、数据仓库、数据治理等领域；九号，携程数据技术专家，关注数据仓库架构、数据湖、数据治理；魁伟，携程资深数据工程师，关注实时&离线大数据产品及技术。
携程技术·2023-01-18 09:29

苏宁数据仓库应对数据爆发式增长的技术演进

为什么需要数据仓库随着公司业务不断发展，数据种类和存储呈现爆发式增长，繁多的业务数据如何被各业务中心分析和使用，如何有效组织和管理大量业务数据，减少大数据平台相近逻辑重复计算、相近数据重复存储，都将面临巨大挑战
碧英大数据·2023-01-18 09:56

大数据开发之路：hive篇

很多入门大数据的小伙伴，可能第一个接触到的，就是一只可爱的“小象”，也就是我们的大数据领域的数据仓库工具hive。
乐姐·2023-01-17 15:03

大数据课程——数据仓库Hive、数据库Hbase

数据仓库数据仓库数据仓库概念数据仓库的体系结构数据库和数据仓库的区别Hive什么是Hive为什么用HiveHive与传统数据库的对比Hive的外部表和内部表分布式数据库Hbase为什么会出现HbaseHbase
张亲亲亲亲钦·2023-01-17 15:02

大数据系统——Hive-A Warehousing Solution Over a Map-Reduce Framework论文分享

Hive是一种基于Hadoop构建的开源数据仓库解决方案。Hive支持类似SQL的声明性语言查询
应该叫什么名字·2023-01-17 15:31

大数据工具——Hive（基础）

一、HIVE的定义Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套HiveSQL简称HQL。
NoMissU·2023-01-17 15:31

大数据预处理kettle课堂笔记

大数据预处理kettle课堂笔记第一章数据预处理概述第二章Kettle工具的基本使用第三章基于kettle的书导入与导出第四章数据清理第五章Kettle的作业设计第六章构建数据仓库第七章基于Pythond
阿楷不当程序员·2023-01-16 10:47

基于阿里云 MaxCompute 构建企业云数据仓库CDW

在本文中阿里云资深产品专家云郎分享了基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议。本文内容根据演讲视频以及PPT整理而成。
阿里云云栖号·2023-01-14 16:13

基于阿里云 MaxCompute 构建企业云数据仓库CDW的最佳实践建议

在本文中阿里云资深产品专家云郎分享了基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议。本文内容根据演讲视频以及PPT整理而成。
阿里云技术·2023-01-14 16:13

数仓知识03：“自上而下“建设数仓和“自下而上“建设数仓的差异

1.两种方式的详细介绍1.1自上而下建立数据仓库（范式建模）别名：范式建模、原子数据仓库、企业信息工厂这种构建数据仓库的理念是由数据仓库之父BillInmon提出的，自上而下建立数据仓库（DW-DM）又称为范式建模
维克先生·2023-01-14 16:41

阿里云MaxCompute被Forrester评为全球云端数据仓库领导者

2019独角兽企业重金招聘Python工程师标准>>>摘要：参考消息网3月19日报道日前，全球权威调研机构佛瑞斯特研究公司（Forrester）发布《2018年一季度云端数据仓库》报告。
weixin_33753845·2023-01-14 16:40

阿里云 - MaxCompute研究

一、官方介绍MaxCompute是适用于数据分析场景的企业级SaaS（SoftwareasaService）模式云数据仓库，提供离线和流式数据的接入，支持大规模数据计算及查询加速能力。
维克先生·2023-01-14 16:32

五、Hive数据仓库应用之Hive函数（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hive远程模式部署参考：一、Hive数据仓库应用之Hive部署（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）Hive函数参考：五、Hive数据仓库应用之
七层楼的疯子·2023-01-14 15:36

浙江大学-数据挖掘课程-复习笔记

interestingpattern数据挖掘的过程：knowledgediscovery过程KDD可以被挖掘的patterngeneralization(概括)Informationintegration信息聚合，数据仓库的构建
没有人比我更懂暴力算法·2023-01-14 01:48

HIVE基础

HIVE特征Hive只适合用来做海量离线数据统计分析，也就是数据仓库Hive中所有的数据都存储在HDFS中，没有专门的数据存储格式，因为Hive是读模式（SchemaOnRead），可支持TextFile
甄知一二·2023-01-13 17:34

数据仓库如何确定主题域

数据仓库是面向
落鱼...·2023-01-13 09:29

【数据中台】数据仓库设计规范

为了解决数据仓库建设过程中出现的各种痛点，我们从模型与规范两个方面进行建设，并提出设计统一归口。1.模型规范化模型分层、数据流向，从而降低研发成本，增强指标复用性，并提高业务的支撑能力。
孟知之·2023-01-13 09:27

数据仓库建设之确定主题域

目录一、什么是主题？二、什么是主题域？三、如何划分主题域？1、按照系统划分2、按业务过程划分3、按需求方划分4、按部门划分5、按功能或应用划分6、按行业经验划分一、什么是主题？主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。主题域是业务对象高度概括的概念层次归类，目的是便于数据的管理和应用。二、什么是主题域？主题域通常是联系较为
IMezZ·2023-01-13 09:25

数仓的主题和主题域应该怎么划分？

数据仓库之父BillInmon将数据仓库描述为一个面向主题的、集成的、稳定的、反应历史变化的数据集合，用于支持管理者的决策过程。
catydidd·2023-01-13 09:55

数据仓库、主题域、主题概念与定义

一、数据仓库关于数据仓库概念的标准定义业内认可度比较高的，是由数据仓库之父比尔·恩门（BillInmon）在1991年出版的“BuildingtheDataWarehouse”（《建立数据仓库》）一书中所提出
数仓大山哥·2023-01-13 09:24

数仓(四)：数据建模：如何构建主题域/面向主题的建模

数据仓库十大主题；TeraData金融数据模型数据仓库十大主题；TeraData金融数据模型_Jackie的博客-CSDN博客一、什么是主题数仓主题(Subject)是在较高层次上将企业信息系统中中某一分析对象的数据进行综合
四月天03·2023-01-13 09:24

主题域、概念、逻辑、物理四种模型有什么区别与联系？

以下文章来源于大数据架构师，作者彭文华傅一平荐语：概念是理解知识的关键，虽然你可能每天都听到主题域、概念、逻辑、物理模型这种数据仓库的名词，虽然你可能也实践过了，但不代表理解了这些概念的本质，理解本质的一个好处就是发现第一性原理
hanxiaolaa·2023-01-13 09:23

数仓实践：浅谈 Kimball 维度建模

我们不管是基于Hadoop的数据仓库（如Hive），还是基于传统MPP架构的数据仓库（如Teradata），抑或是基于传统Oracle、MySQL、SQLServer关系型数据库的数据仓库，其实都面临如下问题
云 祁·2023-01-13 09:52

数据仓库系列（三）数仓分层的意义价值及如何设计数据分层

文章目录一、前言二、数仓建模三、数仓分层四、数仓的基本特征五、数据仓库用途六、数仓分层的好处七、如何分层一、前言现在说数仓，更多的会和数据平台或者基础架构搭上，已经融合到整个基础设施的搭建上。
云 祁·2023-01-13 09:21

数仓建设：数据域和主题域是什么关系？

首先来看看数据仓库的定义吧，数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
云 祁·2023-01-13 09:20

026 数据仓库

1、数据仓库数仓分层：ODS(OperationalDataStore)直接存放原始数据，DWD(DataWarehouseDetail)对数据进行清洗，DWS(DataWarehouseService
小哥哥咯·2023-01-12 19:00

DAP组件外部服务开发说明

数据分析平台主要是为了满足企业数据分析的需要而开发的一款产品，不同于一般的BI平台，DAP数据分析平台更侧重数据的聚合，平台预置有数据源注册、ODS注册与管理、数仓配置与数据聚合，从而实现企业业务数据的统一，构建企业统一的、标准的、完整的数据仓库
数通畅联·2023-01-12 19:59

DAP数据分析平台应用过程梳理

DAP数据分析平台是公司的核心产品之一，不仅可以对数据进行分析展现，还可以通过DAP构建企业数据仓库，将企业数据进行数
数通畅联·2023-01-12 19:57

ETL 是什么 ETL 工具有哪些 ETL 数据交换系统

得到符合要求的“干净”数据，并加载到数据仓库中进行存储。这些“干净”数据就成为了数据
·2023-01-12 17:48

企业的数据存储、处理与分析之道

SelectDBCloud飞轮科技核心云产品介绍来自SelectDB的云产品负责人姜国强总结了目前数据仓库发展的需求与演进方向，他认为：“目前，我们已经来到了以云数仓为中心的现代数据
·2023-01-12 17:14

数据仓库设计的基础知识

维表设计一般都遵循星型模型，雪花模型过于复杂。简单易用的数据分析工具：Metabase:DownloadtheMetabaseJAR
喜林.·2023-01-12 12:34

数据仓库架构以及数据模型的设计

1、什么是数据仓库？权威定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
浪尖聊大数据-浪尖·2023-01-12 12:02

数据仓库模型设计开发流程与规范

版本：V1.0最后修改日期：2021/03/17本文首发微信公众号：码上观世界1.数据模型设计目标为使下游数据使用方低成本获取一致性的可靠数据服务，数据模型设计方需要达到如下目标：成本：模型设计者要平衡性能和成本要素对数据模型的影响，现有海量大数据情况下，以保障业务和性能为前提，合理使用数据模型方案和存储策略，尽量消除不必要的数据复制与冗余。性能：模型设计者需要兼顾模型刷新性能开销、产出时间和访问
咬定青松·2023-01-12 12:01

一、数据仓库基础理论

数据仓库基础理论一、数据仓库1、概念2、数据仓库分层结构3、为什么要分层二、数据集市三、数据湖1、数据湖和数据仓库一、数据仓库1、概念数据仓库（DataWarehouse,DW）：一个面向主题的、集成的
长不大的大灰狼·2023-01-12 12:29

数据仓库的模型设计流程

数仓模型设计的整体流程涉及需求调研、模型设计、开发测试、模型上线四个主要环节，且规范设计了每个阶段的输出与输入文档。需求调研：收集和理解业务方需求，就特定需求的口径达成统一，在对需求中涉及到的业务系统或系统模块所承担的功能进行梳理后进行表字段级分析，并对数据进行验证，确保现有数据能够支持业务需求。模型设计：根据需求和业务调研结果对模型进行初步归类，选择合适的主题域进行模型存放；确定主题后进入数据模
数仓大山哥·2023-01-12 12:29

03 Hive概述

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
长不大的大灰狼·2023-01-12 12:29

二、数据仓库模型设计

数据仓库模型设计一、数据模型二、关系模型三、维度模型1、事实表（1）事务事实表（2）周期快照事实表（3）累计快照事实表（4）无事实的事实表2、维度表3、维度模型类型（1）星型类型（2）雪花模型（3）星座模型
长不大的大灰狼·2023-01-12 11:25

mysql单机主从_MySQL 主从架构(一)——单机一对一

为什么要使用主从架构复制功能不仅有利于构建高性能的应用，同时也是高可用性、可扩展性、灾难修复、备份以及数据仓库等工作的基础。我的直接目的是为了实现读写分离。
贾温悦·2023-01-12 10:13

Flink知识概要

应用场景包括：实时数据计算、实时数据仓库和ETL、事件驱动型场景，如告警、监控；此外，随着Flink对机器学习的支持越来越完善，还可以被用作机器学习和人工智能2、Flink特性1.批流一体：Flink从另一个视角看待
TUJC·2023-01-12 10:10

带您认识spreadsheet专属的数据仓库，助力报表开发好帮手！

业务主题我们看作是Smartbi产品中的数据仓库，主要应用于可视化数据集等操作。应用场景业务主题的应用场景有如下几种情况：数据源下有很多张表，对于有些客户可能只需要其中几张表进行操作。
·2023-01-11 18:38

数据仓库基础知识(维度建模)

一、数据仓库概述1.1数据仓库定义数据仓库：DataWarehouse，是为企业所决策制定过程，提供所有支持类型的数据集合。用于分析性报告和决策支持。
大数据点滴·2023-01-11 06:14

Centos Linux 单机安装 Hive 、使用 Hive

CentosLinux单机安装Hive、使用Hive视频教程链接：https://www.bilibili.com/video/BV1Rv4y117NR/1.Hive简介hive是基于Hadoop构建的一套数据仓库分析系统
寒水馨·2023-01-10 09:16

Tensorflow之TFRecord的原理和使用心得

Hive作为构建在HDFS上的一个数据仓库，它本质上可以看作是一个翻译器，可以将HiveSQL语句翻译成MapReduce程序或Spark程序，因此模型需要的数据例如csv/libsvm文件都会保存成Hive
程序员对白·2023-01-10 08:47

Vue3动态路由与路由守卫

首先增加本地mock数据仓库，封装api：//本地mock模拟数据constadminMenu=[{path:'/adminhome',name:'adminho
z981832649·2023-01-10 03:36

正式毕业！Apache Kyuubi 成为 Apache 基金会顶级项目！

ApacheKyuubi是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器SQL。
·2023-01-09 15:49
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他