数据仓库hadoop大数据

数仓的DW、ODS、DM概念及其区别

ODS层ODS(OperationalDataStore)操作性数据，是作为数据库到数据仓库的一种过渡，ODS的数据结构一般与数据来源保持一致，便于减少ETL的工作复杂性，而且ODS的数据周期一般比较短
焱行软件科技计算机毕设·2023-10-07 13:14

MYSQL基础（DDL,DML,DQL）

SQL优点1、简单易学，具有很强的操作性2、绝大多数重要的数据库管理系统均支持SQL3、高度非过程化；用SQL操作数据库时大部分的工作由DBMS自动完成1.数据库概念：数据仓库，软件，安装在操作系统之上作用
搁浅 L·2023-10-07 10:01

大数据学习，涉及哪些技术？

数据仓库：如AmazonRedshift
金木讲编程·2023-10-07 08:14

Python数据攻略-SQL和Mongodb的CRUD方法汇总

数据仓库是现代企业和个人项目中不可或缺的一部分。它们不仅存储了大量的数据，而且提供了查询和更新这些数据的方法。
Mr数据杨·2023-10-07 05:05

hive 修改cluster by算法_Hive入门实战（二）DDL数据定义

一、数据仓库--DDL数据定义1、创建数据库（1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。
weixin_39879651·2023-10-06 22:42

系统集成|第三章(笔记)

信息系统建设3.1.1信息系统3.1.2信息系统集成3.2信息系统设计3.3软件工程3.4面向对象系统分析与设计3.5软件架构3.5.1软件的架构模式3.5.2软件中间件3.6典型应用集成技术3.6.1数据库与数据仓库技术
多加点辣也没关系·2023-10-06 11:14

大数据项目之电商数仓（3电商数据仓库系统）V6.1.3

第1章数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名ODS层命名为ods_表名DWD层命名为dwd_dim/fact_表名DWS层命名为dws_表名DWT
okbin1991·2023-10-06 00:19

数据仓库规范全解

正文开始这是数据仓库系列的第三个话题，排序在架构之后、建模之前。为什么会提的这么靠前呢？因为规范约束的是数仓建设的全流程，以及后续的迭代和运维。
程序员的隐秘角落·2023-10-05 09:13

数据仓库建模理论——总结

四种模型：ER模型维度模型DataVault模型Anthor模型以上四种模型，当前最流行建模方法为：ER模型、维度模型ER模型ER模型常用于OLTP数据库建模，应用到构建数仓时更偏重数据整合，站在企业整体考虑，将各个系统的数据按相关性一致性、合并梳理，为数据分析、决策服务，但并不便于直接用来支持分析。ER模型的问题：需要全面梳理企业所有的业务和数据流。实施周期长对建模人员要求高维度模型唯独见面是面
尼小摩·2023-10-05 08:50

【软考】4.4 数据库技术/SQL语言

转储和用户事务可并发执行；可秒级修复；禁止出错，备份不成功，结果几乎无效《分布式数据库》即局部数据库位于不同物理位置，使用一个全局DBMS将所有局部数据库联网管理；逻辑上是一个整体集中式数据库：所有数据库集中在同一个地方《数据仓库技术
一殊酒·2023-10-04 17:04

AWS概述

你可以畅享200多种服务，从数据仓库到部署工具，从目录到内容分发。无需前期昂贵的资金投入，你就可以快速提供新服务。
还是转转·2023-10-04 10:12

阿里云数据库大全_3分钟看懂阿里云RDS和NoSQL数据库汇总

阿里云数据库大全：RDS关系型数据库如MySQL版、PolarDB、PostgreSQL、SQLServer和MariaDB等，NoSQL数据库如Redis、Tair、Lindorm和MongoDB，数据仓库如
腮帮子疼·2023-10-03 19:16

数据仓库中的ER实体模型和维度模型

一、数据仓库建模的意义一个公司中会有多个业务业务系统，比如：OA系统、订单系统、财务系统、人事系统、仓储系统等，因此需要按照一定的组织结构将所有数据都整合起来，形成一个仓储平台。
剁椒鱼不要头·2023-10-03 16:11

spark-sql调优技巧

sparkSQL概述sparkSQL的前世今生==Shark是专门针对于spark的构建大规模数据仓库系统的一个框架==Shark与Hive兼容、同时也依赖于Spark版本Hivesql底层把sql解析成了
柱子z·2023-10-03 03:21

深入解析数据仓库中的缓慢变化维

前言最近公司在招聘数仓开发，笔者负责技术方面的一些问题，缓慢变化维自然是是不可缺少的环节。但出乎笔者预料的是，所有的面试者都没有完整了解缓慢变化维的前因后果及处理方式，大都是通过“野路子”碰运气实现几种简单通用的变化方式，甚至有人声称缓慢变化维就是拉链表。因此，笔者将基于kimball的数仓理论和自身对其的理解，对缓慢变化维进行全面且深入的介绍。什么是缓慢变化维？要解释缓慢变化维，必须先解释什么是
秋夜雨凉·2023-10-02 23:01

数据湖 vs 数据仓库

可以作机器学习使用-数据仓库里的数据都是经过处理的后存储起来的结构化数据，是有特定使用目的的，可以为业务人员提供查询（多维度），为业务任务的决策提供支
Bitson·2023-10-02 16:13

阿里云数据库大全_优惠活动_云数据库排行榜

阿里云数据库大全：RDS关系型数据库如MySQL版、PolarDB、PostgreSQL、SQLServer和MariaDB等，NoSQL数据库如Redis、Tair、Lindorm和MongoDB，数据仓库如
aliyunbaike·2023-10-02 15:55

mysql从零基础到基础熟练

本文使用软件为：Mysql版本8.0.29，NavicatPreMium15第一章mysql介绍1.1什么是数据库数据库：数据的仓库，database简称DB介质：硬盘和内存，数据仓库的位置sql：用来和数据库
Summer152191·2023-10-02 05:08

软件设计师_数据库系统_学习笔记

文章目录3.1数据库模式3.1.1三级模式两级映射3.1.2数据库设计过程3.2ER模型3.3关系代数与元组演算3.4规范化理论3.5并发控制3.6数据库完整性约束3.7分布式数据库3.8数据仓库与数据挖掘
至zzz·2023-10-02 04:46

【玩转ElasticSearch】降维打击！使用ElasticSearch作为时序数据库

现在要做这个后台的数据仓库层。详细分析一下需求：1.我们的用户画像走流式计算，每秒大量更新，所以对插入/更新性能要求很高。2.查询条件翻译成SQL就是类似selectcount(*)from`tabl
weixin_34326558·2023-10-02 04:35

数据仓库笔试题-pdd

题目：商品活动表goods_activity，字段id主键、goods_id商品id,act_id活动id,create_time活动创建时间、status上线状态2上线，3下线问题一、每个活动的每个商品的开始时间和结束时间？问题二、假设数据中有脏数据，同一个活动可能两次上线，也可能两次结束，需要把活动上线重复的状态按照时间取第一条，结束上线状态重复的按时间取最后一条。--第一题：--id,goo
浩海紫冰·2023-10-02 03:07

大数据开发 之 留存类统计写法

这个是数据仓库开发同学基本都会遇到的问题，属于留存类问题，实现方式也有很多种类，但是在大数据场景下的效率差距很大，因此整理自己写过四种输出留存的方式和对比下优劣。
浩海紫冰·2023-10-02 03:37

数据仓库架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文将介绍数据仓库架构师的岗位工作职责及应具备的能力。
皮皮杂谈·2023-10-02 01:14

数据仓库基本概念

一般来说，数据仓库我们可以分为如下5层：关于数仓分层，不同的公司分的层数是不一样的，并且数仓的每一层的命名也没有一个统一的标准，比如这一层就叫这个名字，但是整体思想是一样的。
Jimmy2019·2023-10-01 21:33

java大数据之hive

一、Hive简介1.1Hive是什么由Facebook开源的一款基于hadoop的用于统计海量结构化数据的一个数据仓库。
这一刻_776b·2023-10-01 18:12

0037-数据集市,Inmon架构及Kimball架构

在数据仓库持续演进的过程中，逐渐产生了不少的架构方法，主要有Inmon架构，Kimball架构，数据集市架构及混合架构等。
大数据私房菜·2023-10-01 12:53

数据仓库（DW）的分层架构

目录1说明2数据仓库“分层”的优势3离线数仓的数据分层4实时数仓的数据分层1说明离线过程与实时过程的数仓的分层一般有所不同2数据仓库“分层”的优势（1）把复杂的问题简单化；通过把复杂的问题分解成多层，每次只处理简单任务
芋辕-·2023-10-01 12:22

数据仓库工具箱-学习笔记3-Kimball的DW和BI框架

数据仓库工具箱-学习笔记3Kimball的DW和BI框架DW/BI系统组成分为四个：操作型原系统、ETL系统、数据展现、商业智能一、操作型源系统记录的是业务数据，认为原系统处于数据仓库之外，因为我们几乎不能才做这部分数据
hxhh·2023-10-01 12:52

数据仓库工具箱-学习笔记4-其他DW/BI架构介绍

数据仓库工具箱-学习笔记4其他DW/BI架构介绍一、独立数据及时架构无需考虑企业级信息共享和集成，只针对部分人员的需求。
hxhh·2023-10-01 12:52

数据仓库系列5-Kimbal DW/BI生命周期概述

文章目录一.生命周期初始活动1.1程序／项目规划与管理1.1.1评估准备1.1.2范围及论证1.1.3人员配备1.1.4规划的开发及维护1.2业务需求定义1.2.1需求预规划1.2.2收集业务需求1.3生命周期技术路径1.3.1技术架构设计1.3.2产品选择与安装1.4生命周期数据路径1.4.1维度建模1.4.2物理设计1.4.3ETL设计与开发1.5生命周期Bl应用路径1.5.1Bl应用规范1.
只是甲·2023-10-01 12:52

数据仓库-DW/BI架构对比-读书笔记二

Kimball的DW／BI架构Kimball分工明确，资源占用更加合理，调用链路少，整个DW／BI系统更加稳定、高效、有保障。ETL系统高度关注数据质量、完整性、一致性。输入数据在进入时要检查其质量。一致的获取增值度量和属性的业务规则由ETL系统中的有技能的专业人员开发，这样会给客户发布更好的、保持一致性的产品。展现区根据客户要求使用统一维度组织数据。方便，高效为BI应用提供数据服务。独立数据集市
数据僧·2023-10-01 12:21

聊聊DW/BI

那么数据仓库(DW)就是大数据分析平台的第一步
红岸水滴·2023-10-01 12:49

SAP学习日志01---DW与BI

DW和BI的概念比较容易混淆，下面就结合自己的认识进行简单的描述：数据仓库：DW---DataWarehouse侧重于信息的整合、数据准备，包括数据迁移、组织、存取等后台工作。
Java2Sap·2023-10-01 12:19

2. Kimball的DW/BI架构解析

文章目录Kimball的DW/BI架构1.业务系统（数据源系统）2.获取-转换-加载（ETL）系统3.用于支持BI（商业智能）决策的展现区4.商业智能应用  引言：DW，即DataWarehouse，数据仓库
liuqiker·2023-10-01 12:48

阿里云数据库排行榜_云数据库优惠活动大全

阿里云数据库大全：RDS关系型数据库如MySQL版、PolarDB、PostgreSQL、SQLServer和MariaDB等，NoSQL数据库如Redis、Tair、Lindorm和MongoDB，数据仓库如
熵云AI·2023-10-01 11:34

【数据仓库架构】什么是 Azure Synapse，它与 Azure Data Bricks 有何不同？

AzureSynapseAnalytics是一项针对大型公司的无限信息分析服务，它被呈现为AzureSQL数据仓库(SQLDW)的演变，将业务数据存储和宏或大数据分析结合在一起。
架构师酒馆·2023-10-01 09:45

Hive的基本概念

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
乙腾·2023-10-01 05:13

数据挖掘（1）概述

一、数据仓库和数据挖掘概述1.1数据仓库的产生数据仓库与数据挖掘：数据仓库和联机分析处理技术(存储)。数据挖掘：在大量的数据中心挖掘感兴趣的知识、规则、规律、模式、约束(分析)。
烟雨平生9527·2023-09-30 23:20

数据仓库实践杂谈-（四）-元数据

全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型）第十四章：数据模型参考第十五章：维模型第十六章：渐变维第十七章：数据回滚第十八章：关于报表第十九章：数据挖掘数据仓库实践杂谈
老程序员一叶知秋·2023-09-30 19:13

数据分析笔记1

数据分析概述：数据获取--探索分析与可视化--预处理--分析建模--模型评估数据分析含义：利用统计与概率的分析方法提取有用的信息，最后进行总结与概括一、数据获取实用网站：kaggle阿里云天池·数据仓库
从白天到早上·2023-09-30 16:28

(转)数据仓库之拉链表（原理、设计以及在Hive中的实现）

0x00前言本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成：先分享一下拉链表的用途、什么是拉链表。
primal_d4ad·2023-09-30 14:13

springboot基于BS结构的企业人事管理系统的设计与实现毕业设计源码121727

Springboot企业人事管理系统摘要由于数据库和数据仓库技术的快速发展，企业人事管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
高级程序源·2023-09-30 05:37

打工人！政务、人力、制造业等行业超实用的40套报表模板来啦

例如，数据仓库已达到其目标。而数据质量似乎也正在失去其相关性，这是由于有意放弃数据建模和一个事实点。但是，对项目日常生活的特定看法揭示了不同的形象。
宋懵懵的数据生活·2023-09-29 21:13

【数据仓库设计基础（四）】数据仓库实施步骤

文章目录1．定义范围2．确定需求3．逻辑设计1）建立需要的数据列表2）识别数据源3）制作实体关系图4．物理设计1）性能优化2）数仓的拓展性5．装载数据6．访问数据7．管理维护实施一个数据仓库项目的主要步骤是
roman_日积跬步-终至千里·2023-09-29 09:56

hive的安装和使用

hive介绍hive是一款Apache旗下的数据仓库构建软件，能够读取hdfs的数据使用SQL对数据进行处理，大大降低了面向关系型数据库开发人员的学习成本。
Captain_Gu·2023-09-29 08:36

数据仓库-Hive基础（一）数据仓库的概念

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（DecisionSupport）。
做个合格的大厂程序员·2023-09-29 04:16

夯实数据“底座”，AWS完整云存储阵容吹响“集结号”

回顾企业数据的演进史，从早期的数据报表，到实时互动的仪表盘，到数据仓库，到今天的数据湖。企业拥有生产经营各个环节产生的、产品和服务相关环节背后隐藏的，以及企业利益相关者等方方面面的数据。
云智时代·2023-09-28 23:58

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖、数据仓库等多样需求
KaiwuDB 数据库·2023-09-28 21:17

数据分析报告制作（2）

数据获取与处理1.内部数据获取2.外部数据获取3.数据处理流程4.数据处理流程详解数据报告中涉及的数据image.png数据报告常用的数据来源image.png1.内部数据获取内部数据包括哪些image.png数据仓库是为企业所有级别的决策制定过程
西可可·2023-09-28 21:44

七、Hive数据仓库应用之Hive优化（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hive远程模式部署参考：一、Hive数据仓库应用之Hive部署（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）文章目录一、Hive存储优化二、
七层楼的疯子·2023-09-28 19:52
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他