041-数据仓库第18页

数据预处理_数据清理（缺失值、噪声等详细处理）

--数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。--数据归约：可以通过如聚集、删除冗余特征或聚类来降低数据的规模。--数据变换：(例如，规范化)可以用来把数据压缩

Lily_我是一个小钢豆·2023-10-31 04:14

【ETL】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

1.摘要对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。

九层之台起于累土·2023-10-31 00:37

hive一次补跑数据遇到的坑

根据之前介绍的数据仓库分层架构设计，虽然有公共逻辑下沉的好处，但是一旦底层

愤怒的谜团·2023-10-30 23:53

分析师要懂的数仓知识

为什么学数据仓库工作中经常去数据库中找数据做分析，也和数仓同事对接过，做过一些表，但是只是对一些固定的事实和维度表熟悉，对数仓的整体架构、运作流程却没有一个大概的了解。

成鹏9·2023-10-30 22:57

奇富科技引领大数据调度革命：高效、稳定、实时诊断

刘坤元以一个数仓（数据仓库的简称，指用于存储、分析、报告的数据系统）同学熟知的起夜率指标开启了本次分

CSDN云计算·2023-10-30 21:09

第二课 Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

Arroganter·2023-10-30 12:29

hadoop组件及各自的功能

分布式资源管理系统，3.MapReduce:Hadoop的编程框架4.Pig:基于hadoop的一门数据处理语言5.Zookeeper：分布式协调服务6.Hbase:Hadoop下的分布式数据库7.Hive:分布式数据仓库

ZK_0705·2023-10-30 10:17

Impala介绍优缺点

基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。

墨卿风竹·2023-10-30 07:17

大数据简历要点与模拟面试和项目介绍模板二

模拟面试和项目介绍模板10一、自我介绍（目前不知道怎么做）您好，我叫xxx，毕业于xxx学校，因为在大学里学过javase、mysql、web、数据结构与算法等计算机基础知识，在一份软件测试的实习中接触到数据仓库

wespten·2023-10-30 03:29

数仓建模基本类型

如果数据仓库中采用这种建模方式，还有另外的好处就是可以直接将关系型数据库中数据直接导入数仓，减少了很多的建模工作。三范式建模的一个显而易见的缺点就是查询性能，因为需要跨表查询。

浮zai梦里·2023-10-30 03:29

数据仓库系列2-数据仓库建模介绍

一.建模理论1.1ER实体模型在信息系统中，将事务抽象为“实体”（Entity）、“属性”（Property）、“关系”（Relationship）来表示数据关联和事物描述，这种对数据的抽象建模通常被称为ER实体关系模型。实体：通常为参与到过程中的主体，客观存在的，比如商品、仓库、货位、汽车，此实体非数据库表的实体表。属性：对主体的描述、修饰即为属性，比如商品的属性有商品名称、颜色、尺寸、重量、产

只是甲·2023-10-30 00:27

关于数据中台的理解和思考

数据中台得基础主要是数据仓库和数据中心。二、数据中台模型1、连接数据孤岛打通用户的行为数据和各个业务数据。

骇客567·2023-10-29 10:52

Hive-day01-简单介绍

一：什么是Hive1：hive简介hive：解决海量结构化日志的数据统计工具hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

总会有天明·2023-10-29 08:40

数字化转型系列主题：数据中台建设方法论

本质就是数据仓库+数据服务中间件。数据中台一般会具备4个能力：数据采集整合、数据提纯加工、数据服

LarryHai6·2023-10-29 06:59

【Airflow】构建爬虫任务系统

是一个ETL工具ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程这里是一个github的地址https://github.com/apache/airflow这里是官方文档https:

瓜皮三三·2023-10-29 05:57

数据中台对于企业来讲意味着什么？_光点科技

数据中台架构包含数据采集、数据仓库、数据计算、数据展示四大核心部

光点数据治理·2023-10-29 01:55

开源大数据OLAP引擎最佳实践

现在ROLAP计算存储一体的数据仓库主要有三种，即StarRocks(DorisDB)，ClickHouse和ApacheDoris

zhisheng_blog·2023-10-28 21:59

Python+大数据-hadoop(五)--数据仓库、Apache 01

Python+大数据-hadoop(五)–数据仓库、Apache01今日课程学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解

呆猛的呆呆小哥·2023-10-28 21:56

【大数据前置基础】大数据聚焦层面，数据仓库，OLAP和OLTP

大数据中的几个概念1大数据聚集层面2数据仓库3OLAP和OLTP手动反爬虫，禁止转载：原博地址https://blog.csdn.net/lys_828/article/details/118599017

lys_828·2023-10-28 21:20

大数据技术之Hive

目录1.Hive入门1.1什么是Hive1.2Hive的数据存储1.3Hive的系统架构1.4Metastore1.5数据库与数据仓库的区别2.Hive安装部署2.1下载2.2安装MySQL2.3安装hive3

小猫不会去楼兰捉虫·2023-10-28 21:47

【大数据概述】Hadoop技术栈

2.2.Hive与关系型数据库关系3.Hadoop3.1.概述3.2.Hadoop生态技术3.2.1.概述3.2.2.架构4.Spark4.1.概述4.1.1.统一的引擎5.数据存储及处理的发展5.1.数据仓库

vk-fengz·2023-10-28 21:17

Adventure项目python、数仓实现可视化看板总结

一、项目介绍1.1项目需求基于第一部分业务背景，公司为加强线上业务数据化方面的治理，让业务部门能够实现自主分析从而实现对市场的快速判断，现需使用Python、数据仓库实现自动更新式可视化看板。

包哥宝爷小威武·2023-10-28 19:26

双11专刊｜云原生数据仓库AnalyticDB支撑双11，大幅提升分析实时性和用户体验

简介：2021年双十一刚刚落幕，已连续多年稳定支持双十一大促的云原生数据仓库AnalyticDB，今年双十一期间仍然一如既往的稳定。除了稳定顺滑的基本盘之外，AnalyticDB还有什么亮点呢？

阿里云云栖号·2023-10-28 17:07

2019-08-26 pentaho metadata terminology

commonwarehousemetamodel公共数据仓库模型domain域元数据域代表了在元数据层创建、存储、使用的业务对象。

小糊涂神52vol·2023-10-28 17:18

数据仓库笔记

数据仓库的作用数据仓库的特点数据仓库中的数据是面向主题的数据仓库中的数据是集成的数据仓库中的数据是不可更新的数据仓库中的数据是随时间不断变化的数据仓库的发展历程简单报表阶段:生成简单报表和汇总数据帮助领导决策数据集市阶段

V1cttor·2023-10-28 10:32

BI是什么？想要了解BI需要从哪些方面入手？

商业智能BI指的就是主要由数据仓库、数据分析、查询报表、数据可视化组成的数据类技术解决方案，可以将海量杂乱的数据转化为可用的信息，满足企业不同人群

派可数据BI可视化·2023-10-28 08:09

数据仓库之数据质量监控

文章目录==数据质量的理解====数据质量维度====问题反馈流程====数据质量治理的三个阶段====数据质量产生的根本原因====数据质量治理的对象====数据质量战略====数据质量战略12条指令====数据质量测试框架====最初的一次评估====初步评估执行流程====持续测量流程====持续测量的结果与交付结果====过程控制解决方案====定期测量====测试类型清单参考====数据

往事随风_h·2023-10-28 05:01

实操指南 | Resource Queue如何实现对AnalyticDB PostgreSQL的资源管理？

简介：作者：阿里云数据库OLAP产品部-子华一背景AnalyticDBPostgreSQL版（简称ADBPG）是阿里云数据库团队基于PostgreSQL内核（简称PG）打造的一款云原生数据仓库产品。

阿里云云栖号·2023-10-28 03:59

【软考系统架构设计师】2023年系统架构师冲刺模拟习题之《数据库系统》

在数据库章节中可能会考察以下内容：文章目录数据库完整性约束数据库模式ER模式关系代数并发控制数据仓库与数据挖掘反规范化技术数据库完整性约束不能用作数据完整性约束实现技术的是（）A、实体完整性约束B、触发器

小曾同学.com·2023-10-27 22:14

数据仓库系列之ETL过程和工具

在维度建模中我们已经了解数据仓库中的维度建模方法以及基本要素，在这篇文章中我们将学习了解数据仓库的ETL过程以及实用的ETL工具。一、什么是ETL？

小黎子数据分析·2023-10-27 16:54

从数据仓库到数据中台，终于有人说清楚了

数据仓库简史提到数据中台，我们不得不从它的前辈数据仓库说起。数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员提出了

蚂蚁_8173·2023-10-27 12:25

Linux安装Mycat1.6.7.6实现Mysql数据库读写分离

可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQLServer结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品一个新颖的数据库中间件产品官网

GeekXuShuo·2023-10-27 09:36

又是第一！GBASE南大通用蝉联中国分析型数据库管理系统市场TOP1

在分析型数据库市场，GBASE自主研发的分布式逻辑数仓GBase8aMPPCluster与国外主流的数据仓库产品在金融、电信等领域同台竞技，技术实力领先，已在人民银行、中国农业银行总行、招商银

GBASE数据库·2023-10-27 08:47

数据仓库Hive

区别Hive部署以及快速入门HIveDDL详解HiveDML详解MapReduce编程的不便性传统RDBMS人员的需求由Facebook开源，用于解决海量结构化日志的数据统计问题构建在Hadoop之上的数据仓库

V_6619·2023-10-27 07:43

hive笔记

Hive介绍：1.sql2.udf官网：hive.apache.org由Facebook提出的开源=》去解决海量结构化数据的数据统计问题构建在hadoop之上的数据仓库hdfs：hive的数据是存储在hdfs

qq_47721411·2023-10-27 04:41

详解数据仓库建设体系

数据仓库的基本概念数据仓库概念:英文名称为DataWarehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（DecisionSupport）。

000X000·2023-10-27 02:00

数据仓库详解

什么是数据仓库？数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。

wzcwangxiaozhang·2023-10-27 02:28

万字详解数据质量那些事儿

在数据仓库建设的过程当中，大家是否会有这样的疑问:1）数仓分层模型是否需要严格遵守2）照本宣科建设的数仓貌似不好用3）如何评判一个数仓建设的质量好坏4）我的数据仓库还能做怎样的升级我们该如何解决这些问题

大数据兵工厂·2023-10-27 02:27

详解如何在数仓中管理元数据

‍‍‍‍大家好，元数据管理是企业数据治理的基础，是数据仓库建设的关键。作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及实践工具。

大数据技术派·2023-10-27 02:54

云数据仓库实践：AWS Redshift在大数据储存分析上的落地经验分享

本文已收录于PHP专栏：数据库与数据仓库欢迎点赞✍评论⭐收藏文章目录一、关于数据仓库1.1数据整合与一致性1.2支持复杂查询和分析1.3提高决策支持能力二、AWSRedshift的特点2.1高性能2.2

黑夜开发者·2023-10-27 02:22

Hive简介及核心概念

1.简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。

shangjg3·2023-10-27 01:55

【kafka技术篇】kafka数据到底会不会丢失？

博主介绍‍博主主页：淼淼_喵的博客_CSDN博客-Zookeeper,Hadoop,大数据技术领域博主✨主攻领域：【大数据开发】【数据仓库】【ETL】【数据分析】【面试分析】点赞➕评论➕收藏==养成习惯

chad__chang·2023-10-27 01:49

大师兄的数据分析学习笔记(三十五）：总结

1.数据获取数据仓库监测与抓取用户填写日志埋点计算2.探索性数据分析与可视化2.1单因子探索分析异常值分析结构分析对比分析分布分析2.2多因子探索分析交叉分析分组分析钻取分析因子分析3.特征预处理特征使用特征获取特征处理异常值处

superkmi·2023-10-26 21:59

大数据之LibrA数据库常见术语（七）

OLAPOnlineAnalyticalProcessing，联机分析处理，是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速

红烧小肥杨·2023-10-26 19:52

Node学习笔记之MongoDB

TheDeveloperDataPlatform|MongoDB1.2为什么选择Mongodb操作语法与JavaScript类似，容易上手，学习成本低二、核心概念Mongodb中有三个重要概念需要掌握数据库（database）数据库是一个数据仓库

LL1018。·2023-10-26 16:53

技术解读：实时数仓Hologres如何支持超大规模部署与运维

简介：在本次评测中，Hologres是目前通过中国信通院大数据产品分布式分析型数据库大规模性能评测的规模最大的MPP数据仓库产品。

阿里云云栖号·2023-10-26 12:43

新一代Hologres实时数仓大揭秘

一、传统数仓痛点1）传统数据仓库痛

阿里云技术·2023-10-26 12:11

实时数仓-Hologres介绍与架构

是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库

高阳很捷迅·2023-10-26 12:37

软信天成：今天的企业比以往任何时候都更需要「数据编目」

在当今的组织中，数据是多样的，分布在许多不同的部门、应用系统、数据仓库和数据湖（一些在内部，其他在云中），因此，准确地知道您拥有哪些数据和它们在哪里是一个挑战。

软信数据研究院·2023-10-26 09:28

大数据基础---Hive（第一篇）

数据仓库—Hive文章目录数据仓库---Hive一：Hive的基本概念：1.1：Hive简介1.1.1：什么是Hive1.1.2：为什么要使用Hive呢1.1.3：Hive的特点1.2：Hive的架构：

我菜的要死·2023-10-26 06:40

推荐频道

041-数据仓库