041-数据仓库第36页

Python操作PostgreSQL数据库

个人简介：一个从会计转行数据分析师的三旬老汉擅长领域：数据分析、数据仓库、大数据博客内容：平时会将自己工作中遇到的问题进行归纳总结，分享给各位小伙伴，意在帮助大家少加班、不掉发，让我们相互学习，一起进步

张六十zhangliushi·2023-07-23 06:16

数据仓库建设-数仓分层

数据仓库能够帮助企业做出更好的决策，提高业务效率和效益；在数据仓库建设时，绕不开的话题就是数仓分层。

小中.·2023-07-23 04:47

BI报表工具：IT人的必备工具！

无论是否与IT行业有关，数据都是其必不可少的组成部分，各种各样的数据均需要数据库来承载与维护（无论是大型的数据仓库，如DB，还是流行的Oracle、MySQL、Sybase等）。

nayun123·2023-07-22 22:03

微信月活破10亿，安全性靠谁来支撑？

微信安全数据仓库作为安全业务的特征数据存储中心，每天服务了万亿级的特征数据读写请求，为整个微信安全策略提供了可靠的数据支撑，是微信安全的一块基石。

腾讯云开发者·2023-07-22 18:24

Hive和Spark

1.Hive简介hive的定位是数据仓库，其提供了通过sql读写和管理分布式存储中的大规模的数据，即hive即负责数据的存储和管理（其实依赖的是底层的hdfs文件系统或s3等对象存储系统），也负责通过sql

万里长江横渡·2023-07-22 14:22

BW DW - 01 主数据与交易数据

文章目录数据仓库解决方案BW4HANA和S4HANA内置分析理解一下HANA到底是什么主数据主数据的删除SID表的概念虚拟主数据一般数据源与ODP层级的加载未解决问题交易数据标准ADSOstagingDSODirectUpdateDSODataMartDSO

xiaomici·2023-07-22 09:36

大数据_面试_数据仓库基础概念

问答列表答案数仓的主题与主题域？kimball，维度，范式建模？实时数仓与离线数仓的主要区别，应用场景？雪花模型，星型模型，星座模型？缓慢变化维与拉链表？数据质量？数据治理？

高达一号·2023-07-22 08:07

大数据_大数据常见面试问题

下面分为几个方向罗列一下最近遇到的大数据面试问题数据仓库大数据_面试_数据仓库基础概念_高达一号的博客-CSDN博客ETL组件相关，spark,flink大数据_ETL组件常见问题_spark&flink

高达一号·2023-07-22 08:37

2023/2/10 大数据实习日志

今日学习内容一、数据仓库（DataWarehouse）概念数据仓库，顾名思义就是用于存储数据的仓库，是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。

王祺灏·2023-07-22 07:47

Hive架构原理

hive是hadoop的数据仓库处理工具，可以将一些整理后的结构化的数据文件映射一张可供查询的表。

大伟伟·2023-07-22 06:21

大数据之就业岗位

数据仓库组从事基于HADOOP生态的大数据环境下的数据处理工作；负责大数据相关开发工作，包括数据处理/数仓等的设计及实现；

（YSY_YSY）·2023-07-22 06:20

Hive——原理架构

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

温一杯酒·2023-07-22 06:19

Hive架构和原理(图形化通俗易懂)

文章目录组件模块说明Hive原理Hive架构用户接口：Client元数据：Metastore驱动器：DriverHive运行机制组件模块说明Hive：以下内容为V3.1版本；Hive是基于Hadoop的一个数据仓库工具

lovelife110·2023-07-22 06:19

浅谈BI商业智能在企业内部数据孤岛问题上的应用

可以通过建立数据仓库，将企

BI早知道·2023-07-21 22:44

【Hudi】数据湖（一）：数据湖概念

二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待更新的数

九层之台起于累土·2023-07-21 17:21

Hudi-数据湖

数据湖数据仓库数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。

迷雾总会解·2023-07-21 17:21

大数据实验报告总结体会_建设大数据中台架构思考与总结

数据中台定义：集成离线数仓与实时数仓，并以多数据源统一整合采集到kafka,再通过kafka进行离线数据仓库及实时数据仓库，并集用户标签，统一数据资产管理(对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示

weixin_39800387·2023-07-21 14:43

周二 2020-09-22 23:30 - 06:00 雨 8h37m

:32休息-手机0:326:327:101-附加工作-英语面试准备0:387:107:42饭早10:327:427:57休息0:157:578:331-附加工作-海信英语小视频面试0:368:339:041

么得感情的日更机器·2023-07-21 09:41

docker导出mysql_Docker 导出 mysql 数据

前言前几天无意中在社区看到一个帖子(记一次清空数据仓库的过程)，讲的是自己无意中删库的经历。

肥宅yueyue·2023-07-21 08:40

浅谈数据仓库（DW & BI）（四）

历史文章：#42浅谈数据仓库（DW&BI）（一）：数据仓库发展起源及概述#43浅谈数据仓库（DW&BI）（二）：粒度、存储、3NF、星型模型、雪花模型#44浅谈数据仓库（DW&BI）（三）：企业数据仓库架构

小杨_1858·2023-07-21 08:01

为什么要搭建数据仓库

数据是企业中最重要的资源之一，因此，随着企业数据量的不断增大和复杂度的提高，建立一个可靠和健全的数据仓库变得越来越重要。

qingyunliushuiyu·2023-07-21 01:36

数据仓库之【商品订单数据数仓】08：拉链表：什么是拉链表、创建拉链表

一、什么是拉链表针对订单表、订单商品表，流水表，这些表中的数据是比较多的，如果使用全量的方式，会造成大量的数据冗余，浪费磁盘空间。所以这种表，一般使用增量的方式，每日采集新增的数据。在这注意一点：针对订单表，如果单纯的按照订单产生时间增量采集数据，是有问题的，因为用户可能今天下单，明天才支付，但是Hive是不支持数据更新的，这样虽然MySQL中订单的状态改变了，但是Hive中订单的状态还是之前的状

做一个有趣的人Zz·2023-07-21 00:28

走咯走·2023-07-21 00:24

数据仓库中的拉链表

1、什么是拉链表拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。

「已注销」·2023-07-21 00:53

数据仓库-拉链表, 流水表, 全量表, 增量表, 切片表

数据仓库-拉链表，流水表，全量表，增量表转载声明本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容：数据仓库中的增量表，全量表，快照表，拉链表作者：北京小辉出处：csdn什么是全量表

迷路剑客·2023-07-21 00:52

【转】数据仓库之拉链表

【拉链表】是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。

爱吃芒果的猴子·2023-07-21 00:52

图解数据仓库之拉链表，超简单！

1.背景分析在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计：有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表，即使使用ORC压缩，单张表的存储也会超过100G，在HDFS

ALIVEE·2023-07-21 00:51

拉链表详解

层增量表：3.3创建dwd层拉链表3.4数据更新，将数据日期为2023-3-4的日期添加到拉链表中3.4.1先追加数据到ods层表3.4.2更新dwd层表数据一、拉链表概念拉链表是一种数据模型，主要是针对数据仓库设计中表存储数据的方式而定义的

Xiayebuliang·2023-07-21 00:50

Kyuubi的介绍优势（官网链接）

官网链接：https://kyuubi.apache.org/ApacheKyuubi™是一个分布式多租户网关，用于在数据仓库和Lakehouse上提供无服务器SQL。

墨卿风竹·2023-07-21 00:07

MySQL架构一:逻辑架构

同时，MySQL即可以嵌入到应用程序中，也可以支持数据仓库、内容索引和部署软件、高可用的冗余系统、在线事物处理系统（OLTP）等各种应用类型。为了充分发挥MySQL的性能并顺利的使用，就必须理解其设计

yongqi_wang·2023-07-20 21:32

mysql逻辑部分_MYSQL的逻辑架构

Mysql既可以嵌入到应用程序中，也可以止支持数据仓库、内容索引和部署软件、高可用冗余系统、在线事物处理系统(OLTP)等各种应用类型。

邱锡鹏·2023-07-20 21:30

oracle表分区设计_谈一下怎样设计Oracle 分区表

分区对于数据仓库应用程序很有效

小蛮腰课代表·2023-07-20 19:41

【软考】系统架构设计风格分类的个人理解

常见架构类型和常见分类常见的软考中出现的系统架构列举如下：分层架构管道-过滤器架构客户端-服务器架构模型-视图-控制器架构，即MVC架构事件驱动架构微服务架构黑板架构解释器模式数据仓库风格架构面向服务架构网上查找到的资料一般把架构分为五类架构风格

darkpush·2023-07-20 13:44

大数据测试之数据仓测试怎么做（上）

前面的文章我们为大家介绍了大数据测试平台和大数据系统的测试方法，接下来我们重点来讲一下数据仓库测试，首先看一下它的定义。

daopuyun·2023-07-19 23:44

描述性统计理论学习

KeKe_W·2023-07-19 21:48

MySQL的存储引擎

常应用于日志和数据仓库。InnoDB：InnoDB表类型可以看作是

其然乐衣·2023-07-19 21:24

Hive基本操作

基本概念Hive是基于Hadoop的一个【数据仓库工具】，可以将结构化和半结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。

枫叶梨花·2023-07-19 18:26

Hive概述

Hive一Hive基本概念1Hive简介学习目标-了解什么是Hive-了解为什么使用Hive####1.1什么是HiveHive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表

Wzideng·2023-07-19 15:13

湖仓一体

https://m.sohu.com/a/420690978_355140/近几年，随着数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么？

七_seven·2023-07-19 13:37

信息系统管理师软考笔记第一章信息化和信息系统 2-系统集成

1、网络标准和网络协议2、网络设备3、网络服务器4、网络存储技术5、网络接入技术6、网络规划与设计7、数据库管理系统8、数据仓库技术9、中间件技术10、高可用性和高可靠的规划与设计网络协议：为计算机在网络中进行数据交换而建立的规则

陈金泽·2023-07-19 11:28

Hive 托管表、外部表和事务表

Hive托管表Hive是一个基于Hadoop的数据仓库基础架构，用于处理大规模数据集。Hive允许你使用类似于SQL的查询语言（称为HiveQL）来分析存储在Hadoop集群上的数据。

贾斯汀玛尔斯·2023-07-19 10:37

数据仓库系列5-Kimbal DW/BI生命周期概述

image.png一.生命周期初始活动1.1程序／项目规划与管理毫无疑问，DW/BI始于一系列的程序和项目规划活动。1.1.1评估准备在开始DW/Bl工作前，有必要花点时间评估组织的准备工作。基于与上百家客户约谈所积累的经验，我们认为有三种因素可用于区分项目能够顺利开展还是需要付出艰辛的努力。这些因素将成为决定DW/BI是否成功的先行指标。我们将按照重要性讨论这些特征。最关键的准备因素是有

只是甲·2023-07-19 07:55

sqoop报错：ERROR tool.ImportTool: Error during import: Import job failed

sqoop报错：ERRORtool.ImportTool:Errorduringimport:Importjobfailed图片：可能是文件权限修改hive数据仓库权限hadoopfs-chmod777

墨卿风竹·2023-07-18 23:44

离线数据仓库

一、数据仓库1.数据仓库的概念1）数据仓库的特点：面向主题的：对数据进行整合、分析和归类的抽象集成的：将不同数据源的数据（业务数据、外部系统数据、埋点日志）经过统一编码、规范命名、字段类型转换等操作，整合到仓库相对稳定的

青果HA·2023-07-18 22:59

大数据hadoop生态体系之Hive的基本操作(15)

Hive数据仓库基于shell命令行基本操作（DDL/DML）：首先启动hive数据库仓库的shell脚本模式：命令：/opt/mysoft/hive/bin/hive1>查看当前Hive中有哪些数据库

welun·2023-07-18 22:42

ETL学习笔记之一：ETL是什么？

对于数据仓库以及ETL的知识，我基本上是个门外汉。一切都得从头开始，记个笔记，方便自已了解学习进度。首先，我们来了解最基本的定义：嗯，也有人将ETL简单称为数据抽取。

tiger119·2023-07-18 18:36

Hive简介及源码编译

Hive简介：Hive是一个基于Hadoop的数据仓库，可以将结构化数据映射成一张表，并提供类SQL的功能，最初由Facebook提供，使用HQL作为查询接口、HDFS作为存储底层、MapReduce作为执行层

K_un·2023-07-18 09:42

hive底层原理 sql执行过程_[Hive]HiveSQL解析原理

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。

weixin_39605835·2023-07-18 08:48

HiveSQL编程模板及注意事项

目录0引言1模板代码2代码分析及注意事项0引言hive是数据仓库、数据分析人员必用的工具之一。

莫叫石榴姐·2023-07-18 08:42

离线数仓16—— DolphinSchedule工作流调度

文章目录第13章数据仓库工作流调度13.1调度工具部署13.2新数据生成13.2.1用户行为日志13.2.2业务数据13.3工作流调度实操13.3.1DolphinScheduler集群模式13.3.2DolphinScheduler

就是这个范~·2023-07-18 07:14

推荐频道

041-数据仓库