数据仓库

数仓常见问题以及解决方案yyds

文章目录01数据仓库现状业务系统侧【上游】数仓内部数据应用测【下游】02如何解决问题业务系统侧【上游】数仓内部03体系化架构设计一致性维度一致性事实数据应用侧【下游】建设可视化的取数平台大家好，我是脚丫先生
大数据指北·2023-07-17 22:48

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

将数据仓库构建在数据湖上，打通数据仓库和数据湖两套体系，构
云存储小天使·2023-07-17 15:54

疑问之事实表和维度表各是什么

事实表每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务所产生的数据，事实数据表通常包含大量的行。
小冕·2023-07-17 10:40

OLAP

说到olap就不得不先介绍一下数据仓库，因为olap就是基于数据仓库基础上面向分析的对多维模型进行各类操作的集合。数据仓库的概念模型最流行的数据仓库概念是多维数据模型。
茂盛哥哥·2023-07-17 09:35

Flink集成Hive之快速入门--以Flink1.12为例

使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。
大数据技术与数仓·2023-07-17 09:32

贪心十周成为数据分析师

大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。
威笑mcspmm·2023-07-17 08:13

【Android开发】2022Android官方架构指南系列文章

Repository：数据仓库类，其使用DataSource处理业务逻辑，并
程序员小森·2023-07-17 03:29

sqlflow简介，在线版：使用sqlflow，本地版：在windows上安装sqlflow

在大型数据仓库中，完整的数据血缘关系可以用来进行数据溯源、表和字段变更的
偷偷学习被我发现·2023-07-17 03:06

【数据仓库】BI看板DataEase入坑指南

开头夸夸国产开源BI软件DataEase，支持常见各种报表，还支持图表联动和上下级钻取，超赞有木有！！！再来为什么说入坑，源码启动各种不服啊。本地用的maven3.5一直导入不了Java项目backend。后来看了官网bilibili源码启动视频，搞了1个多小时。注意和官方的软件版本一定要适配才行，这点真的要注意，国产兼容性有待提高。本文最后更新在Windows下源码部署安装DataEase步骤。
wenchun001·2023-07-16 18:02

数据库，数据仓库，数据湖

数据仓库四层分层ODS——原始数据层：存放原始数据ODS层即操作数据存储，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层；一般来说ODS层的数据和源系统的数据是同构的
羞儿·2023-07-16 18:01

实时数仓详解

本专栏目录结构和参考文献请见大数据理论体系背景伴随着社会的发展，用户对数据仓库的要求越来越高。关于数据仓库请参考我的博客——数据仓库是什么？
Shockang·2023-07-16 17:18

数据仓库是如何分层的？

本专栏目录结构和文献引用请见《大数据理论体系》解答从整体的逻辑划分来讲，数据仓库模型是这三层架构。接入层:底层的数据源或者是操作数据层，一般在公司的话，统一都是称为ODS层。
Shockang·2023-07-16 17:17

数据仓库是如何建模的？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据仓库建模目前业界较为流行的数据仓库的建模方法非常多，常用的有范式建模法，维度建模法，实体建模法等几种方法。
Shockang·2023-07-16 17:17

典型的数据仓库建模方法论

本专栏目录结构和参考文献请见大数据理论体系正文ER模型数据仓库之父BillInmon提出的建模方法是从全企业的高度设计一个3NF模型，用实体关系(EntityRelationship，ER)模型描述企业业务
Shockang·2023-07-16 17:17

数据仓库与数据库的区别？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，有很高的事务要求；数据仓库存储的一般是历史数据。
Shockang·2023-07-16 17:47

OLTP和OLAP的区别？

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，如银行交易；OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持
Shockang·2023-07-16 17:47

大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体

本专栏目录结构和参考文献请见大数据理论体系思维导图数据仓库数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（
Shockang·2023-07-16 17:44

hive 列转行_大数据，数据仓库，hive不能使用update更新操作解决方案

在数据仓库建设，处理日常业务需求的过程中，经常会遇到各种各样的问题。在处理更新操作数据时，遇到数据重复问题。
weixin_40000457·2023-07-16 16:53

Hive（21）：DML之Update、Delete更新、删除数据

还是面向分析，支持分析的数据仓库。这很重要。Hive是基于Hadoop的数据仓库，面向分析支持分析工具。因此在Hive中常见的操作的就是分析查询select操作。
不死鸟.亚历山大.狼崽子·2023-07-16 16:18

数据仓库的分层

离线数仓一、数仓分层源数据层(ODS)数据仓库层(DW)1.明细层(DWD)2.中间层(DWM)3.业务层(DWS)公共维度层(DIM)数据展示层(DA层)数据仓库（DataWarehouse），是为企业制定决策
Aimyon_36·2023-07-16 11:21

数仓|大数据时代,维度建模过时了吗?

20世纪80年代末期，数据仓库技术兴起。
大数据技术与数仓·2023-07-16 07:08

redux的简单使用

actiontypeActionCreator,可以返回对象或者异步函数组件中使用全局store方式直接使用创建的store.dispatch(）使用react-redux连接redux和reactredux是一个数据仓库解决方案
新时代的弩力·2023-07-16 03:05

hadoop --- hive

Hive是一个构建在Hadoop之上的数据仓库和分析工具，她提供了一种类SQL的查询语言--HiveQL，用于将结构化的查询SQL转换为MapReduce任务和Tez任务，通过Hadoop的分布式计算能力来执行查询任务
三水写代码·2023-07-16 01:52

hive load data inpath 空目录_Hive快速入门

一句话来说，Hive是基于Hadoop的数据仓库，和MySQL语法相似，但是是完全不同的两种东西，Hive是在HDFS上层的封装实质:将HQL语句转换为MR程序，如下图所示我想大家肯定有疑问，为啥需要用
weixin_39874350·2023-07-15 22:55

源启数据资产管理平台助力金融机构加速数据资产化过程

从数据仓库到数据治理、数据应用，再到后来的大数据，以及今天的数据管理。我们把这个时期总结成数据资产化时代，或者叫国产化时代。为什么有两个名字？
zhongdianjinxin·2023-07-15 20:32

数据库 OLAP、OLTP的介绍和比较

OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OLTP系统强调数据库内存效率
hiekay·2023-07-15 19:29

OLAP与OLTP的比较

OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。OLT
baiwacuan6352·2023-07-15 19:54

卓越的流处理：Apache Flink 对 Data Lakehouse 架构的影响

在数据驱动决策的时代，数据湖仓库范式已经成为一种有前途的解决方案，将数据湖和数据仓库的优点结合起来。
沃趣数据库管理平台·2023-07-15 16:50

数据仓库常用名词汇总

数仓为了支撑企业或组织的决策和业务分析，而从各个业务系统中抽取数据集成到一个数据存储中心，这样的数据存储中心称为数据仓库（DataWarehouse），而在搭建数据仓库时，通常会采用一些命名规范，常见的有
dkjhl·2023-07-15 12:59

大数据技术之Hadoop学习(七)——Hive数据仓库

目录素材一、数据仓库简介1、数据仓库的认识（1）数据仓库是面向主题的。（2）数据仓库是随时间变化的。
雨诺风·2023-07-15 07:48

大数据技术之Hadoop(十一)——网站流量日志数据分析系统

——数据预处理1、分析预处理的数据2、实现数据的预处理（1）创建Maven项目，添加相关依赖（2）创建JavaBean对象，封装日志记录（3）创建MapReduce程序，执行数据预处理二、模块开发——数据仓库开发
雨诺风·2023-07-15 06:53

官宣！Databend Cloud 和青云科技达成合作

本次测试是对Databend云原生数据仓库系统与青云科技公司自主研发的QingStorU10000进行严格的联合测试验证。
Databend·2023-07-15 05:19

基于Apache Hudi构建智能湖仓实践（附亚马逊工程师代码）

数据仓库的数据体系严格、治理容易，业务规模越大，ROI越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI越低，但胜在灵活。现在，鱼和熊掌我都想要，应该怎么办？
小晨说数据·2023-07-15 01:10

九、OLAP之多维分析

联机分析处理(OnLineAnalyticalProccessing，简称OLAP)是目前数据仓库上的重要应用之一，是决策分析的关键，也是数据仓库最重要的多维分析工具，它利用存储在数据仓库中的数据完成各种分析操作
vandh·2023-07-14 23:17

Hadoop和Hive的关系

hive是一个提供了查询功能的数据仓库核心组件，Hadoop底层的hdfs为hive提供了数据存储，mapreduce为hive提供了分布式运算。两者的关系：hdfs上存储着海量的数据，我们要对这些数
红乘以白·2023-07-14 20:32

Kylin知识点总结

Kylin1、ApacheKylin概览1.1什么是KylinApacheKylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据
南潇如梦·2023-07-14 14:59

（五）kafka从入门到精通之topic介绍

可以将Topic看作是一个数据仓库，在这个仓库中存储着具有相同主题的数据。比如，一个Topic可以存储所有关于“股票”的数据，另一个T
隐 风·2023-07-14 14:07

Hive表统计信息采集及应用

以Hive为基础构建的数据仓库，在进行数据治理方面，Hive表的统计信息是很重要的基础数据，以此数据可以了解Hive表的概况，来支持Hive表的合理建设和管理。
邢为栋·2023-07-14 07:58

一.数据仓库、BI以及维度建模

信息总是用作两个目的：操作型记录的保存和分析型记录的制定。简单来说，操作型系统保存数据，DW/BI系统使用数据。对于操作型系统，其用户确保组织能正常运转，对其的优化目的是使其能够更快的处理事务。对于DW/BI系统，其用户研究分析企业运转，并对其性能进行评估，对其进行优化的目的是高性能地完成用户的查询。一.维度建模维度模型通常应用于关系数据库管理系统上，但不要求其必须满足第三范式（3NF）。规范化的
阿猫阿狗Hakuna·2023-07-14 06:19

数据库软考考点整理--中级数据库系统工程师

数据库软考考点整理–中级数据库系统工程师文章目录数据库软考考点整理--中级数据库系统工程师数据库基础非关系型数据库与分布式数据库基础关系模式数据挖掘基础数据库设计步骤数据库安全基础数据仓库基础数据库并发控制数据库故障恢复
yang_z_1·2023-07-13 23:05

大数据ETL工具对比（Sqoop, DataX, Kettle）

前言在实习过程中，遇到了数据库迁移项目，对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成，公司和客户使用的比较多的是Sqoop,DataX和Kettle这三种工具。
YuannaY·2023-07-13 20:55

数据体系建设-ODS|DW|TDM|ADS介绍

TDM：存储标签数据ADS：基于上面的数据源整合而成的供业务应用的指标报表等贴源数据层ODS贴源数据层ODS（OperationalDataStore，又称操作数据层）：对各业务线生成的基础数据的采集汇聚数据仓库
劝学公馆·2023-07-13 20:50

数据仓库-拉链算法

数据仓库-拉链算法，如何处理开链、闭链数据\timingonsetclient_encoding='GBK';/******程序功能说明*********************************
六mo神剑·2023-07-13 19:55

【数据仓库】Windows源码安装DataEase，DataEase二次开发

上文记录了DataEase入门使用指南，本文主要记录Windows下源码安装及二次开发步骤【数据仓库】BI看板DataEase入坑指南_wenchun001的博客-CSDN博客改动文件源码GitHubrelease
wenchun001·2023-07-13 19:24

【数据仓库】Apache Doris介绍

ApacheDoris介绍ApacheDoris应用场景ApacheDoris核心特性ApacheDoris架构Doris数据模型三种Aggregate模型介绍Uniq模型介绍在某些多维分析场景下,用户更关注的是如何保证Key的唯一性Key唯一性约束。因此，我们引入了Unig的数据模型。该模型本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。CREATETABLEIFNOTEXISTSte
wenchun001·2023-07-13 19:54

安装hive数据仓库

部署hive数据库环境准备需要安装部署完成的Hadoop的环境如果不会搭建的可以参考：安装mysql卸载Centos7自带的mariadbrpm-qa|grepmariadbrpm-emariadb-libs-5.5.64-1.el7.x86_64--nodepsrpm-qa|grepmariadbmariadb-libs-5.5.64-1.el7.x86_64是使用rpm-qa|grepmari
阿龙的代码在报错·2023-07-13 18:55

【数据仓库】FineBI数据可视化使用体验

FineBI介绍FineBI是新一代自助式BI工具,企业客户多,服务范围广.凭借finebi简单流畅的操作,强劲的大数据性能和自助式的分析体验。1，对个人用户来说，免费的无限期试用，解锁所有功能，除了限制两个并发访问，个人用户可以尽情的学习调试啦，解锁数据分析的乐趣！2，对于企业来说：finebi的价格是企业的功能模块、用户的需求定制、系统的部署实施等进行定价的，具体的finebi价格也是根据用户
wenchun001·2023-07-13 18:25

腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践

当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。
·2023-07-13 15:24

数据仓库分层设计——分层定义

数据分层设计数仓分层设计可以按照以下层次来划分：数据源层（SourceLayer）：该层是数仓的数据来源，包含一些原始系统、外部数据源，这些数据需要进行ETL处理后才能被加载到数仓中。数据提取层（StagingLayer）：该层是数据被存储、提取和清洗的地方。数据在此进行普通化处理、数据验证和纠错，然后被更改为标准格式，以便于后续的处理。数据集成层（IntegrationLayer）：该层是数据被
卢延吉·2023-06-23 18:15

【数据仓库】元数据血缘分析

现在数据仓库基本上采用Hadoop平台了，那么数据仓库里面元数据的血缘分析的思路有哪些呢基本上有下面这两种思路：1、解析hql脚本，通过正则表达式去匹配每一行字符串2、采用Hadoop自带的语法分析类解析这里比较建议采用第二种
哥伦布112·2023-06-23 01:52
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他