数据仓库

软考高级系统架构设计师系列论文八十八：财务数据仓库系统的设计与实现

软考高级系统架构设计师系列论文八十八：财务数据仓库系统的设计与实现一、摘要二、正文三、总结一、摘要近年来，数据仓库技术在信息系统的建设中得到了广泛应用，有效地为决策提供了支持。
最笨的羊羊·2023-08-25 05:23

深入解析数据仓库的支架表

前言支架表是维度设计中非常有意思的一部分，可以说是星型模型和雪花模型的结合；但在大部分维度建模书里都只是简单的一笔带过，实在是过于可惜。在本文，笔者会对支架表进行详细的介绍，并就其实际应用场景进行探讨。支架表的诞生支架表的诞生离不开经典的数仓模型之争——星型模型与雪花模型星型模型简单地说，所有的维度表都连在1个事实表上，就是星型模型星型模型星型架构是一种非规范化的结构，多维数据集的每一个维度都直接
秋夜雨凉·2023-08-24 23:52

二.维度建模技术

6.描述环境的维度维度表时数据仓库的“灵魂”。7.用于度量
阿猫阿狗Hakuna·2023-08-24 20:26

数据仓库笔记

数据仓库笔记目录概念与数据库的对比数据仓库建模方法论ER模型维度模型维度建模理论之事实表概述特点维度建模理论之维度表维度设计要点数据仓库分层最近在学习离线数据仓库建设，学习资源：尚硅谷之数仓5.0（不得不说
·落魄书生··2023-08-24 17:52

尚硅谷-离线数仓-笔记

尚硅谷-离线数仓-笔记一、数仓建模理论第一章数仓概述1.1数仓概念数据仓库是一个为数据分析而设计的企业级数据管理系统。
林子茗·2023-08-24 17:21

大数据数据仓库

一.在线教育1.数据采集1.数仓概念数据仓库是为企业制定决策，提供数据支持的。数据采集和存储、对数据进行计算和分析2.项目架构2.数据分类业务数据用户行为数据爬虫数据2.离线数仓3.实时数仓
highly2009·2023-08-24 04:52

如何快速地将Hive中的数据导入ClickHouse

我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前日数据量达到了300亿。
Ricky_Huo·2023-08-24 04:44

分享干货，数据仓库是什么？有什么价值？

说到数据不得不提的就是数据仓库。数据仓库是什么？数据仓库是一个中心化的存储系统，用于存储和管理企业的大规模结构化和非结构化数据。它是一个专门设计
派可数据BI可视化·2023-08-24 02:57

Data Vault 2.0方法论——项目计划

由于数据仓库是软件的一部分，许多来自行业的学术研究人员和专业人员都同意这样一个事实，即来自软件工程学科的方法可以应用于数据仓库项目。我们已经讨论了一些著名的项目计划方法。
DataVault善哉·2023-08-23 21:24

最详细的大数据之Hadoop分布式系统架构解析！没有之一！

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库H
大数据学习01·2023-08-23 18:22

Hive详解

Hive使用必知必会系列一、Hive的几种数据模型在这里插入图片描述内部表(Table将数据保存到Hive自己的数据仓库目录中：/usr/hive/warehouse)外部表(ExternalTable
daysting·2023-08-23 17:59

腾讯大佬三年大制作，大数据Hadoop和Spark的大集合

本书围绕Hadoop和Spark这两个主流技术进行讲解，主要内容包括Hadoop环境配置、分布式文件系统HDFS、分布式计算框架MapReduce、资源调度框架YARN与Hadoop新特性、大数据数据仓库
金光闪闪耶·2023-08-23 15:47

MPP架构和分布式架构是啥？2000字长文给你狠狠讲清楚！

在之前的文章中，我们详解了数据仓库的诞生原因、基本特点、数据仓库和数据库的区别、数据仓库的建设等内容。现在来看MPP架构和分布式架构。
Leo.yuan·2023-08-23 14:55

表值函数：Table Valued Function

TableValuedFunction，以及使用场景；如果你仍然奋战在数据库相关的工作时，尤其是使用MicrosoftSQLServer，有一些功能点是需要掌握的，这包含基本的SQL语言，视图，函数，触发器，存储过程，游标等；作为数据仓库工程师
Zhu_Yue·2023-08-23 13:37

一键实现 Oracle 数据整库同步至 Apache Doris

在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，ApacheDoris用户也面临这样的挑战。
·2023-08-23 12:48

【实践案例分享】Apache Doris在美团外卖数仓中的应用实践

美团外卖数据仓库通过MOLAP+ROLAP双引擎模式来适配不同应用场景。MOLAP引擎使用了ApacheKylin。ROLAP我们经过综合考虑，选择了ApacheDoris。
木东居士·2023-08-23 09:34

软考高级系统架构设计师系列之：论文典型试题写作要点和写作素材总结系列文章二

论基于DSSA的软件架构设计与应用1.论文题目2.写作要点和写作素材二、论信息系统建模方法1.论文题目2.写作要点和写作素材三、论高可靠性系统中软件容错技术的应用1.论文题目2.写作要点和写作素材四、论数据仓库的设计与实现
最笨的羊羊·2023-08-23 08:53

解放数据库，实时数据同步利器：Alibaba Canal

文章首发地址Canal是一个开源的数据库增量订阅&消费组件，主要用于实时数据同步和数据订阅的场景，特别适用于构建分布式系统、数据仓库、缓存更新等应用。
Walter Sun·2023-08-23 05:21

Hive中explode和lateral view使用方法讲解

79459282explode与lateralview在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统
LannisterWF·2023-08-23 04:50

大数据学习的必备五大核心技术

基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。
AydanLinux·2023-08-23 03:57

干货分享 | 4万字全面解读数据中台、数据仓库、数据湖（建议收藏）

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵
公众号:肉眼品世界·2023-08-23 01:34

Hive常用的属性配置

Hive数据仓库位置配置默认位置/user/hive/warehouse若多数据仓库位置进行修改，则修改配置hive-site.xml文件，添加一些属性。
明明德撩码·2023-08-23 01:42

MySQL—数仓ETL开发中常用到的日期函数

在数据仓库ETL开发中，当以增量的方式进行数据同步时，会将数据表中的时间字段作为增量字段获取增量数据。对于MySQL数据库来说，总结了以下日期表示以及需要注意的问题。
一克拉的小蚂蚁·2023-08-22 23:16

市面上最好用的4款免费ETL工具推荐

一、ETL介绍ETL流程是数据仓库建设的核心环节，它涉及从各种数据源中抽取数据，经过清洗、转换和整合，最终加载到数据仓库中以供分析和决策。
苛子·2023-08-22 23:45

Flink SQL (五) 连接到外部系统Hive

HiveApacheHive作为一个基于Hadoop的数据仓库基础框架，可以说已经成为了进行海量数据分析的核心组件。
ambitfly·2023-08-22 22:32

PostgreSQL实战-10-性能优化

PostgreSQL数据库的SQL服务器应用通常分为OLTP数据仓库数据库性能分析【硬件】：最先到达瓶颈的，通常是磁盘IO1.建议使用固定存储SSD如目前使用广泛的SATASSD
longailk·2023-08-22 14:48

数据仓库一分钟

数据分层一、数据运营层：ODS（OperationalDataStore）“面向主题的”数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的ETL之后，装入本层。本层的数据，总体上大多是按照源头业务系统的分类方式而分类的。一般来讲，为了考虑后续可能需要追溯数据问题，因此对于这一层就不建议做过多的数据清洗工作，原封不动地接入原始数据即可，至于数据
mengml_smile·2023-08-22 07:59

Hive-架构、执行

Hive是基于hadoop的数据仓库工具，将结构化的数据映射为一张表，提供类sql的查询功能。本质--SQL解析，将HQL转为MapReduce执行过程。
风止_·2023-08-21 21:15

2021-06-24

基础概念1.DB:DATABASE数据库，数据仓库2.DBMS：数据库管理系统（MySQL、Oracle等）3.SQL:结构化查询语言（通用性高）4.DBA:数据库管理员数据库的特点:数据-->表-->
AUTOBEAR·2023-08-21 18:32

腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库

将数据仓库构建在数据湖上，打通数据仓库和数据湖两套体系，构
·2023-08-21 15:18

NineData x SelectDB 完成产品兼容互认证

近日，新一代实时数据仓库厂商SelectDB与云原生智能数据管理平台NineData完成产品兼容互认证。经过严格的联合测试，双方软件完全相互兼容、功能完善、整体运行稳定且性能表现优异。
·2023-08-21 11:26

从Hadoop/Hive数据仓库导入数据到睿思BI系统

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive
睿思BI·2023-08-21 03:41

FifthOne：用于矢量搜索的计算机视觉接口

数据湖和数据仓库;广阔的像素牧场和充满文字的海洋。找到正确的数据就像大海捞针一样！
无水先生·2023-08-20 14:32

大数据的产品与应用细分研究报告

一、大数据产品细分数据仓库与数据湖数据仓库是一种用于存储和管理结构化数据的系统，常用于支持企业的决策分析。数据湖则是一种存储各种类型和格式数据的系统，用于支持大数据的分析和挖掘。以下是一个数据仓
2301_78484069·2023-08-19 22:41

ClickHouse（2）- CK介绍与MergeTree引擎

其逻辑就是，基于页面的点击事件流，面向数据仓库进行OLAP分析，ck在研发之初就是应用与OLAP（OnLineAnalyticalProcessing，即联机分析处理）领域。
·2023-08-19 13:11

数仓分层架构

1分层实现数据仓库一般分为三层，自上而下分别为数据贴源层（ODS，OperationDataStore）、数据公共层（CDM，CommonDataModel）和数据应用层（ADS，ApplicationDataService
三石先生已存在·2023-08-19 12:38

拉链表概述

介绍数据仓库中有一种数据存储模型，用于维护历史状态以及最新状态，反映某一Key的历史变化演进过程，该种模型叫做缓慢变化维，简称SCD（SlowlyChangingDimensions），通常所说的拉链表其实属于缓慢变化维的一种实现方式
跟着大数据和AI去旅行·2023-08-19 11:03

当大模型遇到数据仓库 HashData助力LLM规模化应用

在会上，酷克数据首席科学家杨胜文发表了题为《当LLM遇到数据仓库》的主旨演讲，分享了对大模型热潮的观察和思考，并介绍了借助酷克数据研发的下一代高级分析和数据科学工具HashML，简化从数据处理、模型微调到知识增强的智能
HashData酷克数据·2023-08-19 09:52

DTCC 2023即将启幕 明天见！

8月16日-18日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第14届中国数据库技术大会（DTCC2023）将在北京举行作为国内云原生数据仓库代表厂商，酷克数据受邀亮相DTCC2023
HashData酷克数据·2023-08-19 09:52

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
HashData酷克数据·2023-08-19 08:21

《PostgreSQL 开发指南》第32篇 物化视图

物化视图通过提前运行并存储查询结果，通常用于查询优化、数据仓库
不剪发的Tony老师·2023-08-19 08:31

数字化时代，数据仓库和商业智能BI系统演进的五个阶段

数字化在逐渐成熟的同时，社会上也对数字化的性质有了进一步认识。当下，数字化除了前边提到的将复杂的信息、知识转化为可以度量的数字、数据，在将其转化为二进制代码，引入计算机内部，建立数据模型，统一进行处理、分析、应用，还有了新的定义。当下数字化指的是通过人工智能、大数据、云计算、互联网、物联网等新一代信息技术，实现对个人、机构、企业等不同人员、群体的思想、战略、业务、技术、创新等各个层面的数字化改革，
派可数据BI可视化·2023-08-19 07:13

数据的深海潜行：数据湖、数据仓库与数据湖库之间的微妙关系

导言：数据的重要性与存储挑战在这个信息爆炸的时代，数据已经成为企业的核心资产，而如何高效、安全、便捷地存储这些数据，更是每个组织面临的重大挑战。数据作为组织的核心资产数据在过去的几十年里从一个辅助工具演变成企业的核心。无论是做市场预测、用户行为分析还是产品创新，数据都扮演着不可或缺的角色。而在这个过程中，数据的质量、完整性和可用性直接影响到企业的决策质量和竞争力。大数据时代下的存储需求与挑战伴随技
乐思项目管理·2023-08-19 07:35

数字化来了，该如何选择大数据存储？主流架构MPP与Hadoop的对比

目前主流的海量数据处理架构分为两种:1基于传统数据库及数据仓库所衍生出的MPP(MassivelyParallelProcessing)架构;2基于Hadoop并行计算框架的分布式架构。
少晗·2023-08-19 02:34

数据库变革：HashData云数仓实现事务级实时性

酷克数据资深解决方案架构师陈义贤在“数据库内核•技术创新”专场发表题为“分布式数仓的TP能力探索—HashDataUnionStore”的演讲，介绍HashData以Logisdatabase的思路在分布式数据仓库提升
·2023-08-18 20:18

Hive底层数据存储格式

前言在大数据领域，Hive是一种常用的数据仓库工具，用于管理和处理大规模数据集。Hive底层支持多种数据存储格式，这些格式对于数据存储、查询性能和压缩效率等方面有不同的优缺点。
笑看风云路·2023-08-18 11:26

数据湖与数据仓库差异

数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析–从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。数据湖（DataLake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事
数据智能谷·2023-08-18 10:15

数据仓库的两种建模方法（范式建模和维度建模）

数据仓库的两种建模方法范式建模Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。
Happybigman·2023-08-18 09:09

奥威BI数据可视化工具：360度呈现数据，告别枯燥表格

奥威BI数据可视化工具是一款基于数据仓库技术的数据分析工具，具有直观、灵活、可操作性强等特点。它能够帮助企业从多个角度、动态地分析业务数据，及时调整战略，提高决策效率。
qq_43696218·2023-08-18 09:33

大模型“搅局”，数据湖，数据仓库，湖仓选型会先淘汰谁？

事情总是这样：压力初露端倪，暗自考虑改变。压力高能爆表，立马做出改变。我们从一家叫做Databricks的美国知名公司聊起。这家Databricks公司很有创新基因。其创始人阿里·戈西（AliGhodsi）作为“2022年福布斯全球亿万富豪榜”排名第1645位的瑞典富豪，不缺钱，也舍得为公司花钱。他多次公开表示，不会考虑降低研发投入。此前（距大模型问世还有几年时间），Databricks就具备一种
亲爱的数据·2023-08-18 08:28
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他