数据仓库

Hive查询操作（一）

查询数据仓库是典型的查多写少，这个是根据HDFS本身的特点来的。HDFS本身不支持随机修改，只支持追加。所以Hive读多改少，写就写一遍，重点在查询。
Distantfbc·2023-06-22 08:18

HIVE数据仓库——拉链表

在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计：有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表即使使用ORC压缩，单张表的存储也会超过100G，在HDFS使用双备份或者三备份的话就更大一些
Distantfbc·2023-06-22 08:16

Smartbi内置用户登陆绕过漏洞复现

0x01产品简介Smartbi大数据分析产品融合BI定义的所有阶段，对接各种业务数据库、数据仓库和大数据分析平台，进行加工处理、分析挖掘和可视化展现；满足所有用户的各种数据分析应用需求，如大数据分析、可视化分析
OidBoy_G·2023-06-22 08:59

数据挖掘要学什么软件和程序语言

推荐一本很老的书《数据仓库与数据挖掘》。这本书相对来说不那么厚，很多基础概念也有论述，对初学者来说很友好。这一部分的学习是贯穿始终的，有经验
冬_84fe·2023-06-22 07:04

Hive官方文档学习

  Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
一只当归·2023-06-22 07:07

[架构之路-174]-《软考-系统分析师》-5-数据库系统-7-数据仓库技术与数据挖掘技术

5.7数据仓库技术数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
文火冰糖的硅基工坊·2023-06-22 03:24

ETL数据融合平台，实现业务数据集成

ETL的应用是将企业业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的一个过程。用ETL的目的是为了把企业散落在各个系统中的数据集中起来，统一标准化管理。
RestCloud·2023-06-21 21:20

数据交换工具Kettle

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
To-Big_Fish·2023-06-21 20:25

kettle见解文章

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
mlj365·2023-06-21 20:54

Kettle总结

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
Tech_Hog·2023-06-21 20:54

kettle介绍

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
RdmMing·2023-06-21 20:24

Kettle 系列1

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
mws1108·2023-06-21 19:54

kettle

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量
iteye_14323·2023-06-21 19:54

什么是拉链表

原文地址：https://blog.csdn.net/xiepeifeng/article/details/42431027在数据仓库的数据模型设计过程中，经常会遇到这样的需求：1.数据量比较大;2.表中的部分字段会被
白杨Shayne·2023-06-21 19:28

数据仓库中历史拉链表的更新方法

本文中假设：数据仓库中订单历史表的刷新频率为一天，当天更新前一天的增量数据；如果一个订单在一天内有多次状态变化，则只会记录最后一个状态的历史；订单状态包括三个：创建、支付、完成；创建时间和修改时间只取到天
白杨Shayne·2023-06-21 19:28

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。
·2023-06-21 14:06

数据仓库(11)什么是大数据治理，数据治理的范围是哪些

主数据管理即数据本身的管理，对于数据本身，基于数据仓库，我们做了数据的分层、数据域的划分、基于维度建模的架构、命名规范、
·2023-06-21 12:46

数据仓库(08)数仓事实表和维度表技术

所谓的事实表和维度表技术，指的就是如何和构造一张事实表和维度表，是的事实表和维度表，可以涵盖现在目前的需要和方便后续下游数据应用的开发。事实表，就是一个事实的集合。事实来自业务过程的度量，基本上以数量值表示。事实表行对应一个事实，一个事实对应一个物理可以观察的事件，例如，再零售事件中，销售数量与总额是数据事实，与销售事件不相关的度量不可以放在同一个事实表里面，如员工的工资。事实表是实际发生的度量，
·2023-06-21 12:14

数据仓库(10)数仓拉链表开发实例

拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。
·2023-06-21 12:14

数据仓库(03)数仓建模之星型模型与维度建模

  维度建模是一种将数据结构化的逻辑设计方法，也是一种广泛应用的数仓建模方式，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。上面的解释看
·2023-06-21 12:12

数据仓库(01)什么是数据仓库，数仓有什么特点

  这里会介绍数据仓库的理解，什么是数据仓库技术，数据仓库的作用。  数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。
·2023-06-21 12:40

数据仓库(12)数据治理之数仓数据管理实践心得

当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：数据仓库(11)什
·2023-06-21 12:00

大数据电商数据仓库系统搭建 附离线安装包

一、数仓理论1、数据仓库概念数据仓库（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。
wespten·2023-06-21 09:42

阿里云开源离线同步工具DataX3.0,用于数据仓库、数据集市、数据备份

DataX是阿里云开源的一款离线数据同步工具，支持多种数据源和目的地的数据同步，包括但不限于MySQL、Oracle、HDFS、Hive、ODPS等。它可以通过配置文件来定义数据源和目的地的连接信息、数据同步方式、数据过滤等，从而实现数据的高效、稳定、可扩展的同步。例如，如果您需要将MySQL中的数据同步到HDFS中，可以使用DataX来完成这项任务。首先，您需要编写一个JSON格式的配置文件，指
老人笔记·2023-06-21 09:10

数据仓库系列：如何将StarRocks集群与Jupyter集成？

JupySQL兼容所有主流数据库(如PostgreSQL、MySQL、SQLServer)、数据仓库(如Sn
java编程艺术·2023-06-21 07:28

电商数仓（用户行为采集平台）数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume

1、数据仓库概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。
星光下的赶路人star·2023-06-21 01:17

FocusBI： 数据仓库（原创）

数据仓库是决策支持系统的核心，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略、战术、运营集合。
focusBI·2023-06-21 01:10

ETL还是ELT：企业如何选择构建数据仓库的最佳工具？

一、企业数据仓库的构建对于数据驱动的决策和业务增长至关重要在构建数据仓库的过程中，选择合适的工具和方法是实现高效、可靠的数据集成和转换的第一步，构建数据中台最重要的是得先有数据，出来玩最重要的是什么？
苛子·2023-06-20 23:57

三个自主 | 产品自主研发：Kingbase的进化之旅

我国对于建设数据库、数据仓库和数据挖掘等应用的需求不断加深。
金仓数据库·2023-06-20 16:09

跟我一起总结【数据仓库】之——实施经验

本次的分享涵盖了交付物、数据仓库设计、需求变更及处理方法、问题记录1.交付物：《库表检查记录》《API接口文档》《数据架构图》《数仓资源访问方式》数据库类型、数据库位置，面向的是不会使用数据库的客户。
SunWuKong_Hadoop·2023-06-20 15:28

官宣！Databend 和 XSKY星辰天合达成合作

本次测试是对Databend云原生数据仓库平台与星辰天合企业级存储产品&超融合产品进行严格的联合测试验证，结果显示，双方产品完全兼容，功能、性能等各方面表现良好，运行稳定、安全，满足用户分布式数据仓库对于弹性存力和算力的需求
Databend·2023-06-20 06:42

第2章 信息技术发展

文章目录2.1.2计算机网络1.网络标准协议2.软件定义网络3.第五代移动通信技术2.1.3存储和数据库1.存储技术2.数据结构模型3.常用数据库类型4.数据仓库2.1.4信息安全2.2.1物联网2.2.2
Hardworking666·2023-06-19 23:32

数据库概述

一、相关定义1.数据库数据库（database），缩写为db，是按照一定规则存放在计算机存储设备上，可供应用程序或用户访问的数据仓库。数据库具有持久化存储数据的特性，即使关机数据也不会丢失。
codeByte·2023-06-19 22:16

关于数据仓库那点事，一文捋清

数据仓库事实上，很多人在看到数据仓库的第一眼，就把数据仓库当成了数据库。当然这也很正常，毕竟从名字来看这两者确实区别不大，真正区分两者的是定位、作用等更深一层的东西。
派可数据BI可视化·2023-06-19 21:06

全网最详细的商业智能BI知识讲解

一、商业智能BI商业智能BI的定义其实很简单，简单概括一下就是，商业智能是一套完整的由数据仓库、查询报表、数据分析等组成的数据类技术解决方案，能够实现业务流程和业务数据的规范化、流程化、标准化，
派可数据BI可视化·2023-06-19 21:04

数字化时代，如何规范化搭建数据仓库？

数据仓库作为商业智能BI系统中的一部分，已经成长为了企业信息化建设中必不可少的重要支撑，在可见的未来，数据仓库还会随着信息化、数字化技术、理念、应用的落地，继续成长。
派可数据BI可视化·2023-06-19 21:01

如何管控数据？

那么在数据仓库建设的时候如何进行数据管控呢？我经历过的项目主要采用以下管控手段：数据质量、数据生命周期、数据标准、元数据四方面的管控。
jane9872·2023-06-19 20:44

数据智仓功能介绍（一）

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供基于数据的决策支持（DecisionSupport）。
·2023-06-19 19:30

《大数据分析-Hive》

hadoop）生态系统非常重要的一个工具，它提供了一种类SQL的语言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据，也可以查询Hadoop数据库（Hbase）中的数据，可以说通过Hive这个数据仓库工具大大降低了开发难度
数据分析杂杂念·2023-06-19 18:53

数据仓库的分层架构与演进

简介：分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来，我会从数据研发与建模的角度，演进一下分层架构的设计原因与层次的意义。分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。一、分层的演进之所以会有分层架构，最主要的原因还是要把复杂冗长的数据吹流程分拆成一些有明确目的意义的层次，这样复杂就被拆解为一些相对简
·2023-06-19 17:23

数据仓库介绍与实时数仓案例

1.数据仓库简介数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策
·2023-06-19 17:16

如果你也想做实时数仓…

数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务，数据仓库的建设也是“数据智能”中必不可少的一环。
·2023-06-19 17:16

MySQL调优

对于架构调优，在系统设计时首先需要充分考虑业务的实际情况，是否可以把不适合数据库做的事情放到数据仓库、搜索引擎或者缓存中去做；然后考虑写的并发量有多大，是否需要采用分布式；最后考虑读的压力是否很大，是否需要读写分离
zy_crazy_code·2023-06-19 10:27

大数据治理.数据储存技术

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
908486905·2023-06-19 09:06

大数据周会-本周学习内容总结018

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。数据分析是指通过收集、清洗、整理和解释数据，以提取有价值的信息和洞察力的过程
upward337·2023-06-19 03:48

大数据入门-大数据技术概述(一)

包含存储系统，数据库，数据仓库，资源调度，查询引擎，实时框架等。下面以我目前所了解到的一些技术做简要介绍。目前之介绍简单概念。
猫腻余腥·2023-06-18 21:41

漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）

如何设计一张拉链表2.在Hive中实现拉链表（1）拉链表实现方式一（2）拉链表实现方式二四、补充1.拉链表和流水表2.查询性能五、拉链表回滚1.具体操作方案2.备用方案：六、总结一、前言  本文将会谈一谈在数据仓库中拉链表相关的内容
小强签名设计·2023-06-18 21:27

数仓的分层理论

一、简介2021-4-2511:04:16数据仓库分层是数据仓库设计中非常重要的一个环节，一个好的分层设计可以极大地简化数据仓库的操作，提升使用体验。
经年藏殊·2023-06-18 11:31
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他