--------【数据仓库】

Kylin知识点总结

Kylin1、ApacheKylin概览1.1什么是KylinApacheKylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据
南潇如梦·2023-07-14 14:59

（五）kafka从入门到精通之topic介绍

可以将Topic看作是一个数据仓库，在这个仓库中存储着具有相同主题的数据。比如，一个Topic可以存储所有关于“股票”的数据，另一个T
隐 风·2023-07-14 14:07

Hive表统计信息采集及应用

以Hive为基础构建的数据仓库，在进行数据治理方面，Hive表的统计信息是很重要的基础数据，以此数据可以了解Hive表的概况，来支持Hive表的合理建设和管理。
邢为栋·2023-07-14 07:58

一.数据仓库、BI以及维度建模

信息总是用作两个目的：操作型记录的保存和分析型记录的制定。简单来说，操作型系统保存数据，DW/BI系统使用数据。对于操作型系统，其用户确保组织能正常运转，对其的优化目的是使其能够更快的处理事务。对于DW/BI系统，其用户研究分析企业运转，并对其性能进行评估，对其进行优化的目的是高性能地完成用户的查询。一.维度建模维度模型通常应用于关系数据库管理系统上，但不要求其必须满足第三范式（3NF）。规范化的
阿猫阿狗Hakuna·2023-07-14 06:19

数据库软考考点整理--中级数据库系统工程师

数据库软考考点整理–中级数据库系统工程师文章目录数据库软考考点整理--中级数据库系统工程师数据库基础非关系型数据库与分布式数据库基础关系模式数据挖掘基础数据库设计步骤数据库安全基础数据仓库基础数据库并发控制数据库故障恢复
yang_z_1·2023-07-13 23:05

大数据ETL工具对比（Sqoop, DataX, Kettle）

前言在实习过程中，遇到了数据库迁移项目，对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成，公司和客户使用的比较多的是Sqoop,DataX和Kettle这三种工具。
YuannaY·2023-07-13 20:55

数据体系建设-ODS|DW|TDM|ADS介绍

TDM：存储标签数据ADS：基于上面的数据源整合而成的供业务应用的指标报表等贴源数据层ODS贴源数据层ODS（OperationalDataStore，又称操作数据层）：对各业务线生成的基础数据的采集汇聚数据仓库
劝学公馆·2023-07-13 20:50

数据仓库-拉链算法

数据仓库-拉链算法，如何处理开链、闭链数据\timingonsetclient_encoding='GBK';/******程序功能说明*********************************
六mo神剑·2023-07-13 19:55

【数据仓库】Windows源码安装DataEase，DataEase二次开发

上文记录了DataEase入门使用指南，本文主要记录Windows下源码安装及二次开发步骤【数据仓库】BI看板DataEase入坑指南_wenchun001的博客-CSDN博客改动文件源码GitHubrelease
wenchun001·2023-07-13 19:24

【数据仓库】Apache Doris介绍

ApacheDoris介绍ApacheDoris应用场景ApacheDoris核心特性ApacheDoris架构Doris数据模型三种Aggregate模型介绍Uniq模型介绍在某些多维分析场景下,用户更关注的是如何保证Key的唯一性Key唯一性约束。因此，我们引入了Unig的数据模型。该模型本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。CREATETABLEIFNOTEXISTSte
wenchun001·2023-07-13 19:54

安装hive数据仓库

部署hive数据库环境准备需要安装部署完成的Hadoop的环境如果不会搭建的可以参考：安装mysql卸载Centos7自带的mariadbrpm-qa|grepmariadbrpm-emariadb-libs-5.5.64-1.el7.x86_64--nodepsrpm-qa|grepmariadbmariadb-libs-5.5.64-1.el7.x86_64是使用rpm-qa|grepmari
阿龙的代码在报错·2023-07-13 18:55

【数据仓库】FineBI数据可视化使用体验

FineBI介绍FineBI是新一代自助式BI工具,企业客户多,服务范围广.凭借finebi简单流畅的操作,强劲的大数据性能和自助式的分析体验。1，对个人用户来说，免费的无限期试用，解锁所有功能，除了限制两个并发访问，个人用户可以尽情的学习调试啦，解锁数据分析的乐趣！2，对于企业来说：finebi的价格是企业的功能模块、用户的需求定制、系统的部署实施等进行定价的，具体的finebi价格也是根据用户
wenchun001·2023-07-13 18:25

腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践

当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。
·2023-07-13 15:24

数据仓库分层设计——分层定义

数据分层设计数仓分层设计可以按照以下层次来划分：数据源层（SourceLayer）：该层是数仓的数据来源，包含一些原始系统、外部数据源，这些数据需要进行ETL处理后才能被加载到数仓中。数据提取层（StagingLayer）：该层是数据被存储、提取和清洗的地方。数据在此进行普通化处理、数据验证和纠错，然后被更改为标准格式，以便于后续的处理。数据集成层（IntegrationLayer）：该层是数据被
卢延吉·2023-06-23 18:15

【数据仓库】元数据血缘分析

现在数据仓库基本上采用Hadoop平台了，那么数据仓库里面元数据的血缘分析的思路有哪些呢基本上有下面这两种思路：1、解析hql脚本，通过正则表达式去匹配每一行字符串2、采用Hadoop自带的语法分析类解析这里比较建议采用第二种
哥伦布112·2023-06-23 01:52

Hive查询操作（一）

查询数据仓库是典型的查多写少，这个是根据HDFS本身的特点来的。HDFS本身不支持随机修改，只支持追加。所以Hive读多改少，写就写一遍，重点在查询。
Distantfbc·2023-06-22 08:18

HIVE数据仓库——拉链表

在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计：有一些表的数据量很大，比如一张用户表，大约10亿条记录，50个字段，这种表即使使用ORC压缩，单张表的存储也会超过100G，在HDFS使用双备份或者三备份的话就更大一些
Distantfbc·2023-06-22 08:16

Smartbi内置用户登陆绕过漏洞复现

0x01产品简介Smartbi大数据分析产品融合BI定义的所有阶段，对接各种业务数据库、数据仓库和大数据分析平台，进行加工处理、分析挖掘和可视化展现；满足所有用户的各种数据分析应用需求，如大数据分析、可视化分析
OidBoy_G·2023-06-22 08:59

数据挖掘要学什么软件和程序语言

推荐一本很老的书《数据仓库与数据挖掘》。这本书相对来说不那么厚，很多基础概念也有论述，对初学者来说很友好。这一部分的学习是贯穿始终的，有经验
冬_84fe·2023-06-22 07:04

Hive官方文档学习

  Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
一只当归·2023-06-22 07:07

[架构之路-174]-《软考-系统分析师》-5-数据库系统-7-数据仓库技术与数据挖掘技术

5.7数据仓库技术数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
文火冰糖的硅基工坊·2023-06-22 03:24

ETL数据融合平台，实现业务数据集成

ETL的应用是将企业业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的一个过程。用ETL的目的是为了把企业散落在各个系统中的数据集中起来，统一标准化管理。
RestCloud·2023-06-21 21:20

数据交换工具Kettle

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
To-Big_Fish·2023-06-21 20:25

kettle见解文章

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
mlj365·2023-06-21 20:54

Kettle总结

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
Tech_Hog·2023-06-21 20:54

kettle介绍

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
RdmMing·2023-06-21 20:24

Kettle 系列1

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
mws1108·2023-06-21 19:54

kettle

它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量
iteye_14323·2023-06-21 19:54

什么是拉链表

原文地址：https://blog.csdn.net/xiepeifeng/article/details/42431027在数据仓库的数据模型设计过程中，经常会遇到这样的需求：1.数据量比较大;2.表中的部分字段会被
白杨Shayne·2023-06-21 19:28

数据仓库中历史拉链表的更新方法

本文中假设：数据仓库中订单历史表的刷新频率为一天，当天更新前一天的增量数据；如果一个订单在一天内有多次状态变化，则只会记录最后一个状态的历史；订单状态包括三个：创建、支付、完成；创建时间和修改时间只取到天
白杨Shayne·2023-06-21 19:28

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。
·2023-06-21 14:37

用Flink取代Spark Streaming！知乎实时数仓架构演进

作者|知乎数据工程团队“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。
·2023-06-21 14:06

数据仓库(11)什么是大数据治理，数据治理的范围是哪些

主数据管理即数据本身的管理，对于数据本身，基于数据仓库，我们做了数据的分层、数据域的划分、基于维度建模的架构、命名规范、
·2023-06-21 12:46

数据仓库(08)数仓事实表和维度表技术

所谓的事实表和维度表技术，指的就是如何和构造一张事实表和维度表，是的事实表和维度表，可以涵盖现在目前的需要和方便后续下游数据应用的开发。事实表，就是一个事实的集合。事实来自业务过程的度量，基本上以数量值表示。事实表行对应一个事实，一个事实对应一个物理可以观察的事件，例如，再零售事件中，销售数量与总额是数据事实，与销售事件不相关的度量不可以放在同一个事实表里面，如员工的工资。事实表是实际发生的度量，
·2023-06-21 12:14

数据仓库(10)数仓拉链表开发实例

拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。
·2023-06-21 12:14

数据仓库(03)数仓建模之星型模型与维度建模

  维度建模是一种将数据结构化的逻辑设计方法，也是一种广泛应用的数仓建模方式，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。上面的解释看
·2023-06-21 12:12

数据仓库(01)什么是数据仓库，数仓有什么特点

  这里会介绍数据仓库的理解，什么是数据仓库技术，数据仓库的作用。  数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。
·2023-06-21 12:40

数据仓库(12)数据治理之数仓数据管理实践心得

当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：数据仓库(11)什
·2023-06-21 12:00

大数据电商数据仓库系统搭建 附离线安装包

一、数仓理论1、数据仓库概念数据仓库（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。
wespten·2023-06-21 09:42

阿里云开源离线同步工具DataX3.0,用于数据仓库、数据集市、数据备份

DataX是阿里云开源的一款离线数据同步工具，支持多种数据源和目的地的数据同步，包括但不限于MySQL、Oracle、HDFS、Hive、ODPS等。它可以通过配置文件来定义数据源和目的地的连接信息、数据同步方式、数据过滤等，从而实现数据的高效、稳定、可扩展的同步。例如，如果您需要将MySQL中的数据同步到HDFS中，可以使用DataX来完成这项任务。首先，您需要编写一个JSON格式的配置文件，指
老人笔记·2023-06-21 09:10

数据仓库系列：如何将StarRocks集群与Jupyter集成？

JupySQL兼容所有主流数据库(如PostgreSQL、MySQL、SQLServer)、数据仓库(如Sn
java编程艺术·2023-06-21 07:28

电商数仓（用户行为采集平台）数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume

1、数据仓库概念数据仓库（DataWarehouse），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。
星光下的赶路人star·2023-06-21 01:17

FocusBI： 数据仓库（原创）

数据仓库是决策支持系统的核心，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略、战术、运营集合。
focusBI·2023-06-21 01:10

ETL还是ELT：企业如何选择构建数据仓库的最佳工具？

一、企业数据仓库的构建对于数据驱动的决策和业务增长至关重要在构建数据仓库的过程中，选择合适的工具和方法是实现高效、可靠的数据集成和转换的第一步，构建数据中台最重要的是得先有数据，出来玩最重要的是什么？
苛子·2023-06-20 23:57

三个自主 | 产品自主研发：Kingbase的进化之旅

我国对于建设数据库、数据仓库和数据挖掘等应用的需求不断加深。
金仓数据库·2023-06-20 16:09

跟我一起总结【数据仓库】之——实施经验

本次的分享涵盖了交付物、数据仓库设计、需求变更及处理方法、问题记录1.交付物：《库表检查记录》《API接口文档》《数据架构图》《数仓资源访问方式》数据库类型、数据库位置，面向的是不会使用数据库的客户。
SunWuKong_Hadoop·2023-06-20 15:28

官宣！Databend 和 XSKY星辰天合达成合作

本次测试是对Databend云原生数据仓库平台与星辰天合企业级存储产品&超融合产品进行严格的联合测试验证，结果显示，双方产品完全兼容，功能、性能等各方面表现良好，运行稳定、安全，满足用户分布式数据仓库对于弹性存力和算力的需求
Databend·2023-06-20 06:42

第2章 信息技术发展

文章目录2.1.2计算机网络1.网络标准协议2.软件定义网络3.第五代移动通信技术2.1.3存储和数据库1.存储技术2.数据结构模型3.常用数据库类型4.数据仓库2.1.4信息安全2.2.1物联网2.2.2
Hardworking666·2023-06-19 23:32

数据库概述

一、相关定义1.数据库数据库（database），缩写为db，是按照一定规则存放在计算机存储设备上，可供应用程序或用户访问的数据仓库。数据库具有持久化存储数据的特性，即使关机数据也不会丢失。
codeByte·2023-06-19 22:16
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他