--------【数据仓库】

大数据架构

1.1.1数据库与ER建模1.1.1.1数据库（DataBase）1.1.1.2数据库三范式1.1.1.3ER实体关系模型1.1.1.4ER实体关系模型案例1.1.2数据仓库构建与分层1.1.2.1为什么构建数据仓库
添柴少年yyds·2023-06-08 18:55

数据仓库基础知识

数据仓库企业信息应用现状企业对应用集成的需求1.什么是BI1.1BI的定义1.2BI要做的事情1.3BI的智能1.4BI应用架构1.5BI系统架构1.6BI应用带来的关键效益2.什么是数据仓库2.1数据仓库的概念
小猪宝宝哦·2023-06-08 18:53

《数据智能知识地图》——数据湖篇

在商业智能（BI）和数据仓库还没有被淘汰的今天，大数据分析和大数据湖正在向更多类型的实时智能服务发展，这些实时的智能服务可以支持实时的
大数据食铁兽·2023-06-08 18:36

数据仓库、数据湖、湖仓一体，有什么区别？

一、基本概念1.1数仓发展历史数据湖是以集中方式存储各种类型数据，提供弹性的容量和吞吐能力，能够覆盖广泛的数据源，支持多种计算与处理分析引擎直接对数据进行访问的统一存储平台。它能够实现数据分析、机器学习，数据访问和管理等细粒度的授权、审计等功能。数据湖对存取的数据没有格式类型的限制，数据产生后，可以按照数据的原始内容和属性，直接存储到数据湖，无需在数据上传之前对数据进行任何的结构化处理。数据湖可以
jane9872·2023-06-08 15:22

Springboot整合ETL引擎Kettle的使用

加载(load)至目的端的过程，它能够对各种分布的、异构的源数据(如关系数据)进行抽取，按照预先设计的规则将不完整数据、重复数据以及错误数据等“脏"数据内容进行清洗,得到符合要求的“干净”数据,并加载到数据仓库中进行存储
萤火1129·2023-06-08 01:17

1.Hive系列之简介

1.Hive简介1.1Hive是什么Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言HiveQL，以及用于将查询转换为MapReduce任务的引擎。
沈健_算法小生·2023-06-07 22:33

聊一聊数据仓库中的元数据管理系统

在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（TechnicalMetadata
ywm041004·2023-06-07 21:39

视频教程-Oracle从入门到精通全套视频教程之备份恢复与数据迁移-Oracle

目前在某世界500强金融公司任职OracleDBA、数据库架构师，在数据库架构规划、大型数据库开发、BI与数据仓库设计、Oracle备份恢复、高可用及容灾、数据迁移、系统调优等方面有丰富的经验。黄利
学院导师-黄利强·2023-06-07 20:29

数据仓库模型全景

数据仓库模型构建一、数据仓库构建需要考虑的问题与数据库的单表基于ER模型构建思路不同，其面向特定业务分析的特性，决定了它的构建需要整合多套数据输入系统，并输出多业务条线的、集成的数据服务能力，需要考虑更全面的因素
产品经理自我修养·2023-06-07 15:08

基于Canal与Flink实现数据实时增量同步(二)

背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(OperationalDataStore)数据。
大数据技术与数仓·2023-06-07 13:34

关于ETL的两种架构（ETL架构和ELT架构）

ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
2301_77700816·2023-06-07 12:55

mysql基础操作

mysql当一台电脑安装了数据库，那么这台电脑可以称为一个数据库服务器，用户可以连接这台电脑上的数据库一个数据库软件，可以管理多个数据仓库（简称数据库）。一个数据仓库可以管理多个数据表。
Danielsdong·2023-06-07 09:06

OLAP和OLTP

对比数据库系统可以在广义上分为联机事务处理（OnlineTransactionProcess，OLTP）和联机分析处理（OnlineAnalyzeProcess，OLAP）两种面向不同领域的数据库，OLAP数据库也被称为数据仓库
猿来如此dj·2023-06-07 09:33

大数据架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文主要介绍大数据架构师的岗位工作职责及应具备的能力。如下图所示
皮皮杂谈·2023-06-07 07:18

Hive

Hive概览Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。
不久之·2023-06-07 04:52

增量数据抽取技术

本专栏目录结构和文献引用请见《大数据从0到1》正文在数据仓库中要实现增量抽取，关键是如何准确快速的捕获变化的数据。
Shockang·2023-06-07 02:37

数仓项目框架

业务数据主要从各个源系统数据库通过数据总线INFA做个数据集成，再通过sqoop、flume、或文本入仓，放在HDFS上存储，在存储层之上，使用hive数据仓库工具去映射并关联文件与表等元数据信息，在hive
February13·2023-06-07 01:35

数仓建模—ID Mapping

数据仓库系列文章(持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据
大数据技术派·2023-06-07 00:14

用AI学习HIVE

用AI提取HIVE学习的一个大纲要领.HIVE是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言——HQL（HiveQueryLanguage），使得开发人员可以使用类SQL的语言来查询和分析大规模的数据集
All996·2023-06-06 22:35

数据仓库理论

数据仓库理论基础理论数据仓库主要特征面相主题集成性非易失性、非易变性时变性OLTP、OLAPOLTPOLAP对比数据库与数据仓库的区别数据仓库、数据集市数据仓库分层架构分层思想和标准阿里巴巴数仓三层架构
不知落叶何时落·2023-06-06 22:16

AnalyticDB PostgreSQL和AnalyticDB MySQL该如何选择？

AnalyticDBPostgreSQL和AnalyticDBMySQL都是阿里云提供的云原生分布式云数据仓库产品。它们都具有高可靠、高性能、高安全、易扩展等优势，适用于大数据分析和深度挖掘应用。
·2023-06-06 21:30

HIVE基础

实际工作中写impalasql，而使用hive操作大数据其实就是写hivesql，hive是建立在hadoop基础上的数据仓库基础架构它提供一系列工具，进行ETL操作HiveSQL来操作hadoop数据
February13·2023-04-21 21:48

数据仓库与数据建模理论

数据仓库的特性：面向主题按主题分类集成将分散在各个数据库的数据集中到一起稳定非实时，一般只做查询变化记录历史，反映最近一段时间的变化数仓分层的意义之一是1.问题定位简化，每层只处理一个简单的问题；2.中间结果数据
February13·2023-04-21 21:45

事实表，维度，度量，指标之间的关系

事实表，维度，度量，指标之间的关系事实表：每个数据仓库都包含一个或者多个事实数据表。
February13·2023-04-21 19:18

HANA Studio-建模-长篇

文章目录1.建模2.数据仓库中的各种Schema2.1星型模型2.2雪花模型2.3星系模型3.表3.1SQLEditor3.2GUIOption4.包5.属性视图5.1属性视图的特性5.2如何创建一个属性视图
xiaomici·2023-04-21 19:24

Hive和HBase比较

Hive和HBase比较Hive：本质上是一个用于进行数据仓库管理的工具，在实际过程中经常用于对数据进行分析和清洗，提供了相对标准的SQL结构，底层会将SQL转化为MapReduce来执行，因此Hive
大风起曦云飞扬·2023-04-21 15:03

4 月 25 日直播预告 | 深入解读 Flink 1.17

相比1.16版本，Flink1.17侧重提升了引擎的批处理的性能和完善了流处理语义，使得用户可以实现更简化更实时的数据仓库，朝着
·2023-04-21 14:16

大数据各组件简述

hadoop分布式生态环境：hdfs分布式文件系统hive数据仓库工具，形成文件与表的映射，可以使用类sql语言操作数据库mapreduce分布式计算框架spark分布式计算框架，减少落盘，作为一个应用在
February13·2023-04-21 13:10

【数据治理】标签的分类、设计及实现方法

以下内容来自：数据学堂在开展对数据的各种分析应用之前，如果在数据仓库的基础上再开展一些数据标签的工作，提前做一些准备工作，那么后续对数据应用的设计开发将更加深入、更加便利，也更容易快速交付。
day day day ...·2023-04-21 11:37

文盘Rust -- rust 连接云上数仓 starwift

Starwfit是京东云自主研发的新一代云原生数据仓库,通过存算分离降低了存储成本，同时兼具性能和扩展弹性。其写入和查询速度可达到传统数据仓库的数倍，为用户提供实时数据分析能力。
·2023-04-21 10:50

大数据项目实战之数据仓库：电商数据仓库系统——第8章 数仓开发之DIM层

文章目录第8章数仓开发之DIM层8.1商品维度表8.2优惠券维度表8.3活动维度表8.4地区维度表8.5日期维度表8.6用户维度表8.7数据装载脚本8.7.1首日装载脚本8.7.2每日装载脚本第8章数仓开发之DIM层DIM层设计要点：（1）DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。（2）DIM层的数据存储格式为orc列式存储+snappy压缩。（3）DIM层表名的命名规范为dim
yiluohan0307·2023-04-21 07:42

数据架构简析

HDFS和Mapreduce计算框架，但是它一路高歌猛进，在此基础之上像搭积木一般快速发展成为一个庞大的生态（包括Yarn,Hive,HBase,Spark等十种之多）为解决海量数据下分析查询性能问题，数据仓库的基础上衍生出的概念
熊猫姐姐90·2023-04-21 06:43

理资产、治数据，东软一体化大数据治理

大数据不是凭空而来，1981年第一个数据仓库诞生，到现在已经有了近40年的历史，而国内数据平台的建设大概从90年代末就开始了，从第一代架构出现，到现在已经历了近20年的时间。
ivyran·2023-04-21 03:03

Apache Doris 在美联物业的数据仓库应用实践，助力传统行业数字化革新

本文主要介绍美联物业基于ApacheDoris在数据体系方面的建设，以及对数据仓库搭建经验进行的分享和介绍，旨在为数据量不大的传统企业提供一些数仓思路，实现数据驱动业务，低成本、高效的进行数仓改造。
SelectDB技术团队·2023-04-20 20:34

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 （Ⅳ）

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。
字节数据平台·2023-04-20 20:09

数据湖学习笔记No.02（湖仓一体）

数仓一体什么是数据仓库框架如图所示：为了统计结果，比如最终在数据集市层获得一个销量的指标Lambda架构到Kappa架构Lambda（两套代码两套数据）->Kappa在Lambda的基础上进行了优化，删除了
SEUsmith·2023-04-20 20:36

Apache NiFi 典型案例

NIFI典型案例课程目标1、离线同步Mysql数据到DFS2、Json内容转换为Hive支持的文本格式3、实时同步Mysql数据到Hive4、Kafka的使用1.离线同步Mysql数据到hdfs大数据数据仓库系统中
爱上_下划线·2023-04-20 19:07

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 （Ⅳ）

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。
·2023-04-20 19:43

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 （Ⅳ）

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。
·2023-04-20 19:11

MongoDB

官方地址：https://www.mongodb.com/基本概念数据库（database）：数据库是一个数据仓库，数据库服务下可以创建很多数据库，数据库中考有存放很多集合。
xiangxiongfly915·2023-04-20 19:45

Canal+Camus快速采集MySQL Binlog到数据仓库

数据仓库的同步方法我们的数据仓库长久以来一直使用天级别的离线同步方法：采用Sqoop或DataX按天定时获取各个MySQL表的全量或增量数据，然后载入到Hive里对应的各个表中。
LittleMagic·2023-04-20 16:08

OushuDB 小课堂丨4 个常见的数据集成挑战

数据集成可以描述为过程从各种来源收集数据并将其转换为与数据存储系统兼容的格式——通常是数据库或数据仓库.在制定业务决策时使用集成数据已成为许多组织的普遍做法。
·2023-04-20 16:42

产品经理即学即用的ETL数据清洗工具

ETL是数据仓库里最重要的数据处理过程，也是最体现工作量的环节，一般会占到整个数据仓库项目工作量的一半以上。●抽取：从数据源获取数据。●转换：转换数据，使之转变为适用于查询和分析的形式和结构。
Kalyn李大平·2023-04-20 15:04

数据仓库基础介绍

数据仓库基础介绍定义一、数仓分层二、为什么分层三、数仓建模方式四、数仓表设计五、关于时间定义Datawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了
幸福右手牵·2023-04-20 15:21

数据系统架构-10.数仓开发平台

数仓开发平台1.背景数据仓库是存储各种数据的仓库，形同于现实当中存储货物的仓库，不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
叶之城·2023-04-20 10:21

两种主流大数据系统架构的区别，终于有人讲明白了

特别是在企业数据仓库建设中，MPP架构与Hadoop架构代表两类典型的技术路线选型，事
hzbooks·2023-04-20 10:20

【软考备考-综合知识】数据仓库和数据挖掘基础知识

数据仓库为了满足管理人员的决策分析需要，在数据库基础上产生了能满足决策分析需要的数据环境，就是数据仓库。
Rai Sokann·2023-04-20 04:25

离线前期准备

目录项目的需求分为一下几点：技术选型：主要需求技术：项目的需求分为一下几点：用户行为数据采集的平台搭建业务数据采集的平台搭建数据仓库的维度建模分析、设备、会员、商品、地区、活动等电商核心主题、统计的报表指标近
冷艳无情的小妈·2023-04-20 03:26

数据数仓的三种建模方式

目前业界较为主流的是数据仓库厂商主要是IBM和NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对某个行业的数据模型。
大数据狂人·2023-04-20 02:25

ByteHouse 技术白皮书正式发布，云数仓核心技术能力首次全面解读（内附下载链接）

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。
字节数据平台·2023-04-19 22:21
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他