数据仓库高级技术第16页

大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践（下）

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

chuange6363·2023-11-19 19:05

轻量级数据中台，大中型企业数字化转型首选

数据中台是集数据管理、数据集成和数据分析于一体的平台，可以帮助企业将零散的数据整合到统一的数据仓库中，实现数据的统一管理和快速查询。同时，数据中台可以通

ETLCloud数据集成社区·2023-11-19 19:39

阿里巴巴电商搜索推荐实时数仓演进之路

作者：张照亮（士恒）阿里巴巴搜索事业部高级技术专家1.业务背景阿里巴巴电商搜索推荐实时数据仓库承载了阿里巴巴集团淘宝、淘宝特价版、饿了么等多个电商业务的实时数仓场景，提供了包括实时大屏、实时报表、实时算法训练

阿里云Hologres·2023-11-19 18:38

4️⃣Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

WovJf·2023-11-19 17:39

数据仓库-数仓架构

1数据仓库建设方法论1.1项目背景数据仓库将建设成为融通全公司数据资产，提供便捷数据分析和数据服务，支持全公司数字化经营与创新。

终回首·2023-11-19 14:50

大数据发展历程及技术选型

大数据发展历程第一阶段2000年-2010年数仓提供方企业级数据仓库（EDW）IOT(IBM、Oracle、Teradata)提供数据仓库建设从硬件、软件到实施的整体方案需要购买大（中、小）型机配套商用的关系型数据库

平凡人笔记·2023-11-19 14:47

数据仓库之电商数仓-- 1、用户行为数据采集

目录一、数据仓库概念二、项目需求及架构设计2.1项目需求分析2.2项目框架2.2.1技术选型2.2.2系统数据流程设计2.2.3框架版本选型2.2.4服务器选型2.2.5集群规模2.2.6集群资源规划设计三

FunnyPrince_·2023-11-19 14:10

2023-Hive调优最全指南

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、

000X000·2023-11-19 13:43

Hive 调优指南

Hive调优指南ApacheHive是一个基于Hadoop的数据仓库解决方案，用于查询和分析大量的结构化数据。为了提高Hive查询性能和效率，本文将介绍一些Hive调优的策略和方法。

小泽长不胖·2023-11-19 13:41

本地数仓项目(四）—— 即席查询

本文基于文章《本地数据仓库项目(一)——本地数仓搭建详细流程》和《本地数仓项目(二)——搭建系统业务数仓详细流程》以及《本地数仓项目(三）——数据可视化和任务调度》2Presto2.1Presto概念Presto

不以物喜2020·2023-11-19 08:09

OLAP和OLTP

OLAP联机分析处理是数据仓库系统的主要应用强调SQL执行市场，强调磁盘I/O

任嘉平生愿·2023-11-19 06:05

CAT 性能优化的实践和思考

作者简介锦华，携程高级技术专家，超过10年互联网研发经验，2011年至今一直从事框架和中间件相关产品研发，对高并发、分布式中间件以及应用性能优化等有浓厚兴趣。

zl1zl2zl3·2023-11-19 06:33

计算机三级数据库知识点汇总附思维导图

数据库应用系统功能设计与实施第五章：UML与数据库应用系统第六章：高级数据查询第七章：数据库及数据库对象第八章：数据库后台编编址技术第九章：安全管理第十章：数据库运行维护与优化第十一章：故障管理第十二章：数据仓库与数据挖掘写在前面

cx330上的猫·2023-11-19 04:35

高级 SwiftUI 动画 — Part 1：Paths

前言在本文中，我们将深入探讨一些创建SwiftUI动画的高级技术。

网罗开发·2023-11-19 04:06

Spark学习——1.代表性大数据技术

HDFS分布式文件管理系统Hive数据仓库数据仓库，借助底层HDFS和HBase完成存

楓尘林间·2023-11-18 23:37

阿里云云原生一体化数仓 - 数据安全能力解读

MaxCompute产品简介MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持全部数据湖能力的大数据平台，支持超大规模、serverless和完善的多租户能力，内建企业级安全能力和管理功能

阿里云云栖号·2023-11-18 21:28

数据治理概念解读

静态数据1、主数据2、基础数据3、静态数据四、数据标准、数据规范五、数据目录、数据分类、数据标签1、数据目录2、数据分类3、数据标签六、数据模型、数据结构、数据字典1、数据模型2、数据结构3、数据字典七、数据仓库

灯惉·2023-11-18 21:57

企业数字化过程中数据仓库与商业智能的目标

派可数据BI可视化·2023-11-18 18:27

Prometheus MySQL 性能监控

MySQL数据库对于web应用程序、企业级应用程序和数据仓库等应用场景都非常适用。Prometheus提供了许多适用于

davidshiz·2023-11-17 13:52

什么是数据湖，数据湖和数据仓库的区别在哪

数据仓库是什么数据仓库数据湖数据来自事务系统、运营数据库和业务线应用程序的清洗过结构化数据来自IoT设备、网站、移动应用程序、社交媒体和企业应用程序的原始数据架构设计在数据仓库实施之前（写入型Schema

我去探险了·2023-11-17 13:45

云上11.11｜腾讯云大数据产品双11盛惠爆品首单1折起大回馈

11.11云上盛惠多款大数据产品特惠专场腾讯云BI、ElasticsearchService、流计算Oceanus、腾讯云数据仓库TCHouse-D、移动推送、数据湖计算DLC首月秒杀1元起、新客首购1.2

腾讯云大数据·2023-11-17 11:24

《网易-数据中台》学习笔记

《网易-数据中台》学习笔记1.大数据发展历程1.1数据仓库1.2Hadoop-数据湖1.3大数据平台1.4数据中台1.5Next：大数据+人工智能2.数据仓库2.1数据仓库建模2.1.1E-R模型2.1.2

杰克jk船长·2023-11-17 07:15

zhixingheyi_tian·2023-11-17 07:55

8月31日云栖精选夜读：一张图读懂阿里云网络产品：共享带宽

热点热议一张图读懂阿里云网络产品：共享带宽作者：伟耘发表在：阿里云网络产品【沉淀】记录电商时代下的技术人：访谈阿里高级技术专家玄宗，我的十年阿里路

Mc顽固份子·2023-11-17 06:11

KingbaseDTS数据库迁移工具人大金仓国产数据库同步工具Java版本使用方法

数据库迁移工具人大金仓国产数据库同步工具Java版本使用方法金仓数据库简介人大金仓数据库管理系统KingbaseES（KES）是面向全行业、全客户关键应用的企业级大型通用数据库管理系统，适用于联机事务处理、查询密集型数据仓库

技术很渣·2023-11-17 06:30

【clickhouse】clickhouse 表引擎之 AggregatingMergeTree

文章目录1.概述M.参考1.概述过数据仓库建设经验的读者一定知道“数据立方体”的概念，这是一个在数据仓库领域十分常见的模型。

九师兄·2023-11-17 05:16

大数据平台搭建之hive本地模式安装

Hive是一个开源的数据仓库基础设施，用于查询和分析大规模数据集。它建立在Hadoop上，并提供了类似于传统数据库的查询和分析功能。

bigdata从入门到放弃·2023-11-17 03:58

15万块机械硬盘最新质量报告：HGST零故障、可惜买不到了

三季度，BB总计拥有153727块机械硬盘，其中2780块是启动盘，数据仓库盘为150947块。剔除运行时间不足60天的硬盘，统计表中总计涵盖150757块。

程序员资源社区·2023-11-17 03:57

hive数仓-数据的质量管理

版本20231116要理解数据的质量管理，应具备hive数据仓库的相关知识文章目录1.理解什么是数据的质量管理：2.数据质量管理的规划数据质量标准的分类3.数据质量管理解决方案1.ods层的数据质量校验

江南正晓时·2023-11-17 01:33

大数据应用开发线上班（学徒班）课程大纲

泰迪智能科技大数据应用开发线上班课程使用当下流行的Hadoop+Spark大数据框架，全面、深入地探讨了大数据开发、大数据分析、数据仓库等技术。

泰迪智能科技·2023-11-16 19:23

天津市专业大数据培训班，大数据就业岗位的多样性

大数据就业岗位多样大数据培训所涉及的就业岗位有数据工程师、数据仓库工程师、数据分析师、大数据架构师、等。

qq_38453958·2023-11-16 15:24

火山引擎ByteHouse：4000字总结，Serverless在OLAP领域应用的五点思考

作为一款火山引擎推出的云原生数据仓库，ByteHo

字节数据平台·2023-11-16 12:16

Databend 与海外某电信签约：共创海外电信数据仓库新纪元

为什么选择Databend海外某电信面临的主要挑战是随着业务量的增加，传统的Clickhouse+Hive方案在数据存储和处理上开始显露不足。原来的大数据分析采用的Clickhouse+Hive方案进行离线的实时报表。但随着业务量的上升后，Hive的数据存储压力变大，且Hive缺乏索引设计，导致存储压力巨大，每天需要进行大量的中转和数据比对工作。同时Clickhouse随着业量上升后单机已经扩容到

Databend·2023-11-16 07:49

Flink 1.12的CDC

基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。

'煎饼侠·2023-11-15 19:56

数据仓库入门简介

一，数组仓库介绍数据仓库（英语：DataWarehouse，简称数仓、DW）是一个为数据分析而设计的企业级数据管理系统。它旨在支持企业决策过程中的数据分析和业务智能。

浮生夢·2023-11-15 17:12

企业级数据仓库是什么

一、数据仓库定义简单理解：数据仓库就是整合多个数据源的历史数据进行细粒度的、多维的分析，帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。

靠谱杨·2023-11-15 17:10

10月客户文章盘点——累计IF 141.5

凌恩生物以打造国内一流生物公司为目标，在科研测序领域深耕不辍，吸纳多名在生物信息高级技术人员的加盟，参与并完成多个高科技项目。

SHANGHAILINGEN·2023-11-15 15:01

大数据清洗、转换工具——ETL工具概述

ETL的实现架构但在数据仓库中，ETL有几个特点，一是数据同步，它不是一次性倒完数据就拉到，

阿拉伯梳子·2023-11-15 15:54

Hive数据仓库建模

1、基于Hive数据仓库建模数据仓库的发展大致经历了这样的三个过程：报表——>集市——>仓库简单报表阶段：这个阶段，系统的主要目标是解决一些日常的工作中业务人员需要的报表，以及生成一些简单的能够帮助领导进行决策所需要的汇总数据

小洲C·2023-11-15 10:01

hive olap 数据仓库_我在hive上搭建数据仓库

一般将hive作为大数据中离线数据的存储，并把hive作为构建数据仓库的环境。可我们也要了解一个事实，hive不支持行级操作，无法像RMDB那样进行updata、delete，add操作。

weixin_39875192·2023-11-15 10:00

Hive中的数据分层

理论上一般分为三个层：ODS数据运营层、DW数据仓库层、ADS数据服务层。基于这个基础分层之上，再提交信息的层次，来满足不同的业务需求。

小申.·2023-11-15 10:54

Hive 数据仓库

Hive数据仓库1什么是数据仓库数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。

Lv_Hulk·2023-11-15 10:23

大数据管理与分析第六章 Hive和数据仓库

Hive和数据仓库数据仓库和OLAP数据仓库是独立的数据仓库多层架构Hive基本工作原理Hive的组成模块Hive的数据模型数据的物理分布数据仓库和OLAP定义：数据仓库是一个面向主题的、集成的、时变的

黄昏贩卖机·2023-11-15 10:22

Hive数据仓库基础知识

2数据库三范式2.1首先看第一范式(1NF):2.2第二范式(2NF)2.3第三范式(3NF)3维度建模模型3.1星型模型和雪花模型3.1.1星型模型3.1.2雪花模型4数据仓库分层设计1事实表、维度表首先我们来看两个名词

赵广陆·2023-11-15 10:20

数据湖架构

与传统的数据仓库不同，数据湖采用扁平化结构，将数据存储在原始形式下，不需要进行预处理或转化。这使得数据湖能够同时支持多种分析和处理方式，包括机器学习、数据挖掘、ETL等。

溟有常青木·2023-11-15 07:47

大数据调度系统对比

0.前言有了数据平台，有了数据仓库，那就需要一个系统来调度和管理数仓的任务，因此调度系统的地位可见之重要。

Impl_Sunny·2023-11-14 21:01

数据仓库笔记

目录第二章数据仓库第三章数据预处理第四章特征化和区分数据挖掘第五章关联规则挖掘第六章分类挖掘第七章聚类挖掘第二章数据仓库1、B树索引考题：为何B树等在数据库中广泛使用的索引技术无法直接被引入数据仓库？

0xac001d09·2023-11-14 15:28

数据仓库基础信息

数据仓库数据仓库概述什么是数据库什么是数据集市什么是数据仓库数据仓库和数据库的对比什么是数据湖数据存储架构数据处理工具聚焦如何把数据搬到湖里关注如何对湖中的数据进行分析、挖掘、利用数据湖和数据仓库的对比数据仓库的特点数据仓库是集成的数据仓库的数据是稳定的

daladalabao·2023-11-14 11:50

BI系统是如何进行数据分析的？

现在的BI系统可以对接很多类型的数据仓库，大大提高了效率。下一步就是找到可能影响数据质量的问题，消除错误和重复数据，这在Smartbi中可以很容易实现，建立自助数据集即可。

思迈特Smartbi·2023-11-14 10:44

数据库理论 —— 数据库设计六大范式

前言笔者遇到范式是在数据仓库建模时，以前对范式的理解比较浅显，且只了解前三范式，对后面三个范式并不了解，趁此机会和大家一起把其他范式学习下。

扫地增·2023-11-14 10:24

推荐频道

数据仓库高级技术