数据中台数据仓库第5页

数据中台第3章：数据中台建设与架构

1持续让数据用起来的价值框架数据中台作为整个企业各个业务所需数据服务的提供商，通过自身的平台能力和业务对数据的不断滋养（业务数据化），会形成一套高效可靠的数据资产体系和数据服务能力（数据资产化和资产服务化

扎西的德勒·2024-01-28 17:43

关于hive 的迁移之表结构批量迁移

image.png我们在做数据治理数据仓库的时候，集群数据迁移时必不可少的一项，因为什么呢，比如1刚开始集群搭在亚马逊aws，几十万美金的创业红包用完了，差不多三四个月，2aws的小规模集群也有900TB

Helen_Cat·2024-01-28 16:44

Hive面试题精选！附答案！！！

HIVE面试一、Hive的基本概念1.什么是hiveHive是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库，它定义了简单的类似SQL的查询语言，称为HQL，允许熟悉SQL的用户查询数据

yhy_only·2024-01-28 07:36

hive面试题总结（大数据面试）

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。

404个问号·2024-01-28 07:02

hive面试题

0.思维导图1.简述Hive♥♥ 我理解的，hive就是一款构建数据仓库的工具，它可以就结构化的数据映射为一张表，并且可以通过SQL语句进行查询分析。

韩顺平的小迷弟·2024-01-28 07:29

常见OLAP对比

Olap（On-lineAnalyticalProcessing，联机分析处理）：是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。

不加班程序员·2024-01-28 00:34

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。

UI设计前端开发一线员工·2024-01-27 19:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus

IT民工金鱼哥·2024-01-27 18:29

银行数据仓库体系实践（11）--数据仓库开发管理系统及开发流程

数据仓库管理着整个银行或公司的数据，数据结构复杂，数据量庞大，任何一个数据字段的变化或错误都会引起数据错误，影响数据应用，同时业务的发展也带来系统不断升级，数据需求的不断增加，数据仓库需要不断的升级和维护

南极找南·2024-01-27 08:51

银行数据仓库体系实践（10）--汇总指标层和集市模型设计

建立多层次的数据访问服务体系，有力提升数据仓库的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口，满足不同类型应用的需要。

南极找南·2024-01-27 08:21

银行数据仓库体系实践（8）--主数据模型设计

主数据区域中保留了数据仓库的所有基础数据及历史数据，是数据仓库中最重要的数据区域之一，那主数据区域中主要分为近源模型区和整合（主题）模型区。上一节讲到了模型的设计流程如下图所示。

南极找南·2024-01-27 08:36

赋能未来社区：数据中台智慧园区的全方位解决方案_光点科技

数据中台作为企业数字化转型的核心，正引领着智慧园区的发展趋势。一个集成了数据中台的智慧园区，不仅能有效地整合资源，优化管理流程，还能为园区企业和居住人群提供更加智能、便捷的服务体验。

光点数据治理·2024-01-27 06:09

Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》

　Laurence·2024-01-27 06:54

【技术预研】StarRocks官方文档浅析（2）

参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析

偏振万花筒·2024-01-27 06:16

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL

yuyuyuyo·2024-01-27 05:53

企业数据仓库环境

企业数据仓库环境企业数据仓库(EDW)是从普通数据仓库演变而来的，它们已在上篇文章中进行了描述。企业数据仓库试图表示组织的所有业务数据及其业务规则，而不是将重点放在单个主题域进行分析。

DataVault善哉·2024-01-27 00:04

Hive调优策略

Hive调优策略Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。

奋斗的蛐蛐·2024-01-26 23:24

MySQL技术探究（1）「索引技术」体验前所未有的技术探险，看穿索引的本质和技术体系（上篇）

数据库类型OLAP：联机分析处理----对海量历史数据进行分析，产生决策性的策略----数据仓库—HiveOLTP：联机事务处理----要求很短时效内返回对应的结果----数据库—关系型

洛神灬殇·2024-01-26 22:26

携程Redis多数据中心双向同步实践

【中台实践】华为大数据中台架构分享.pdf华为的数字化转型方法论华为如何实施数字化转型（附PPT）超详细280页Docker实战文档！开放下载华为大数

公众号:肉眼品世界·2024-01-26 21:00

数据仓库现代化和迁移解决方案Datametica

Datametica利用自动化将数据/工作负载/ETI/分析迁移到云，从而为企业提供支持。Datametica是一家通过建立数据湖来帮助企业实现数据平台现代化的公司，该数据湖安全地保存结构化和非结构化数据。随着企业数据湖从各种来源收集大量数据，需要利用信息并帮助做出更明智的业务决策。Datametica通过使用大数据技术和独特的自动化技术建立数据湖来帮助企业，这有助于以更快的速度和更低的成本完成该

weixin_30777913·2024-01-26 20:20

数据中台搭建之安装JDK，zookeeper，kafka

1.背景接上篇博客搭建数据中台之安装mysql，在此基础上安装其他环境2.准备上传包到主节点上3.解压、安装、修改配置文件3.1解压JDKtar-xvfjdk-8u181-linux-x64.gz3.2

CayongL·2024-01-26 20:20

使用JAVA写一个数据中台

要使用Java写一个数据中台，你需要完成以下步骤：确定数据中台的目的：数据中台通常用于整合、管理和分析数据。

长野君·2024-01-26 20:20

数据中台架构原理与开发实战：构建数据中台的步骤与方法

1.背景介绍数据中台概述数据中台（DataCentral）是一个集成不同的数据源、数据清洗、数据转换、数据分析等工具为用户提供数据服务的多样化平台。

OpenChat·2024-01-26 20:15

ERD-ONLINE 免费在线数据库建模工具

ERD-ONLINE说明功能特点ERD-ONLINE是一款在线协作数据仓库设计软件，无需本地安装应用程序，在线操作数据库，是桌面数据建模工具的一个优秀的替代方案。

ERD Online·2024-01-26 14:02

用户画像项目背景

1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统（1）数据仓库：加快数据的分析和查询数据仓库分层：ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层

祈愿lucky·2024-01-26 13:20

数据中台的护城河，基于Flink实时构建数据仓

数据中台的护城河：基于Flink实时构建数据仓在数字化时代，数据已经成为企业的重要资产之一。为了更好地利用数据资源，许多企业都建立了自己的数据中台。

UI设计前端开发一线员工·2024-01-26 08:38

第2章信息技术发展——2.1 信息技术及其发展

软件定义网络3.第五代移动通信技术2.1.3存储和数据库1.存储技术2.数据结构模型1)层次模型2)网状模型3)关系模型3.常用数据库类型1)关系型数据库2)非关系型数据库3)不同存储方式数据库的优缺点4.数据仓库

Mrlibai·2024-01-26 07:06

【获奖案例巡展】信创先锋之星——云上贵州信创工程中心大数据中台

为表彰使用大数据、人工智能等基础软件为企业、行业或世界做出杰出贡献和巨大创新的标杆项目，星环科技自2021年推出了“新科技星力量”星环科技科技实践案例评选活动，旨在为各行业提供更多的优秀产品案例，彰显技术改变世界的力量，目前已成功举办两届，收到了来自各界的积极参与。第二届星环科技科技实践案例评选活动新增了“年度信创先锋之星”，经过产业界、学术界专家联合评审，最终评选出了“年度信创先锋之星”、“年度

星环科技·2024-01-26 07:39

深度干货｜谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析

文/李少锋阿里云瑶池旗下的云原生数据仓库AnalyticDBMySQL版是基于湖仓一体架构打造的实时湖仓。本文将分享AnalyticDBMySQLSpark助力构建低成本数据湖分析的最佳实践。

阿里云瑶池数据库·2024-01-26 06:57

Docker安装Clickhouse详细教程

简介ClickHouse是一种列式数据库管理系统，专门用于高性能数据分析和数据仓库应用。它是一个开源的数据库系统，最初由俄罗斯搜索引擎公司Yandex开发，用于满足大规模数据分析和报告的需求。

AscendKing·2024-01-26 01:13

大数据｜Spark介绍

前文回顾：Hive和数据仓库目录为什么会有SparkSpark的基本架构和组件主要体系结构和组件Spark集群的基本结构Spark系统的基本结构Spark应用程序的基本结构Spark程序运行机制⭐️Spark

啦啦右一·2024-01-25 21:08

sqoop之hive数据仓库和oracle数据库数据转换

1sqoop简介1.1什么是sqoop？sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个

Summer_1981·2024-01-25 20:37

三层架构到DDD分层架构的演变

数据访问层业务接口层：主要是API的定义，包括资源路径定义、请求报文接受、响应报文返回、请求编码等定义的内容；业务逻辑层：主要做业务逻辑处理，这一层包括数据映射DTO转VO，业务核心逻辑编写，组合不同数据仓库

rickJinzhu·2024-01-25 19:59

银行数据仓库体系实践（7）--数据模型设计及流程

数据仓库作为全行或全公司的数据中心和总线，汇集了全行各系统以及外部数据，通过良好的系统架构可以保证系统稳定性和处理高效性，那如何保障系统数据的完备性、规范性和统一性呢？

南极找南·2024-01-25 17:51

银行数据仓库体系实践（5）--数据转换

数据转换作业主要是指在数据仓库内的结构化数据批量加工，对于非结构化数据以及在线查询接口、数据流的开发主要是遵循代码开发规范以及各中间件的开发规范，如使用java来开发遵守java开发规范，使用Kafka

南极找南·2024-01-25 17:21

银行数据仓库体系实践（6）--调度系统

调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，为不互相影响可以和交易类系统独立分开

南极找南·2024-01-25 17:19

白话文讲数据仓库系统

标准的数据仓库系统一般包含四层：ETL层、数据仓库层、数据集市层、应用展现层。数据其实本质上就是一种虚拟商品。数据仓库系统实现的就是将虚拟的商品（数据）从原材料到成品售卖的过程。

江边蚊子·2024-01-25 15:23

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。

Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。

程序员三木·2024-01-25 14:17

数据中台：数字化转型的加速器_光点科技

然而，数据的价值依赖于其管理和利用的有效性，这正是数据中台发挥不可替代作用的环节。数据中台：数字化转型的核心资产数据中台，这一概念近年来在业界获得了广泛关注。它不仅是一个

光点数据治理·2024-01-25 14:15

如何避免数据仓库项目失败

什么是数据仓库？在深入研究不同的数据仓库概念之前，了解数据仓库的实际含义非常重要。数据仓库通常被认为是商业智能系统，旨在帮助满足业务实体的日常报告需求。

国强_dev·2024-01-25 14:32

为什么需要数据仓库

OLTP环境也会存储历史数据，但这些历史数据并不是业务运行所需的，这些历史数据需要经常归档到数据仓库，并且在OLTP数据库中删除。

howard_shooter·2024-01-25 13:46

【技术预研】StarRocks官方文档浅析（1）

参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析

偏振万花筒·2024-01-25 12:37

数据库基础知识以及mysql的安装步骤

（数据仓库）数据：描述事务的符号记录，包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式，它们都可以经过数字化后存入计算机。数据库：数据仓库。

匿名好友657·2024-01-25 10:44

Hudi学习笔记(一)

学习目标什么是数据湖为什么使用数据湖Hudi基本功能如何编译Hudi源码Hudi与Spark集成管理Hudi中COW和ROW不同类型表功能Hudi的三种查询方式Hudi中不同表数据写入流程数据仓库数据仓库是一个用于存储

一一|一一一亅·2024-01-25 09:37

StarRocks本地部署

介绍StarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。

keyson R·2024-01-25 06:14

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

小猪Harry·2024-01-25 05:09

基于大模型(LLM)的数据仓库

数据仓库作为企业数据存储和管理的重要基础设施，其运维和管理面临着越来越多的挑战。如何构建一个高效、智能的数据仓库，成为了运维开发人员关注的焦点。

百度_开发者中心·2024-01-24 16:14

从数据处理到规模化应用

为了满足这一需求，许多组织开始转向数据仓库来提供稳定、高效的数据存储和处理能力。HashData等现代数据仓库解决方案的出现，为大模型的规模化应用提供了新的可能性。