数据仓库数据中台数据湖第26页

【软考系统架构设计师】2023年系统架构师冲刺模拟习题之《数据库系统》

在数据库章节中可能会考察以下内容：文章目录数据库完整性约束数据库模式ER模式关系代数并发控制数据仓库与数据挖掘反规范化技术数据库完整性约束不能用作数据完整性约束实现技术的是（）A、实体完整性约束B、触发器

小曾同学.com·2023-10-27 22:14

JSQLParser 解析复杂sql （表别名、字段与表对应关系）

https://blog.csdn.net/m0_54892309/article/details/129615905增加了对于嵌套SQL语句的解析，并改进了相关代码~~~正文：最近在搞一个公司自研的数据中台项目

醒盼梦惜忆甚悠·2023-10-27 19:44

数据仓库系列之ETL过程和工具

在维度建模中我们已经了解数据仓库中的维度建模方法以及基本要素，在这篇文章中我们将学习了解数据仓库的ETL过程以及实用的ETL工具。一、什么是ETL？

小黎子数据分析·2023-10-27 16:54

从数据仓库到数据中台，终于有人说清楚了

作者简介：王春波，《高效使用Greenplum：入门、进阶和数据中台》作者，“数据中台研习社”号主，十年数据开发从业者，资深零售数仓项目实施专家。

蚂蚁_8173·2023-10-27 12:25

使用FLINK SQL从savepoint恢复hudi作业（flink 1.13）

flink-savepoint介绍接下来我们从FlinkSQLClient构建一个mysqlcdc数据经kafka入hudi数据湖的例子。

BigDataToAI·2023-10-27 11:28

Linux安装Mycat1.6.7.6实现Mysql数据库读写分离

可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQLServer结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品一个新颖的数据库中间件产品官网

GeekXuShuo·2023-10-27 09:36

又是第一！GBASE南大通用蝉联中国分析型数据库管理系统市场TOP1

在分析型数据库市场，GBASE自主研发的分布式逻辑数仓GBase8aMPPCluster与国外主流的数据仓库产品在金融、电信等领域同台竞技，技术实力领先，已在人民银行、中国农业银行总行、招商银

GBASE数据库·2023-10-27 08:47

数据仓库Hive

区别Hive部署以及快速入门HIveDDL详解HiveDML详解MapReduce编程的不便性传统RDBMS人员的需求由Facebook开源，用于解决海量结构化日志的数据统计问题构建在Hadoop之上的数据仓库

V_6619·2023-10-27 07:43

hive笔记

Hive介绍：1.sql2.udf官网：hive.apache.org由Facebook提出的开源=》去解决海量结构化数据的数据统计问题构建在hadoop之上的数据仓库hdfs：hive的数据是存储在hdfs

qq_47721411·2023-10-27 04:41

详解数据仓库建设体系

数据仓库的基本概念数据仓库概念:英文名称为DataWarehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（DecisionSupport）。

000X000·2023-10-27 02:00

数据仓库详解

什么是数据仓库？数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。

wzcwangxiaozhang·2023-10-27 02:28

万字详解数据质量那些事儿

在数据仓库建设的过程当中，大家是否会有这样的疑问:1）数仓分层模型是否需要严格遵守2）照本宣科建设的数仓貌似不好用3）如何评判一个数仓建设的质量好坏4）我的数据仓库还能做怎样的升级我们该如何解决这些问题

大数据兵工厂·2023-10-27 02:27

详解数据中台的底层架构逻辑

公众号回复'架构'获取架构师电子书及视频课程数据中台到底是什么，几年过去了，也一直众说纷纭。笔者认为数据中台不应该是一个单纯的系统或者是一个软件工具，而应该是一套架构、一套数据流转模式。

公众号:ITIL之家·2023-10-27 02:27

详解如何在数仓中管理元数据

‍‍‍‍大家好，元数据管理是企业数据治理的基础，是数据仓库建设的关键。作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及实践工具。

大数据技术派·2023-10-27 02:54

云数据仓库实践：AWS Redshift在大数据储存分析上的落地经验分享

本文已收录于PHP专栏：数据库与数据仓库欢迎点赞✍评论⭐收藏文章目录一、关于数据仓库1.1数据整合与一致性1.2支持复杂查询和分析1.3提高决策支持能力二、AWSRedshift的特点2.1高性能2.2

黑夜开发者·2023-10-27 02:22

Hudi数据湖-基于Flink、Spark湖仓一体、实时入湖保姆级教学

目录Hudi源码编译Hudi扫盲基于Spark-shell集成Hudi基于Spark-Hive集成Hudi手动创建HIVE表基于SparkSQL集成Hudi自动创建HIVE表基于FlinkSQL集成Hudi基于FlinkSQL-HIVE集成Hudi手动创建HIVE表基于FlinkSQL集成Hudi-自动创建Hive表基于FlinkCDC采集MySQL写入Hudi基于FlinkCDC采集Postgr

笑一笑、·2023-10-27 01:04

Hudi的介绍与安装编译

Hudi的介绍安装Maven编译Hudi执行编译Hudi的介绍Hudi简介Hudi（HadoopUpsertsDeleteandIncremental）是下一代流数据湖平台。

open_test01·2023-10-27 01:31

Hive简介及核心概念

1.简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。

shangjg3·2023-10-27 01:55

【kafka技术篇】kafka数据到底会不会丢失？

博主介绍‍博主主页：淼淼_喵的博客_CSDN博客-Zookeeper,Hadoop,大数据技术领域博主✨主攻领域：【大数据开发】【数据仓库】【ETL】【数据分析】【面试分析】点赞➕评论➕收藏==养成习惯

chad__chang·2023-10-27 01:49

数据流程data pipeline, 2022-08-16

(2022.08.16Tues)数据流程是一种将数据从不同的原始数据源收集和引入到数据存储(如数据湖、datawarehouse)并用于数据分析等工作的方法。

Mc杰夫·2023-10-26 22:05

大师兄的数据分析学习笔记(三十五）：总结

1.数据获取数据仓库监测与抓取用户填写日志埋点计算2.探索性数据分析与可视化2.1单因子探索分析异常值分析结构分析对比分析分布分析2.2多因子探索分析交叉分析分组分析钻取分析因子分析3.特征预处理特征使用特征获取特征处理异常值处

superkmi·2023-10-26 21:59

大数据之LibrA数据库常见术语（七）

OLAPOnlineAnalyticalProcessing，联机分析处理，是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速

红烧小肥杨·2023-10-26 19:52

Node学习笔记之MongoDB

TheDeveloperDataPlatform|MongoDB1.2为什么选择Mongodb操作语法与JavaScript类似，容易上手，学习成本低二、核心概念Mongodb中有三个重要概念需要掌握数据库（database）数据库是一个数据仓库

LL1018。·2023-10-26 16:53

数据中台01：数据中台的发展：什么是中台、什么是数据中台

一、什么是中台中台是2019年开始火起来的一个概念，它最早是由阿里在2015年提出的“大中台，小前台”战略中延伸出来的概念，灵感来源于一家芬兰的小公司Supercell——一家仅有300名员工，却接连推出爆款游戏，是全球最会赚钱的明星游戏公司。2015年年中,马云带领阿里巴巴集团高管,拜访了位于芬兰赫尔辛基的这家移动游戏公司，这家看似很小的公司，设置了一个强大的技术平台，来支持众多的小团队进行游戏

做一个有趣的人Zz·2023-10-26 15:54

技术解读：实时数仓Hologres如何支持超大规模部署与运维

简介：在本次评测中，Hologres是目前通过中国信通院大数据产品分布式分析型数据库大规模性能评测的规模最大的MPP数据仓库产品。

阿里云云栖号·2023-10-26 12:43

新一代Hologres实时数仓大揭秘

一、传统数仓痛点1）传统数据仓库痛

阿里云技术·2023-10-26 12:11

实时数仓-Hologres介绍与架构

是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库

高阳很捷迅·2023-10-26 12:37

架构设计基础

大数据团队协同各部门打造了玩个大狗魔方、大狗宝盒数据产品，提供data-center应用发力数据中台，统一数据关键路径，尽最大程度解决部门间信息屏障问题。

杭州架构师·2023-10-26 11:51

软信天成：今天的企业比以往任何时候都更需要「数据编目」

在当今的组织中，数据是多样的，分布在许多不同的部门、应用系统、数据仓库和数据湖（一些在内部，其他在云中），因此，准确地知道您拥有哪些数据和它们在哪里是一个挑战。

软信数据研究院·2023-10-26 09:28

2023 年最佳开源软件

上榜的25个软件涵盖编程语言、运行时、应用程序框架、数据库、分析引擎、机器学习库、大型语言模型(LLM)、用于部署LLM的工具等领域ApacheHudi在构建开放式数据湖或湖仓一体时，许多行业都需要一个更可发展和可变化的平台

ejinxian·2023-10-26 07:15

大数据基础---Hive（第一篇）

数据仓库—Hive文章目录数据仓库---Hive一：Hive的基本概念：1.1：Hive简介1.1.1：什么是Hive1.1.2：为什么要使用Hive呢1.1.3：Hive的特点1.2：Hive的架构：

我菜的要死·2023-10-26 06:40

Redux 数据仓库

Redux数据仓库解决React数据管理（状态管理），用于中大型，数据比较庞大，组件之间数据交互多的情况下使用。作者：如果你不知道是否需要使用Redux,那么你就不需要它！解决组件的数据通信。

九霄123·2023-10-26 05:40

打破总分行数据协作壁垒，DataOps在头部股份制银行的实践｜案例研究

从银行开始建设数据仓库至今已近20年，当前各银行机构在数据能力建设中面临诸多困扰：如何保证数据使用时的准确性？如何让数据敏捷响应业务变化？如何让更多的业务人员使用数据？

ifenxi爱分析·2023-10-26 04:17

架构风格区别-架构案例（五十九）

独立的数据仓库，处理流独立，处理数据用连接仓库工具数据与处理在一起，改动的话需要重启系统需要仓库工具与仓库连接，数据与处理分离，性能差可以支持并发连接访问仓库，提升性能面向对象和基于规则区别？

后端从入门到精通·2023-10-26 04:13

2022年全新数据仓库面试总结大全

数据仓库一、数据仓库概述首先，我们先来看下数据库、数据集市、数据仓库以及数据湖的概念。1、什么是数据库？数据库（Database）是按照一定格式和数据结构在计算机保存数据的软件，属于物理层。

蜀州凯哥·2023-10-25 16:01

阿里云云原生一体化数仓 — 数据建模新能力解读

DataWorks智能数据建模-产品建设背景2009年，DataWorks就已经在阿里巴巴集团立项，支撑阿里巴巴数据中台建设，一路见证阿里巴巴大数据建设之路。

阿里云技术·2023-10-25 14:35

数据挖掘和大数据的区别

操作对象是数据仓库，数据相对有规律，数据量较少。大数据一般指对互联网中杂乱无章的数据进行筛选、整合和分析。操作对象一般是互联网的数据，数据无规律，数据量极大。

秋不溜啾·2023-10-25 12:54

对中台的理解

中台包含业务中台和数据中台。

君之书·2023-10-25 02:54

hive知识点总结

Hive一、Hive简介什么是HiveHive由FaceBook实现并开源基于Hadoop的数据仓库工具可以将结构化的数据映射为一张数据库表并提供HQL（HiveSql）查询功能底层数据是存储在HDFS

看着天上飞的猪·2023-10-25 01:53

商业数仓的搭建【转载】

数据仓库之所以是仓库而不是工厂是因为，数仓自身不需要生产数据，也不需要消费数据，数据来自外部，并且开发给外部应用。

为祁·2023-10-24 23:21

系统架构师备考倒计时13天(每日知识点)

1.数据仓库四大特点面向主题的。操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。集成的。

Elaine猿·2023-10-24 21:17

. . . . .·2023-10-24 20:32

1024程序员节献礼，火山引擎ByteHouse带来三重产品福利

作为被程序员们日常广泛使用的工具之一，数据仓库发展历程也很悠久。云计算等技术出现以及海量数据应用场景等愈加广泛，对数据仓库也提出全新要求，高性能、实时性、云原生等成为数据仓库发展

字节数据平台·2023-10-24 17:21

【数据仓库-零】数据仓库知识体系 ing

文章目录一.数仓基本概念二.离线数仓建设方法论三.etl流程四.数仓规范建设指南四.数据仓库架构五.数据可视化通过熟悉构建数仓整体的过程，可以系统的了解数仓构建理论：能够站在全局角度看数仓的运行架构，数仓执行流程

roman_日积跬步-终至千里·2023-10-24 16:41

<官网学大数据>Hive

Hive简介Hive是简历在HadoopHDFS上的数据仓库基础架构Hive可以用来进行数据提取转化加载(ETL),通过sqoop加载数据Hive定义了简单的sql查询语言HqlHive是SQL解析引擎

kangapp·2023-10-24 16:48

Hadoop伪分布式集群笔记

解决海量数据存储YARN(作业调度和集群资源管理框架):解决资源任务调度MAPREDUCE(分布式运算变成框架):解决海量数据计算HBASE:基于hadoop的分布式海量数据库HIVE:基于hadoop的分布式数据仓库

爆炒八酱·2023-10-24 16:40

数据仓库基础（一）

数据仓库的由来？企业的日常运作，例如订单处理、会计账务、盘点存货、核对账目、保险申请等业务需要各种信息系统的支持，这些应用系统工作起来非常有效，但却局限于他们当初被设计的范围。

pageniao·2023-10-24 15:45

分布式集群上安装hive及问题解决

因为hive是数据仓库，它主要就是将执行的sql语句转化为mapreduce任务，存储结构化数据，其实数据还是存储在hdfs上的，所以依赖hadoop集群，在此我们将hive安装到master节点。

技多不压身·2023-10-24 15:10

如何搭建公司数据中台系统

为了更好地管理和利用企业的数据资产，越来越多的企业开始关注和搭建公司数据中台系统。数聚就如何打造高效的公司数据中台系统，助力企业实现数据驱动的发展这里，为企业打开数据中台系统的作用。

qingyunliushuiyu·2023-10-24 10:33

数据查询和业务流分开_阿里云大数据产品 | 大数据计算

一、MaxCompute1、MaxCompute概述MaxCompute（大数据计算服务）是是一种快速、完全托管的TB/PB级数据仓库解决方案。

weixin_39772420·2023-10-24 08:07

推荐频道

数据仓库数据中台数据湖