数据湖数据仓库第4页

2022年最新数据库经典面试题及答案汇总（含PostgreSQL、Oracle、MySQL）

MoMoSQL666·2024-02-01 02:44

数据库基础理论

（数据仓库）数据：描述事务的符号记录，包含但不限于数字、文字、图形、图像、声音、语言等。数据有多重形式，它们都可以经过数字化后存入计算机。数据库：数据仓库。

sour moon·2024-02-01 00:59

火山引擎ByteHouse：分析型数据库如何设计列式存储

作为云原生数据仓库的ByteHouse，也采用列式存储设计，保证读写性能、支持事务一致性，又适用大规模的数据计算，为用户提供极速分析体验和海量数据处理能力，提升企业数字化转型能力。

字节数据平台·2024-01-31 22:37

spark从入门到放弃三十九:Spark Sql(12)SparkSql工作原理以及性能优化

http://www.haha174.top/article/details/2570731工作原理1.大家都知道，只要在数据库类型的技术里面，比如,最传统的mysql,Oracle包括现在大数据领域的数据仓库如

意浅离殇·2024-01-31 20:42

饿了么元数据管理实践之路

元数据定义与价值元数据打通数据源、数据仓库、数据应用，记录了数据

weixin_34113237·2024-01-31 20:57

Apache Paimon 介绍

FlinkTableStore是一个数据湖存储，用于实时流式Changelog写入(比如来自FlinkCDC的数据)和高性能查询。它创新性

zhisheng_blog·2024-01-31 15:58

数据湖技术Iceberg0.12预研文档

Iceberg0.12预研本次预研场景主要为kafka=>flinksql=>iceberg=>hive=>hdfs=>trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2中cdh6.3.2开源版本hive2.3.7包含cdh中（更换jar升级替换）hadoop3.0.0cdh原生版本presto2.591开源版本trino36

我去探险了·2024-01-31 15:36

【技术预研】StarRocks官方文档浅析（3）

参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析

偏振万花筒·2024-01-31 15:02

如何通过Hive/tez与Hadoop的整合快速实现大数据开发

一、Hive的功能Hive是基于Hadoop的一个外围数据仓库分析组件，可以把Hive理解为一个数据仓库，但这和传统的数据库是有差别的。

小枫@码·2024-01-31 08:00

Apache Doris 2.0.4 版本正式发布

亲爱的社区小伙伴们，ApacheDoris2.0.4版本已于2024年1月26日正式发布，该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新，使ApacheDoris能够适配更广泛的场景。

SelectDB技术团队·2024-01-31 03:38

Apache Paimon基础记录

基本都是在官网的学习，简单记录一下其中的核心特点ApachePaimon官网ApachePaimon|ApachePaimon根据官网介绍去快速了解paimon是用来设计做什么，可以做什么，对比与其他数据湖有什么特点

orange大数据技术探索者·2024-01-30 20:07

银行数据仓库体系实践（13）--数据应用之监管报送

1、监管报送概览：我国各类银行已达到4000家左右，管理着亿万资产，已经成为我国金融体系的重要组成部分，它的稳定运行关乎到国家经济走势，关系到每个居民的生活。那在我国金融体系中，银行的主要管理者有人行和银保监会：（1）中央人民银行是中华人民共和国国务院组成部门。主要职责是制定和执行货币政策，防范和化解金融风险，维护金融稳定。（2）中国银行保险监督管理委员会（简称银保监会）是国务院直属事业单位，其主

南极找南·2024-01-30 18:18

银行数据仓库的架构

1.数据仓库的定义官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。这个定义的确官方，但是却指出了数据仓库的四个特点。

specila_coder·2024-01-30 18:46

银行数据仓库体系实践（15）--数据应用之巴塞尔新资本协议

巴塞尔新资本协议介绍在银行管理中经常会听到巴3、新资本协议等专用词，那这都是指《巴塞尔资本协议》，全称《关于统一国际银行资本衡量和资本标准的协议》。新资本协议的五大目标是：促进金融体系的安全性和稳健性（保持总体资本水平不变）；继续促进公平竞争；更全面地反映风险；更敏感地反映银行头寸及其业务的风险程度；重点放在国际活跃银行，基本原则适用于所有银行。最新的《巴塞尔协议III》（第3版）于2010年9月

acumen_leo·2024-01-30 18:45

数据仓库实践杂谈（十八）——关于报表

全量第十章：拉链处理第十一章：分布式处理增量第十二章：列式存储第十三章：逻辑数据模型（数仓模型）第十四章：数据模型参考第十五章：维模型第十六章：渐变维第十七章：数据回滚第十八章：关于报表第十九章：数据挖掘数据仓库实践杂谈

老程序员一叶知秋·2024-01-30 18:45

银行数据仓库体系实践（14）--数据应用之内部报表及数据分析

在银行日常经营中，每个部门、分支行随时随地都需要进行数据统计和分析，才能对银行当前业务状况及时了解，以进行后续经营策略、营销活动、风险策略的调整和决策。那在平时进行数据分析时除了各数据应用系统（如各类监管报表系统、财务系统、营销系统等）进行专门的数据加工和操作，主要还有报表和自助分析2种方式来分析数据，支持业务运行。1、统计报表统计报表是最常用的数据分析方式，按业务需求中确定的维度和属性进行数据加

南极找南·2024-01-30 18:13

程序人生系列1-2021年通过私活累积收益1.5w

博主在B站更新了接私活的视频，感兴趣的可以移步到我的B站:博主私活记录一.个人介绍 2011年毕业，计算机专业科班出身，10年及以上金融信贷、通信行业数据库运维管理、数据仓库及大数据相关工作经验，持有

只是甲·2024-01-30 15:51

我是职场小白，如何能够平稳度过试用期？

背景2022整年可能大家在各个信息平台都有看到应届、试用期毕业（cy）情况，收集不少信息后发现数据这边毕业的也不少，尤其是数据分析/数据仓库侧（由于业务线被砍，人员使用成本太高），本节课针对于试用期该如何卷赢其他人

语兴数据·2024-01-30 15:32

数仓建设学习路线（五）-数据质量保障

数据质量，意如其名，就是数据的准确性，他是数据仓库的基石，控制好数据质量，是做数据仓库基本要求，也使得下游业务方对数据用的放心数据质量的痛点有哪些数据问题该如何上报修复，缺少流程化数据链路缺少卡点保障

语兴数据·2024-01-30 15:00

Hive原理

下表描述每个单元：单元名称操作用户接口/界面Hive是一个数据仓库基础工具软件，

姚兴泉·2024-01-30 09:03

银行数据仓库体系实践（12）--数据管理及治理

数据仓库作为全行数据中心能高效支持全行或全公司的统计、数据分析工作，除了稳定的ETL架构、高效的数据处理能力，流畅的开发管理流程，还需要有全面的数据管理体系，确保提供的数据准确性和高质量。

南极找南·2024-01-30 06:56

ClickHouse基础介绍

而在采集数据过程中，一次页面click,会产生一个event——基于页面点击事件流，面向数据仓库

oldba.cn·2024-01-30 05:06

1.ClickHouse的基础介绍

一、ClickHouse基础介绍1.1介绍ClickStream,DataWarehouse点击流数据仓库在采集数据过程中，一次页面click,会产生一个event。

oldba.cn·2024-01-30 05:35

数据湖技术之平台建设篇2

数据湖技术之平台建设篇1，主要介绍了湖仓平台建设的前三个主要工作，本次主要继续上次的建设工作介绍，聊一聊一站式湖仓服务平台的相关管理能力建设以及针对小文件的处理。

风筝Lee·2024-01-29 16:35

数据湖技术之应用场景篇

数据湖技术有较多的应用场景，本篇文章是针对一些典型的痛点场景做了一些介绍和说明。

风筝Lee·2024-01-29 16:04

5000多张数据表，如何用SQL迁移到数据仓库？

来自公众号：SQL数据库开发作者丶平凡世界需求背景最近公司打算集中梳理几大业务系统的数据，希望将各个业务系统中的数据集中到数据仓库中。

码农小光·2024-01-29 15:33

数据仓库 (Data Warehouse，DW)

目录1、基本概念2、数据仓库特点2.1面向主题SubjectOriented2.2集成Integrated2.3非易失Non-Volatile2.4反应历史变化TimeVariant3、数据仓库VS数据库

猿来孺词·2024-01-29 10:25

数据仓库模型设计：从架构到实践的全方位指南

数据仓库作为组织中管理和分析数据的关键平台，其建设规范对于确保数据的准确性和完整性至关重要。一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。

猿来孺词·2024-01-29 10:51

【美团】交易系统平台-数据仓库研发工程师

更新时间：2024/01/28｜工作地点：北京市｜事业群：到家事业群｜工作经验：3年部门介绍到家研发平台秉承“零售+科技”战略，致力于推动餐饮、零售需求侧和供给侧数字化升级，构建了超大规模的在线交易平台和实时调度系统，保障了百万商家和亿级用户的高效安全交易，实现了对百万骑手所在物理世界全链路的数字化。随着万物到家业务战略推进，我们在需求侧致力于通过大数据与大算力深度融合，建设强大的LBS零售电商系

探小虎·2024-01-29 08:53

[架构之路-255]：目标系统 - 设计方法 - 软件工程 - 软件设计 - 架构设计 - 软件架构风格：串行-数据流风格、同步调用返回风格、并行异步分发与接收风格、虚拟机风格、数据仓库风格

目录前言：一、建筑风格1.1什么是建筑风格1.2常见的建筑风格1.3如何区分不同的建筑风格二、软件架构风格概述2.1什么是软件架构风格2.2如何区分不同的软件架构风格2.3软件架构风格的发展阶段2.4软件架构风格与软件架构的区别2.5常见的软件架构风格的种类1.8复杂软件系统可以组合多种架构风格二、常见的软件架构风格详解2.1A-串行-数据流风格：适合数据面业务处理（数据面）（1）A-串行-数据流

文火冰糖的硅基工坊·2024-01-29 00:25

数据湖技术之核心特性篇

引入数据湖技术，可以更好的演进整体架构模式，形成一套湖仓一体的模式。

风筝Lee·2024-01-28 18:58

数据湖技术之平台建设篇1

一.建设思路在原有平台基础上，融合数据湖技术，提供统一、完善的湖仓能力，逐步实现湖仓一体、流批一体的最终模式。

风筝Lee·2024-01-28 18:58

数据湖技术之发展现状篇

一.大数据处理架构：大数据处理架构的发展过程具体可以分为三个主要阶段：批处理架构、混合处理架构（Lambda、Kappa架构）、湖仓一体。首先是随着Hadoop生态相关技术的大量应用，批处理架构应运而生，借助离线计算引擎的能力很好的满足了业务对大规模数据分析处理场景的需求。随着业务场景越来越多样化，对数据实效性方面有了更高的要求，诞生了一些新的架构模式，比如说Lambda、Kappa等，很好的解决

风筝Lee·2024-01-28 18:56

关于hive 的迁移之表结构批量迁移

image.png我们在做数据治理数据仓库的时候，集群数据迁移时必不可少的一项，因为什么呢，比如1刚开始集群搭在亚马逊aws，几十万美金的创业红包用完了，差不多三四个月，2aws的小规模集群也有900TB

Helen_Cat·2024-01-28 16:44

Hive面试题精选！附答案！！！

HIVE面试一、Hive的基本概念1.什么是hiveHive是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库，它定义了简单的类似SQL的查询语言，称为HQL，允许熟悉SQL的用户查询数据

yhy_only·2024-01-28 07:36

hive面试题总结（大数据面试）

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。

404个问号·2024-01-28 07:02

hive面试题

0.思维导图1.简述Hive♥♥ 我理解的，hive就是一款构建数据仓库的工具，它可以就结构化的数据映射为一张表，并且可以通过SQL语句进行查询分析。

韩顺平的小迷弟·2024-01-28 07:29

常见OLAP对比

Olap（On-lineAnalyticalProcessing，联机分析处理）：是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。

不加班程序员·2024-01-28 00:34

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。

UI设计前端开发一线员工·2024-01-27 19:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus

IT民工金鱼哥·2024-01-27 18:29

银行数据仓库体系实践（11）--数据仓库开发管理系统及开发流程

数据仓库管理着整个银行或公司的数据，数据结构复杂，数据量庞大，任何一个数据字段的变化或错误都会引起数据错误，影响数据应用，同时业务的发展也带来系统不断升级，数据需求的不断增加，数据仓库需要不断的升级和维护

南极找南·2024-01-27 08:51

银行数据仓库体系实践（10）--汇总指标层和集市模型设计

建立多层次的数据访问服务体系，有力提升数据仓库的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口，满足不同类型应用的需要。

南极找南·2024-01-27 08:21

银行数据仓库体系实践（8）--主数据模型设计

主数据区域中保留了数据仓库的所有基础数据及历史数据，是数据仓库中最重要的数据区域之一，那主数据区域中主要分为近源模型区和整合（主题）模型区。上一节讲到了模型的设计流程如下图所示。

南极找南·2024-01-27 08:36

【技术预研】StarRocks官方文档浅析（2）

参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析

偏振万花筒·2024-01-27 06:16

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL

yuyuyuyo·2024-01-27 05:53

企业数据仓库环境

企业数据仓库环境企业数据仓库(EDW)是从普通数据仓库演变而来的，它们已在上篇文章中进行了描述。企业数据仓库试图表示组织的所有业务数据及其业务规则，而不是将重点放在单个主题域进行分析。

DataVault善哉·2024-01-27 00:04

Hive调优策略

Hive调优策略Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。

奋斗的蛐蛐·2024-01-26 23:24

MySQL技术探究（1）「索引技术」体验前所未有的技术探险，看穿索引的本质和技术体系（上篇）

数据库类型OLAP：联机分析处理----对海量历史数据进行分析，产生决策性的策略----数据仓库—HiveOLTP：联机事务处理----要求很短时效内返回对应的结果----数据库—关系型

洛神灬殇·2024-01-26 22:26

数据仓库现代化和迁移解决方案Datametica

Datametica是一家通过建立数据湖来帮助企业实现数据平台现代化的公司，该数据湖安全地保存结构化和非结构化数据。随着企业数据湖从各种来源收集大量数据，需要利用信息并帮助做出更明智的业务决策。

weixin_30777913·2024-01-26 20:20

数据中台架构原理与开发实战：构建数据中台的步骤与方法

它可以对业务数据进行收集、加工处理、存储、分析，为各个部门提供简单有效的数据服务，包括数据仓库、数据湖、数据应用平台等。

OpenChat·2024-01-26 20:15

推荐频道

数据湖数据仓库