数据仓库数据中台数据湖第28页

举个栗く·2023-10-20 08:58

Hadoop分布式存储和计算MapReduce的使用以及Hive数据仓库等内容精讲

一，zookeeper环境搭建ZooKeeper致力于为分布式应用提供一个高性能、高可用，且具有严格顺序访问控制能力的分布式协调服务服务器IP主机名myid的值192.168.186.133vmone1192.168.186.134vmtwo2192.168.186.135vmthree3myid的值越高，被选举的几率越大！先把这三台机器分别重置主机名为vmone，vmtwo，vmthree，具体

刻苦的樊同学·2023-10-20 07:32

hive数据仓库安装与使用

第一部分：hive介绍1、hive的概念hive是基于hadoop的一个数据仓库的工具，也是数据库，存放的是历史数据，用于数据挖掘etl。

rose and war·2023-10-20 01:24

Hive3.x数仓开发

文章目录一、数仓仓库概念二、数据仓库分层架构ODS\DW\DA(ADS)ETL\ELT三、ApacheHive概述为什么使用HiveHive和Hadoop关系四、ApacheHive架构、组件组件五、ApacheHive

_七七·2023-10-20 01:24

基于Delta Lake的Upserts数据湖方案

DeltaLake是基于ApacheSpark的下一代数据湖存储引擎，支持Merge命令，可以高效的完成upsert或删除。1为什么需要Upserts?

AllenGd·2023-10-20 01:50

【Hive】（二十二）往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解

hive表中导入数据三、通过查询insert....select的形式往hive中导入数据四、使用create....as语句往hive表里装载数据五、从hive表里导出数据到文件系统一、前言往hive数据仓库的表中导入数据

云祁·2023-10-20 01:20

Hive篇面试题+详解

Hive是一个基于Hadoop的数据仓库工具，它提供了一个类SQL的查询语言（HiveQL）来查询和分析存储在Hadoop集群中的大规模数据。

Young_IT·2023-10-19 22:39

【转】数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

这个都立意到了数据中台和智能湖仓了，算是一个阶段的总结？

万州客·2023-10-19 22:56

7000字，详解仓湖一体架构！

本文转载自公众号：数据学堂全文共7110个字，建议阅读15分钟在了解湖仓一体化之前，我们先来看一则有关数据仓库的有趣故事吧~沃尔玛拥有世界上最大的数据仓库系统，它利用数据挖掘方法对交易数据进行分析后发现

浪尖聊大数据-浪尖·2023-10-19 18:09

科杰科技：基于湖仓一体架构的Hudi技术实现

一湖仓一体架构的定义和特点湖仓一体架构是一种结合数据湖和数据仓库的数据管理架构。它的核心思想是将数据湖和数据仓库合并为一个整体，实现数据的统一管理和分析。

科杰科技·2023-10-19 17:34

基于flink 的LakeHouse 2.0湖仓一体架构

基于flink的LakeHouse2.0湖仓一体架构简介Lakehouse是一种结合了数据湖和数据仓库优势的新范式，解决了数据湖的局限性。

活在风浪里~·2023-10-19 17:03

湖仓一体架构的特性

湖仓一体架构是一种数据架构模式，具有以下特性：统一存储：湖仓一体架构将数据湖和数据仓库合并为一个整体，将结构化数据和非结构化数据存储在同一个存储系统中，如Hadoop分布式文件系统（HDFS）或云存储服务

abckingaa·2023-10-19 17:55

hive往es映射表写数据报错

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

jiedaodezhuti·2023-10-19 16:59

Hive知识梳理(好文)

Hive是建立在Hadoop上的数据仓库基础构架。可以将SQL查询转换为MapReduce的job在Hadoop集群上执行。

英雄111888·2023-10-19 13:20

【数据仓库】hadoop生态圈与数据仓库

文章目录1.大数据定义2.Hadoop与数据仓库3.关系数据库的可扩展性瓶颈4.CAP理论5.Hadoop数据仓库工具5.1.RDS和TDS5.2.抽取过程5.3.转换与装载过程5.4.过程管理和自动化调度

roman_日积跬步-终至千里·2023-10-19 11:12

数据研发面经

数据仓库12.658同城面经多益网络1.数据库索引的类型包括：**唯一索引、主键索引、聚集

只会收藏他人资料的卑微嘎·2023-10-19 07:42

滴滴 OrangeFS 数据湖存储关键技术揭秘！

2015年，滴滴为解决小文件和图片的存储，成立GIFT小对象存储项目。伴随着业务不断成长，我们面临的挑战也越来越多，经历多次非结构化存储架构演进，具体如下图所示：随着公司不断发展，滴滴的业务有两个发展的趋势：云原生技术战略和新业务涌现，都给存储系统带来了新的挑战。在云原生战略中，业务的极致弹性是提高资源利用率降低成本的一个目标。保障极致弹性的基础是容器的轻量化，而要实现容器的轻量化就必须实现存算分

滴滴技术·2023-10-19 06:32

数据仓库技术

数据仓库基础数据仓库的价值数据仓库的源数据类型数据仓库的基本架构数据仓库的多维数据模型数据立方体与OLAP维（Dimension）和立方（Cube）数据仓库的基本特征数据仓库元数据管理数据仓库概述数据仓库与数据集市建模数据仓库系统的实现与使用基于

o黄裳元吉o·2023-10-19 05:49

Hadoop之MapReduce基本简介

目录1、MapReduce的基本概念2、MapReduce的工作流程3、MapReduce与Yarn5、基于数据仓库的Hive1、MapReduce的基本概念1.1基本概念Mapreduce是一个分布式运算程序的编程框架

下一秒，待续·2023-10-19 04:19

浅谈数据仓库（DW & BI）（三）

回顾一下之前的内容：#42浅谈数据仓库（DW&BI）（一）：数据仓库发展起源及概述#43浅谈数据仓库（DW&BI）（二）：粒度、存储、3NF、星型模型、雪花模型数据仓库相关内容，现在我还没有形成一个逻辑清晰的叙述思路

小杨_1858·2023-10-19 02:24

hadoop和hive、spark、presto、tez是什么关系

Hive是一个基于Hadoop的数据仓库系统，它允许用户使用SQL语言来查询和分析大型数据集。Hive通过将SQL查询转换为MapReduce任务来实现。

草履虫稽亚娜·2023-10-19 02:55

Onein Lab｜低代码重构工作流，万应工场助力企业经营管理提质增效

云畅科技作为领先的云应用智造商，所自研的核心产品万应工场拥有强大的业务建模能力、架构能力、工作流引擎支撑、应用设计能力等核心能力，包含数据中台、业务中台、AI中台、数字资产、组织架构应用设计器、运维平台

万应低代码·2023-10-19 01:39

大数据数仓搭建-大数据用户画像推荐系统搭建

老姜的数据江湖·2023-10-18 21:10

基于hive的日志数据统计实战

基于hive的日志数据统计实战一、hive简介hive是一个基于hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。

ych0108·2023-10-18 20:56

hive读取mysql日志_基于hive的日志分析系统

hive简介hive是一个基于hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。

Aviationbamboo·2023-10-18 20:25

基于Hadoop的数据仓库Hive的介绍、安装与基本应用

文章目录基于Hadoop的数据仓库Hive的介绍、安装与基本应用一、概述二、Hive系统架构三、Hive工作原理四、HiveHA基本原理五、Impala六、Hive安装七、Hive编程实战附一：管理表(

珞清殇·2023-10-18 20:53

Hive

前言Hive是建立在Hadoop基础上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

两只手·2023-10-18 20:23

Hive简介

一、Hive简介Hive是一个基于hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。

needle2·2023-10-18 20:51

基于 hive 的日志数据统计实战

基于hive的日志数据统计实战一、hive简介hive是一个基于hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。

jiangkai_nju·2023-10-18 20:20

伽蓝集团：用数据驱动增长的美妆行业引领者

基于数据中台的这一基座正式投入使用，伽蓝集团的数字化转型有了更多想象空间和落地可能。

阿里开发者·2023-10-18 18:21

AWS Boto3 S3对象上传与下载

各种规模和行业的客户都可以使用AmazonS3存储和保护任意数量的数据，用于数据湖、网站、移动应用程序、备份和恢复、归档、企业应用程序、IoT设备和大数据分析。

东子z·2023-10-18 17:21

从理论到实践，实时湖仓功能架构设计与落地实战

在上篇文章中，我们向大家解释了为什么实时湖仓是当前企业数字化转型过程中的解决之道，介绍了实时计算和数据湖结合的应用场景。（“数据驱动”时代，企业为什么需要实时湖仓？）

袋鼠云数栈·2023-10-18 13:51

回顾 | Apache Flink x Iceberg Meetup · 上海站精彩回顾 (附PPT下载)

本次Meetup，社区邀请了来自阿里巴巴、腾讯、Dell科技集团、汽车之家的4位技术专家分享了超多关于Flink&数据湖的内容，全方位解析数据湖生产应用难题。

Apache Flink·2023-10-18 11:46

系统架构师上午题部分知识点汇总

系统架构师系统架构师上午题知识树系统架构师计算机组成与体系结构计算机系统组成存储器系统流水线操作系统操作系统的类型与结构操作系统的基本原理数据库系统数据库管理系统的类型数据库的模式与范式数据库设计事物管理分布式数据库系统数据仓库数据挖掘

Miaow.Y.Hu·2023-10-18 11:50

联邦学习中的攻击手段和防御机制

联邦学习产生的背景：海量数据的生成和这些数据的后续处理往往需要一个数据仓库并在仓库内汇总数据。

白兔1205·2023-10-18 08:34

数据仓库系列4-维度表

一.维度表技术基础1.1维度表结构每个维度表都包含单一的主键列。维度表的主键可以作为与之关联的任何事实表的外键，维度表行的描述环境应与事实表行完全对应。维度表通常比较宽，是扁平型非规范表，包含大量的低粒度的文本属性。操作代码与指示器可作为属性对待，最强有力的维度属性采用冗余的描述填充。维度表属性是查询及BI应用的约束和分组定义的主要目标。报表的描述性标识通常是维度表属性领域值。image.pn

只是甲·2023-10-18 07:55

BI数据工程师--55、SSAS在商业决策中的重要性

BI数据工程师--医疗数据源下载BI数据工程师--医疗绩效PPT与医疗指标文档下载BI数据工程师--医疗数据仓库模型下载BI数据工程师--01、教程介绍BI数据工程师--02、BI数据工程师的特点BI数据工程师

focusBI·2023-10-18 06:42

数仓建设（三）

4.DWS公共汇总层设计规范数据仓库的性能是数据仓库建设是否成功的重要标准之一。聚集主要是通过汇总明细粒度数据来获得改进查询性能的效果。

未来在这儿·2023-10-18 06:10

ThoughtWorks技术十年Devops社区志愿相遇

图片发自App全国敏捷社区志愿者代表传说中的马大叔数据中台介绍图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App

奎哥_Hank·2023-10-18 03:53

121-124-Hadoop-MapReduce-etl：

ETL一词较常用在数据仓库，但其对象并不限于数据仓库在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过

镇魂Boby·2023-10-18 03:35

【大数据之Hadoop】十七、MapReduce之数据清洗ETL

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将分散、零乱、标准不统一的数据整合到一起，为决策提供分析依据。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。

阿宁呀·2023-10-18 03:04

Hadoop3教程（十九）：MapReduce之ETL清洗案例

ETL主要应用于数据仓库，但不只是应用于数据仓库，毕竟这个更像是一类思想。在运行核心的MR程序之前，往往要对数据进行清理，清除掉不符合用户要求的数据，

经年藏殊·2023-10-18 03:01

BI工具-DataEase(2) 基础使用

先讲下工具栏,分别是仪表盘,数据集,数据源,模板市场等等.和大多数的BI工具一样,首先配置的就是数据源1.数据源:支持OLTP,OLAP,数仓/数据湖,我们这边还是使用的mysql新建mysql数据源,

大曲·蜗牛·2023-10-17 18:53

搜狐智能媒体数据仓库体系建设实践

分享嘉宾：翟东波搜狐媒体编辑整理：王洪达出品平台：DataFunTalk、AI启蒙者导读：本次分享的主题为搜狐智能媒体数据仓库体系建设实践，会对数据仓库中的基本概念进行简单梳理，明确数据仓库体系建设涵盖的相关流程

浪尖聊大数据-浪尖·2023-10-17 17:28

GBase 8a MPP产品简介

2、应用场景GBase8aMPPCluster用于支撑各类数据仓库系统、BI系统和决策支持系统。3、技术特点GBase8a

wangzhejijie·2023-10-17 17:18

MyCAT：回顾当年的热潮，探寻这款备受欢迎的数据库中间件的核心特性

可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQLServer结合传统数据库和新型分布式数据仓库的新一代

技术琐事·2023-10-17 16:13

数据库、数据中台、数据仓库、数据湖区别

数据时代，各行业的企业都已经开始通过数据库来沉淀数据，但是真的论起数据库、数据仓库、数据中台，还是新出现的数据湖，它们的概念和区别，可能知道的人就比较少了，今天我们详细来比较了解一下。

那小子、真烦·2023-10-17 13:06

数据仓库与ETL

什么是数据仓库一种用于存储和管理数据的系统，提供一种统一方式，将不同来源、不同方式、不同时间的数据集成在一起。数据仓库结构主题域：一个特定领域的数据集，比如营销、销售、客户、库存等。

超级无敌暴龙战士塔塔开·2023-10-17 13:03

数据挖掘（二）

一，体系结构典型数据挖掘系统数据的来源数据库服务器，数据库数据挖掘的引擎数据挖掘的模式数据可视化技术的展示二，数据类型关系数据库使用最广泛数据仓库各个分立的数据库统一事务数据库高级数据库系统和信息库空间数据库时间数据库和时间序列数据库时间数据库和时间序列数据库都存放与时间有关的数据

行走记忆时光·2023-10-17 12:13

认识业务中台、数据中台、技术中台

阿里巴巴中台战略最早从业务中台和数据中台建设开始，采用了双中台的建设模式，到后来发展出了移动中台、技术中台和研发中台等，这些中台的能力综合在一起就构成了阿里巴巴企业级数字化能力。

梅西爱骑车·2023-10-17 11:50

推荐频道

数据仓库数据中台数据湖

面经总结(大数据开发相关)