数仓数据湖第14页

正确设计Hologres实时数仓，性能提升10倍+

本文将会讲述阿里巴巴零售通数据平台如何优化Hologres实时数仓，达到性能提升10倍+的效果，完美支撑双11营销活动、实时数据大屏等核心场景。

aliyunhologres·2023-11-17 14:29

Hologres揭秘：深度解析高效率分布式查询引擎

Hologres（中文名交互式分析）是阿里云自研的一站式实时数仓，这个云原生系统融合了实时服务

阿里开发者·2023-11-17 14:28

hologres基础知识一文全

hologres基础知识一文全1功能特性1.1多场景查询分析1.2原生实时数仓1.3企业级运维能力1.4生态与可扩展性2hologres架构2.1传统分布式系统2.2hologres基础架构2.2.1计算层

Direction_Wind·2023-11-17 14:57

什么是数据湖，数据湖和数据仓库的区别在哪

数据仓库是什么数据仓库数据湖数据来自事务系统、运营数据库和业务线应用程序的清洗过结构化数据来自IoT设备、网站、移动应用程序、社交媒体和企业应用程序的原始数据架构设计在数据仓库实施之前（写入型Schema

我去探险了·2023-11-17 13:45

云上11.11｜腾讯云大数据产品双11盛惠爆品首单1折起大回馈

11.11云上盛惠多款大数据产品特惠专场腾讯云BI、ElasticsearchService、流计算Oceanus、腾讯云数据仓库TCHouse-D、移动推送、数据湖计算DLC首月秒杀1元起、新客首购1.2

腾讯云大数据·2023-11-17 11:24

CloudCanal和Canal的区别

研发团队CloudCanal核心团队成员来自阿里巴巴中间件和数据库团队,长期从事分布式数据库、数据库中间件、应用中间件工作，包括阿里云分布式数据库中间件产品DRDS、内部核心系统数据同步工具精卫、阿里云数据湖产品

ClouGence·2023-11-17 10:31

Python大数据之linux学习总结——day08_hive04

hive04hive查询语法结构:类sql基本查询知识点:数据准备:数仓分层思想:课堂练习:类sql多表查询知识点:数据准备:练习:hive其他join操作知识点:示例:hive其他排序操作[练习]知识点

笨小孩124·2023-11-17 09:37

二百零三、Flume——Flume实时采集数据频率为1s的高频率Kafka数据直接写入ODS层表的HDFS文件路径下

一、目的在离线数仓中，需要用Flume去采集Kafka中的数据，然后写入HDFS中。由于每种数据类型的频率、数据大小、数据规模不同，因此每种数据的采集需要不同的Flume配置文件。

天地风雷水火山泽·2023-11-17 07:22

《网易-数据中台》学习笔记

《网易-数据中台》学习笔记1.大数据发展历程1.1数据仓库1.2Hadoop-数据湖1.3大数据平台1.4数据中台1.5Next：大数据+人工智能2.数据仓库2.1数据仓库建模2.1.1E-R模型2.1.2

杰克jk船长·2023-11-17 07:15

华为云大数据智能数据湖FusionInsight

华为预计，到2025年全球每年新增数据存储量为180ZB，企业的数据利用率将会达到86%。到2030年数据应用（包括大数据和AI）将会给全球带来13万亿美元的收益，为全球经济贡献16%的GDP增长。其中，传统行业将会成为未来10年数据应用增速最快、受益最大的主体。未来是一个高速发展的时代，掌握最新最有用的信息就能赶上时代的风口，这时候就需要大数据分析，华为云大数据满足你企业对数据分析的一切需求。通

硬核技术控·2023-11-17 04:03

hive数仓-数据的质量管理

版本20231116要理解数据的质量管理，应具备hive数据仓库的相关知识文章目录1.理解什么是数据的质量管理：2.数据质量管理的规划数据质量标准的分类3.数据质量管理解决方案1.ods层的数据质量校验1）首先在hive上建立一个仓库，添加数据质量监控表2）然后建立检查检查表3）创建数据检验曾量表通用的脚本4）创建数据检测全量表的脚本5）脚本的运行2.dwd层的数据质量校验1）建立dwd层校验表2

江南正晓时·2023-11-17 01:33

后季暖·2023-11-16 23:46

【云栖2023】姜伟华：Hologres Serverless之路——揭秘弹性计算组

本文根据2023云栖大会演讲实录整理而成，演讲信息如下：演讲人：姜伟华|阿里云计算平台事业部资深技术专家、阿里云实时数仓Hologres研发负责人演讲主题：HologresServerless之路——揭秘弹性计算组实时化成为了大数据平台的核心演进趋势

阿里云大数据AI技术·2023-11-16 12:29

Flink 整合 hudi

它广泛应用于大数据领域，为数据湖环境下的数据操作提供了强大的支持。不仅可以存储数据，也可以将元数据存在在其中。

新手小农·2023-11-16 08:21

Databend 开源周报第 119 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。

Databend·2023-11-16 07:20

数据湖实操讲解【 AI 训练加速】第十八讲：Fluid + JindoFS 对海量小文件的训练加速...

数据湖技术圈本期导读：【AI训练加速】第十八讲主题：Fluid+JindoFS对海量小文件的训练加速讲师：辰山，阿里巴巴计算平台事业部EMR技术专家内容框架：海量小文件难题FluidJindoRuntime

Apache Spark中国社区·2023-11-15 22:41

数据湖实操讲解【 AI 训练加速】第十七讲：Fluid + JindoFS 对 HDFS 上的数据进行训练加速...

数据湖技术圈本期导读：【AI训练加速】第十七讲主题：Fluid+JindoFS对HDFS上的数据进行训练加速讲师：辰山，阿里巴巴计算平台事业部EMR技术专家内容框架：什么是Fluid+JindoFS（JindoRuntime

Apache Spark中国社区·2023-11-15 22:41

Flink 1.12的CDC

基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。

'煎饼侠·2023-11-15 19:56

数据仓库入门简介

一，数组仓库介绍数据仓库（英语：DataWarehouse，简称数仓、DW）是一个为数据分析而设计的企业级数据管理系统。它旨在支持企业决策过程中的数据分析和业务智能。

浮生夢·2023-11-15 17:12

StarRocks × Apache Flink：如何构建简单强大的实时数仓架构

当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如Flume、Canal、Logstash。对于不同的业务，我们通常会采用不同的分析引擎。

大数据技术架构·2023-11-15 16:27

【用户实践】openGauss5.0在某省医保局实时数仓应用

一、项目背景采用数据同步软件将各系统的数据库下的数据实时同步到openGauss数据库中；建立实时数仓；可以在实时数仓自行查询、分析、统计数据及报表；同时横向集成公共服务区和核心业务区生产库数据、集成其他委办局数据

renxyz·2023-11-15 12:11

Hive 数仓数据质量治理

1.数据质量概述数据质量是数据创建价值的保障基石，高质量的数据为数据统计、分析和应用提供了可信任的必要条件。数据质量管理是指在数据创建、加工、使用和迁移等过程中，通过开展数据质量定义、过程控制、监控、问题分析和整改、评估和考核等一系列管理活动，提高数据质量以满足业务要求。可按照"谁创建，谁负责；谁加工，谁负责；谁提供，谁负责"的原则界定数据质量管理责任，由数据流转环节的各责任方对管辖范围内的数据质

笑看风云路·2023-11-15 10:58

数据湖架构

数据湖架构介绍数据湖（DataLake）是一个存储大量结构化和非结构化数据的集中式数据存储库。与传统的数据仓库不同，数据湖采用扁平化结构，将数据存储在原始形式下，不需要进行预处理或转化。

溟有常青木·2023-11-15 07:47

探索数据湖和大数据在亚马逊云服务云存储服务上的威力

数据湖和亚马逊云服务云存储服务上的大数据是一个强大的组合，使组织能够充分发挥其数据的潜力。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。

亚马逊云开发者·2023-11-15 05:02

Hadoop完全分布式安装

Hadoop完全分布式安装前言之前有搭建过一次Hadoop完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。

薇安娜·2023-11-15 05:43

AWS 大数据实战 - 环境准备(一)

实验介绍本次实战内容将教大家如何使用AWS的大数据和数据湖的相关服务和组件，顺利完成大数据的收集，存储，处理，分析和可视化的完整的流程，主要会介绍以下几个AWS大数据服务：Lab1：实时流数据处理，基于

wzlinux·2023-11-15 03:34

hive sql生成数仓分钟维表

目录一、建表ddl二、加工格式说明三、加工sql四、示例结果数据一、建表ddlcreatetabledim_pub_minute(date_timestampbigintcomment'时间戳',date_strstringcomment'时间-日期时分秒',day_strstringcomment'日期',time_strstringcomment'时分秒',hour_strstringcomm

chimchim66·2023-11-15 03:39

大数据调度系统对比

0.前言有了数据平台，有了数据仓库，那就需要一个系统来调度和管理数仓的任务，因此调度系统的地位可见之重要。

Impl_Sunny·2023-11-14 21:01

实时数仓-Flink使用总结

阿里云实时计算Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台，支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。本期将对Flink的使用进行总结。1.Flink产品回顾阿里云实时计算Flink版是阿里云基于ApacheFlink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台，支持作业开发、数

高阳很捷迅·2023-11-14 18:42

数据仓库基础信息

数据仓库数据仓库概述什么是数据库什么是数据集市什么是数据仓库数据仓库和数据库的对比什么是数据湖数据存储架构数据处理工具聚焦如何把数据搬到湖里关注如何对湖中的数据进行分析、挖掘、利用数据湖和数据仓库的对比数据仓库的特点数据仓库是集成的数据仓库的数据是稳定的

daladalabao·2023-11-14 11:50

Hive工具的介绍（一）

一、Hive是什么要了解Hive是什么得先了解一下数仓(数据仓库)的概念，什么又是数据仓库呢？

xiaoxie_advent·2023-11-14 09:15

数据仓库、数仓分层 01

1.数据仓库的基本概念数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（DecisionSupport）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。2.数据仓库的主要

啊策策·2023-11-14 06:17

数仓分层的好处

分层好处：1，复杂问题简单化：将复杂的任务分解成多层来完成，每一层只处理简单的任务，方便定位问题2，减少重复开发：规范数据分层，通过中间层数据，能够减少极大的重复计算，增加计算一次的结果的重复性3，隔离原始数据：不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开数据集市和数据仓库的区别：数据集市是微型数据仓库，通常有更少的数据，更少的主题，更少的历史数据，是部门级别的，一般只能为某个局部

Alienware^·2023-11-14 06:17

数仓分层总结

数据仓库分为四层ods、dwd、dws、adsods层上是一些原始的数据，存放原始数据，直接加载原始日志、数据（事件表），保持数据原貌不作处理，也就是做一个备份的作用，不要解析数据创建支持LZO压缩的表：减少存储空间100g_10g\5g单双json创建分区表：防止全表扫描（导数据：全量、新增、新增和变化）dwd层是根据ods层表进行解析，然后清除脏数据，敏感信息的处理例如身份证脱敏，掩码、加密、

月升11·2023-11-14 06:41

数据仓库之数仓分层及hive分层

目录一、数据仓库之数仓分层（一）为什么要分层？

javastart·2023-11-14 06:09

简单搞定数仓搭建:数仓分层

我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，OperationDataStore）、数据公共层（CDM，CommonDataModel）和数据应用层（ADS，ApplicationDataService）。数据仓库的分层和各层级用途如下图所示。数据引入层ODS（OperationDataStore）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准

白枭·2023-11-14 06:08

数仓分层介绍

文章目录数仓分层的意义是什么?

程少亭·2023-11-14 06:36

数仓（一）数据分层

文章目录数据分层好处数据运营层数据仓库层数据应用层事实表`(FactTable)`维表层(`Dimension`)表命名规则聚合粒度以及加工频率字段说明抽取方式字段命名规范数据表名命名规范表分区字段说明任务命名规范大厂分层架构爱奇艺SaaS收银运营数仓分层架构美团数仓分层架构网易云音乐数仓分层架构数据分层数据分层在建设数据仓库中是一个十分重要的环节

666呀·2023-11-14 06:05

【数据仓库】数仓分层方法

文章目录一.数仓分层的意义1.清晰数据结构。2.减少重复开发3.方便数据血缘追踪4.把复杂问题简单化5.屏蔽原始数据的异常6.数据仓库的可维护性二.如何进行数仓分层？

roman_日积跬步-终至千里·2023-11-14 06:01

亚马逊云科技 2022 年 3 月新服务新功能强势来袭

从计算、存储和数据库等基础设施技术，到机器学习、人工智能、数据湖和分析以及物联网等新兴技术，亚马逊云科技为客户提供多样的服务及功能。

亚马逊云开发者·2023-11-14 03:53

数仓hive锁（Hive Lock）

昨天数据仓库hive中一张中间表lock，导致所有依赖这个表的任务失败。影响挺大，借此总结一下以备后面查用。1.Hive锁的类型hive目前主要有两种锁，SHARED（共享锁S）和Exclusive（排他锁X）。共享锁S和排他锁X它们之间的兼容性关系如下：1）查询操作使用共享锁，共享锁是可以多重、并发使用的2）修改表操作使用独占锁，它会阻止其他的查询、修改操作3）可以对分区使用锁。以下情况会触发锁

Vincer_DB·2023-11-13 16:34

sqlserver2008彻底卸载

windowsInstallerCleanUp二、下载安装后在最近添加中打开三、下载sqlserver卸载工具集合四、注册表删除五、残余文件删除六、修改注册表权限七、重启之后背景介绍最近接到公司的一个任务，我们要搞实时数仓了

潘小磊·2023-11-13 14:31

Doris为数据分析而生的olap数据库：数据模型和数据分区使用详解

ApacheDoris可以满足多种数据分析需求，如数仓T+1模式固定历史报表，实时数据分析等。数据模型：Doris中的字段类型：TINYINT1字节范围：-2^7+1~2^7-1SMALLINT2字

HD0do(迪答数据)·2023-11-13 12:02

一款高效、简洁的数据处理和清洗加工工具，值得收藏！

JVS智能BI通过创新性的数仓式存储、流程化加工、直观模拟化配置和用户友好的界面化管理等特性，使数据分析变得触手可及，同时也极大地提高了数据处理和分析的效率。JVS-BI特点介绍数

jonyleek·2023-11-13 11:15

[hive]数仓分层|用户纬度拉链表|维度建模

redirect=%2Fdb%2F241289一、数仓分层1、ODS层：原始数据层ODS(O=originalD=dataS=store)1)设计要点存储来自多个业务系统、前端埋点、爬虫获取的一系列数据源的数据

胖胖学编程·2023-11-12 16:52

Flink在汽车行业的应用【面试加分系列】

然后总结发出来方便大家阅读；另外一方面，看这些汇报对你的面试帮助会很大，特别是面试前可以看看即将面试公司在大数据前沿的发展动向（我曾经就有过一次经历，面试网易云音乐前，我在B站看了一个大佬分享的网易云实时数仓

三石大数据·2023-11-12 09:15

从Hadoop到对象存储，抛弃Hadoop，数据湖才能重获新生？

Hadoop与数据湖的关系1、Hadoop时代的落幕2、Databricks和Snowflake做对了什么3、Hadoop与对象存储（OSD）4、Databricks与Snowflake为什么选择对象存储

对许·2023-11-12 05:15

Iceberg 学习笔记

本博客对应于B站尚硅谷教学视频尚硅谷数据湖Iceberg实战教程（尚硅谷&ApacheIceberg官方联合推出），为视频对应笔记的相关整理。

第一片心意·2023-11-11 19:46

数仓建设中，数据治理如何切入

在数仓建设中，数据治理扮演着至关重要的角色，它不仅有助于确保数据的质量和安全性，还能提高数据的可用性和可理解性。本文将探讨数据治理在数仓建设中的切入点和关键作用。

云长歌·2023-11-11 10:14

限时领票｜走进 2023 · 云栖大会，看大咖对话开源

扫描议程底部二维码，或点击「阅读原文」领取门票～嘉宾及话题介绍话题一｜阿里云开源大数据平台3.0技术解读演讲嘉宾：王峰阿里云研究员，开源大数据平台负责人■话题简介自2009年起，经历了大数据上云的1.0时代，以数据湖和实时化为代表的

Apache Spark中国社区·2023-11-11 08:49

推荐频道

数仓数据湖