数仓学习专栏

又是第一！GBASE南大通用蝉联中国分析型数据库管理系统市场TOP1

在分析型数据库市场，GBASE自主研发的分布式逻辑数仓GBase8aMPPCluster与国外主流的数据仓库产品在金融、电信等领域同台竞技，技术实力领先，已在人民银行、中国农业银行总行、招商银
GBASE数据库·2023-10-27 08:47

万字详解数据质量那些事儿

在数据仓库建设的过程当中，大家是否会有这样的疑问:1）数仓分层模型是否需要严格遵守2）照本宣科建设的数仓貌似不好用3）如何评判一个数仓建设的质量好坏4）我的数据仓库还能做怎样的升级我们该如何解决这些问题
大数据兵工厂·2023-10-27 02:27

详解如何在数仓中管理元数据

‍‍‍‍大家好，元数据管理是企业数据治理的基础，是数据仓库建设的关键。作为一名数据人，首要任务就是理解元数据管理。本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及实践工具。01什么是元数据管理1、什么是元数据？元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata）。抽象的描述：一组用于描述数据的数据组，该数据组的一切信息都描述了该
大数据技术派·2023-10-27 02:54

Clickhouse实时数仓建设

今天，笔者就为大家介绍如何使用Clickhouse来构建实时数仓，来满足一些实时性要求较高的使用场景。
程序猿小乙·2023-10-26 12:09

实时数仓Hologres 新一代弹性计算组实例技术揭秘

随着实时数仓在业务生产系统的普及，资源弹性、资源隔离等保障业务稳定性方面的技术需求开始变得越来越迫切。
阿里云云栖号·2023-10-26 12:44

阿里云实时数仓Hologres年度发布，解读数仓新趋势

简介：阿里云实时数仓Hologres年度发布，解读数仓新趋势。
阿里云云栖号·2023-10-26 12:43

技术解读：实时数仓Hologres如何支持超大规模部署与运维

通过该评测，证明了阿里云实时数仓Hologres能够作为数据仓库和大数据平台的基础设施，可以满足用户建设大规模数据仓库和数据平台的需求，具备支撑关键行业核心业务数据平台的能力。
阿里云云栖号·2023-10-26 12:43

技术分享：从双11看实时数仓Hologres高可用设计与实践

简介：本文将会从阿里巴巴双11场景出发，分析实时数仓面临的高可用挑战以及针对性设计。2021年阿里巴巴双11完美落下为帷幕，对消费者来说是一场购物盛宴，对背后的业务支撑技术人来说，更是一场年度大考。
阿里云云栖号·2023-10-26 12:43

CCO x Hologres：实时数仓高可用架构再次升级，双11大规模落地

简介：本文将会介绍今年是如何在去年基础上进行实时数仓高可用架构升级，并成功大规模落地双11。
阿里云云栖号·2023-10-26 12:43

【附下载】实时数仓架构设计与选型

这是彭文华的第99篇原创好几位朋友在后台留言，说要看看各大厂都是咋玩实时数仓的。其实，实时数仓和离线数仓在模型设计的时候是一样一样的，只是需要计算引擎和存储不太一样而已。
大数据架构师Evan·2023-10-26 12:12

实时数仓 Hologres 如何支持超大规模部署与运维

阿里云实时数仓Hologres（原阿里云交互式分析）在报表任务、交互式查询、压力测试、稳定性等方面通过了中国信通院分布式分析型数据库性能评测（大规模），并以8192个节点刷新了通过该评测现有参评的规模记录
阿里云技术·2023-10-26 12:41

新一代Hologres实时数仓大揭秘

看支撑阿里内外部业务场景实时数仓是如何运作的？云计算情报局带您解密实时数仓！作者：金晓军（仙隐），阿里云资深技术专家，大数据领域从业10年，现从事交互式分析引擎Hologres设计与研发工作。
阿里云技术·2023-10-26 12:11

【Hologres】基于Hologres实时离线一体化数仓建设实践

0、案例业务背景在互联网大潮中，新东方在IT技术上也不断重构，持续投入大数据建设，研发大数据的相关技术和应用，从而快速而精准地响应业务需求，并用数据为集团各级领导提供决策依据。新东方的大数据应用主要包括两部分：企业应用端的业务场景（B端）：包括交易，教学，人员等数据，数据规模为TB级。数据会被按照不同的条件和学校层级等，形成营收、教学、客服、财富人事等实时报表，为CRM系统的成千上万名业务顾问提供
Impl_Sunny·2023-10-26 12:39

实时数仓Hologres

1.概述Hologres是阿里巴巴自主研发的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（AdHoc
大数据开发工程师-宋权·2023-10-26 12:09

实时数仓Hologres 【快速了解】

什么是实时数仓HologresHologres是阿里巴巴自主研发的一站式实时数仓引擎（Real-TimeDataWarehouse），支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL
一阵暖风·2023-10-26 12:38

【Hologres】实时数仓

Hologres揭秘:深度解析高效率分布式查询引擎-阿里云开发者社区介绍xxx实时数仓发展背景介绍xxx实时数仓1.0从2019年开始搭建，基于KuduOLAP引擎构建，前期承载业务不多，任务量不大，运行稳定
奋斗者ing·2023-10-26 12:08

大数据实时（5）-Hologres实时数仓验证

目录：1、Hologres2、技术架构3、适用场景4、验证1、Hologres阿里的Hologres推出后，受到了很多关注，以几个方面的因素：1）Hologres作为MPP架构的一款大数据存储分析引擎，提供了很好的性能支撑；2）确实是解决了很多客户的问题，有一些大数据高并发的场景也能适用；3）是相较于ADB的产品，从官方资料方面，确实有很多的提升，但验证的结果如何，还是各有千秋；我们来看看官方的介
ly_zixuan·2023-10-26 12:08

从双11看实时数仓Hologres高可用设计与实践

在这场大考中，一站式实时数仓Hologres以每秒11.2亿条的高速写入，和每秒1.1亿次的查询峰值（包含点查和OLAP查询），交出了满意的答卷，稳定高效地支撑了阿里巴巴双11核心应用场景。
aliyunhologres·2023-10-26 12:37

实时数仓-Hologres介绍与架构

本文是向大家介绍Hologres是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库（Real-TimeDataWarehouse）。1.HSAP理念与产品首先介绍下大数据相关实时业务场景，一般有实时大屏、实时BI报表、用户画像和监控预
高阳很捷迅·2023-10-26 12:37

2023 Datawhale数据分析实习面经

了解数仓吗？4.编程题：(1)两数之和(2)求根号2，误差在0.01之内(二分)5.sql题：(1)行去重(2)求每个用户某一列的最大值6.业务场景题100万经费，给用户发优惠卷--->拉新或者
深度之眼·2023-10-26 07:13

AnalyticDB for PostgreSQL 6.0 新特性介绍

ADBPG6.0版本大幅提升并发事务处理能力，更好的满足实时数仓场景，同时通过事务锁等优化，完
阿里云技术·2023-10-26 03:07

尚硅谷大数据项目《在线教育之实时数仓》笔记003

视频地址：尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第7章数仓开发之ODS层P015第8章数仓开发之DIM层P016P017P018P01901、node001节点Linux
upward337·2023-10-26 02:44

我在叽里呱啦折腾 DolphinScheduler 的日子

前言“工欲善其事，必先利其器”在2019年进行数仓建设时，选择一款易用、方便、高效的调度系统被摆在非常突出的位置，感谢前同事马振洋同学和杨孟霏同学的付出，最终有缘选择了DolphinScheduler的前身
DolphinScheduler社区·2023-10-25 19:23

阿里云云原生一体化数仓 — 数据建模新能力解读

2020年之前，DataWorks支持的是开发视角、自底向上、小步快跑，快速满足业务需求为首要目标的数仓构建模式，然而随着内部数据模型越来越多，线下评审流程越来越复杂，淘宝、天猫、盒马、菜鸟等多个数据仓团队开始和
阿里云技术·2023-10-25 14:35

Doris数仓的4大特点

Doris是一款基于MPP技术的SQL分析型数据库系统，能够在海量数据的OLAP场景下提供毫秒级的查询响应性能。Doris的实现架构脱胎自ApacheImpala和GoogleMesa系统，并进行了大量的改造和优化，最终形成了今天大家看到的这款架构优雅、性能卓越、功能丰富、简单易用的OLAP数据库系统。0****1极简架构Doris从设计上来说，融合了GoogleMesa的数据存储模型、Apach
Elivis Hu·2023-10-25 11:44

Databend 开源周报第 116 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-10-25 07:30

商业数仓的搭建【转载】

商业数仓的目的是为了构建面向分析的集成化数据环境，为企业的决策提供支持（DecisionSupport）。
为祁·2023-10-24 23:21

Flink实时写入Apache Doris如何保证高吞吐和低延迟

借助海量数据,实时数仓在有效挖掘有价值信息、快速获取数据反馈、帮助企业更快决策、更好的产品迭代等方面发挥着不可替代的作用。
后季暖·2023-10-24 18:01

【数据仓库-零】数据仓库知识体系 ing

文章目录一.数仓基本概念二.离线数仓建设方法论三.etl流程四.数仓规范建设指南四.数据仓库架构五.数据可视化通过熟悉构建数仓整体的过程，可以系统的了解数仓构建理论：能够站在全局角度看数仓的运行架构，数仓执行流程
roman_日积跬步-终至千里·2023-10-24 16:41

实时数仓-Canal介绍

实时数仓中架构如下图：实时数仓架构图.jpg实时架构主要数据来源有3块日志文件（或设备上的心跳数据），由Flume或者Springboot程序直接写到kafka中接口API，使用程序调用接口业务数据库，
脆弱的天炎·2023-10-24 16:40

2022-01-16-周日-日更

今天开启王金海博士的如何让孩子爱生学习专栏的重复回听，这是第三遍了，每一次听都还是最初那种豁然开朗的感觉，这个专栏总共100讲，有时在想如果能把这100讲全部融会贯通，就已经很厉害了。
一缕寒风衬暖阳·2023-10-24 11:23

MySQL的索引原理

索引的工作原理创建和管理索引索引类型最佳实践总结欢迎来到数据结构学习专栏~MySQL的索引原理☆*o(≧▽≦)o*☆嗨~我是IT·陈寒✨博客主页：IT·陈寒的博客该系列文章专栏：数据结构学习其他专栏：Java
IT·陈寒·2023-10-24 10:19

数仓建设保姆级教程，离线和实时理论+实战)

文档大纲：一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。
程序员的隐秘角落·2023-10-24 00:33

查询性能较 Trino/Presto 3-10 倍提升！Apache Doris 极速数据湖分析深度解读

在最初的概念里，数据仓库被定义为「一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策」，而数据湖最初是为了解决数仓无法存储海量且异构的数据而构建的集中式存储系统。
SelectDB技术团队·2023-10-23 22:46

Apache Doris 1.1 特性揭秘：Flink 实时写入如何兼顾高吞吐和低延时

导读：随着数据实时化需求的日益增多，数据的时效性对企业的精细化运营越来越重要，使得实时数仓在这一过程中起到了不可替代的作用。
SelectDB技术团队·2023-10-23 22:45

本地数仓网络设备迁移实录

环境：本地机房深信服防火墙A8.0.75AF-2000-FH2130B-SCH3CS6520-26Q-SI交换机AVersion7.1.070,Release6326H3CIDC机房深信服防火墙B8.0.75AF-2000-FH2130B-SCH3CS6520交换机Bversion7.1.070,Release6530P02问题描述：本地机房H3CS6520交换机Avlan33，网段192.168
玩电脑的辣条哥·2023-10-23 21:27

探索流批一体结构下的实时数仓

|0x00越来越高的时效性要求在数据仓库的建设过程里，我们一直秉承着“离线先行”的方针，因为离线的技术栈非常成熟，开发起来很快，同时监控工具也做的比较完善，出了问题能及时发现、及时处理。过去我们处理实时的需求，一般都会转化为准实时的模式，例如分钟级调度，但毕竟它不是完全的实时模式，不过绝大多数情况下，应对业务诉求也是足够了。但随着Flink为代表的新一代框架的出现，很多业务已经不再满足于做准实时的
晓阳的数据小站·2023-10-23 12:09

数仓架构对比

快手数仓架构image.png规模image.png快手目前集群规模有1500台左右，作业数量大约是500左右，日处理条目数总共有1.7万亿，峰值处理条目数大约是3.7千万。
与AI零距离·2023-10-22 13:43

数据部门起步阶段需要建立数仓么？

之前我写了一篇关于数据中台和数仓的关系的文章，里面理清了数仓和中台的关系。后面我了解到更通用的技术词汇去表达数据管理的两种方式：数据联邦和数据仓储。
祝威廉·2023-10-21 17:08

元数据管理-技术元数据解决方案

概念元数据是描述企业数据相关的数据，指在IT系统建设过程中所产生的有关数据定义，目标定义，转换规则等相关的关键数据，包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述元数据是数仓建设环节中不可缺少的一部分
热忱 ㅤ ㅤ·2023-10-21 13:18

大数据测试 - 数仓测试

数仓分层设计标准数仓分为ODS,DWD,DIM,DWS,ADS等，每一层都有自己的含义：ODS：存储原始业务数据,数据原封不动同步到到ODS,不做任何修改，并且备份，备份时可以压缩；DWD：数据清洗，
测试界的飘柔·2023-10-21 10:11

请查收云原生虚拟数仓 PieCloudDB 十月动态

PieCloudDBDatabase最新动态PieCloudDB压缩效率得到提升为了节省存储空间，降低用户存储费用，PieCloudDB在压缩率上不断优化，包括：对HLL（HyperLogLog）支持游程编码（RunLengthEncoding）支持ZSTD（Zstandard）为默认压缩算法支持DictEncoding、DeltaEncoding等编码方法，降低文件大小PieCloudDB将在未
OpenPie｜拓数派·2023-10-21 08:57

技术揭秘：从双11看实时数仓Hologres高可用设计与实践

在这场大考中，一站式实时数仓Hologres以每秒11.2亿条的高速写入，和每秒1.1亿次的查询峰值（包含点查和OLAP查询），交出了满意的答卷，稳定高效地支撑了阿里巴巴双11核心应用场景。
阿里云Hologres·2023-10-21 05:45

分布式存储 vs. 全闪集中式存储：金融数据仓库场景下的性能对比

例如，不少金融机构使用数仓业务系统，为公司高层提供日常经营报表，同时支持监管报送等应用。该业务系统通常是I/O密集型应用，对IT基础架构的性能有极高的要求。
志凌海纳SmartX·2023-10-20 14:34

超大型纸业品牌“清风”也用上 Apache SeaTunnel 啦！

在那时，我们用的是Oracle视图来做数仓。如果一个视图不
SeaTunnel·2023-10-20 07:33

【C++初阶（二）缺省参数与函数重载】

本专栏内容为：C++学习专栏，分为初阶和进阶两部分。通过本专栏的深入学习，你可以了解并掌握C++。
小小unicorn·2023-10-20 04:20

Hive3.x数仓开发

文章目录一、数仓仓库概念二、数据仓库分层架构ODS\DW\DA(ADS)ETL\ELT三、ApacheHive概述为什么使用HiveHive和Hadoop关系四、ApacheHive架构、组件组件五、ApacheHive
_七七·2023-10-20 01:24

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

本篇内容主要分为四个部分：实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上
Apache Flink·2023-10-20 00:33

数仓系列 | Flink 窗口的应用与实现

主要内容如下：1.整体思路与学习路径2.应用场景与编程模型3.工作流程与实现机制Tips：点击「阅读原文」可查看更多数仓系列直播视频～整体思路与学习路径当我们碰到一项新的技术时，我们应该
Apache Flink·2023-10-20 00:33

【转】数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

这套架构，以数据湖为中心，把数据湖作为中央存储库，再围绕数据湖建立专用“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务
万州客·2023-10-19 22:56
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他