Doris数仓

数据仓库面试题集锦（附答案和数仓知识体系），面试必过

数据仓库模型的选择是灵活的，不局限与某种模型方法；数据仓库数据是灵活的，以实际需求场景为导向；数仓设计要兼顾灵活性、可扩展性、要考虑技术可靠性和实现成本1）调研：业务调研、需求调研、数据调研2）划分主题域
m0_60635001·2025-02-26 13:20

preview_220624,Day08_DM层建设实战,

一些公司早期的数据集市后期可能会演变成为数仓系统。本项目中在数据集市层面主要进行粗粒度汇总，也可以将这些功能下放至DWS层完成。
啊六六六·2025-02-26 04:51

Spark提交任务

Spark提交任务到Yarn1.1、DwKuduAppspark-submit--classcom.io.etl.dwkudu.DwKuduApp\--files/etl/etl-dwkudu/conf/doris.property
docsz·2025-02-26 04:50

数仓建模—数据管理能力成熟度评估模型(DCMM)

文章目录数仓建模—数据管理能力成熟度评估模型(DCMM)数据管理能力成熟度研究现状国外研究现状国内研究现状DCMM与其他数据管理体系有什么区别什么是DCMMDCMM包含哪些内容DCMM等级评估等级划分什么样的企业可以申请
不二人生·2025-02-26 02:07

简单搞定数仓搭建:数仓规范

1.数据模型架构规范1.1数据层次的划分ODS：OperationalDataStore，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于DW数据的一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到DMP。CDM：CommonDataModel，公共维度模型层，又细分为DWD和DWS。它的主要作用是完成数据加工与整合，建立一致性的维度，构建可
白枭·2025-02-26 01:59

数仓搭建实操(传统数仓orale):DM数据集市层

需求:根据映射表建表个贷客户违约信息表建表CREATETABLEDM.PERSON_LOAN_WY_INFO(DATE_DTDATE,CUST_CUNTNUMBER,CUST_FINNUMBER,CUST_BADNUMBER,CUST_FIN_PERVARCHAR2(30),CUST_BAD_PERVARCHAR2(30),CUST_EXC_RATVARCHAR2(30));COMMENTONCO
想做富婆·2025-02-25 20:54

doris：使用 Hint 调整 Join Shuffle 方式

概述Doris支持使用Hint来调整Join操作中数据Shuffle的类型，从而优化查询性能。本节将详细介绍如何在Doris中利用Hint来指定JoinShuffle的类型。
向阳1218·2025-02-23 16:47

大数据MaxCompute教程（阿里云离线数仓项目）学习笔记20231127

1数据仓库概念数据仓库定义（DataWarehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。AI：数据仓库是一个大型、集中、主题导向的数据库系统，用于支持企业决策制定、分析和报告的需要。它统一了来自不同数据源的数据，并将其在一个可查询的数据模型中进行了整合和转换，以便于分析和报告。数据仓库还包括数据清洗、抽取、转换和加载（ETL）的过程，以保证数据的准确性、一致性和完整性。
多刷亿点题⑧·2025-02-22 22:54

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已
m0_74823705·2025-02-22 21:50

数仓实战05：数仓搭建-DWS层

1.业务术语1）用户用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android系统根据IMEI号，IOS系统根据OpenUDID来标识一个独立用户，每部手机一个用户。2）新增用户首次联网使用应用的用户。如果一个用户首次打开某APP，那这个用户定义为新增用户；卸载再安装的设备，不会被算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。3）活跃用户打开应用的用户即为活
曾牛·2025-02-21 23:41

doris集群

开发doris的团队厉害，这个百度工程师确实也干了一些实事，不像领导层只会跑火车。
warrah·2025-02-20 09:30

ClickHouse 数仓

ClickHouse是OLAP并且面向列的数据管理系统.具有高性能分析任何应用,从是嵌入式服务到成百台服务器.开源并且面向列的SQL存储ClickHouse首先是一个开源的SQL数仓,并且带有高性能,成熟
大怀特·2025-02-20 04:56

阿里云 MaxCompute MaxQA 开启公测，解锁近实时高效查询体验

MCQA2.0）查询加速功能，在独享的查询加速资源池的基础上，对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化，显著减少了查询响应时间，适用于BI场景、交互式分析以及近实时数仓等对
阿里云大数据AI技术·2025-02-20 00:23

易点天下与火山引擎ByteHouse共建高性能数仓，助力智能营销效率跃升

近日，全球领先的企业国际化智能营销服务商易点天下与火山引擎ByteHouse达成合作，双方将聚焦智能营销场景，建设高性能数仓，为海量数据提供更精准、实时性更强的分析服务。
·2025-02-19 15:35

酷克数据启动鲲鹏原生应用开发合作

酷克数据将基于鲲鹏硬件底座、OpenEuler、开发套件KunpengDevKit、应用使能套件KunpengBoostKit开展面向金融、政务、电信、能源、交通等重点行业的原生应用开发，打造基于鲲鹏架构的云数仓产品解决方案
·2025-02-19 15:03

携手鲲鹏昇腾 HashData展现云原生数仓创新力量

酷克数据作为华为鲲鹏生态重要合作伙伴，受邀出席本次大会，展示其与鲲鹏昇腾生态联合开发的云数仓解决方案及应用案例，与全球开发者共同探讨云原生数仓前沿技术。
·2025-02-19 15:03

数仓_数据口径

数仓_数据口径数据口径含义数据口径包含口径收敛数据口径含义在数据仓库（数仓）中，数据口径是指在数据统计和分析过程中，对数据的定义、计算方法、范围和标准等方面的详细规定。
TTXS123456789ABC·2025-02-19 06:56

Flink SQL 优化实战 - 维表 JOIN 优化

作者：龙逸尘，腾讯CSIG高级工程师背景介绍维表（DimensionTable）是来自数仓建模的概念。
腾讯云大数据·2025-02-17 04:01

doris:查询缓存

概念介绍SQLCache是Doris提供的一种查询优化机制，可以显著提升查询性能。它通过缓存查询结果来减少重复计算，适用于数据更新频率较低的场景。
向阳1218·2025-02-16 22:17

Apache Doris 2.1.6 版本正式发布

官网下载：https://doris.apache.org/GitHub下载：ReleaseApacheDoris2.1.6R
SelectDB技术团队·2025-02-14 14:07

Apache Doris 2.0.15 版本发布

立即下载：ApacheDoris-Download|EasilydeployDorisanywhere-ApacheDorisGitHub下载：https://github.com/apache/doris
SelectDB技术团队·2025-02-14 14:07

Doris实战——工商信息查询平台的湖仓一体建设

目录前言一、架构1.0：传统Lambda架构二、OLAP引擎调研三、架构2.0：数据服务层AllinApacheDoris四、架构3.0：基于DorisMulti-Catalog的湖仓一体架构五、实践经验5.1引入Merge-on-Write，百亿级单表查询提速近三倍5.2部分列数据更新，数据开发效率提升100%5.3丰富Join的优化手段，整体查询速度最高提升近四倍5.4LightSchemaC
吵吵叭火·2025-02-14 14:06

数据湖和数据仓库的区别？

不同点：架构上，数仓基本要求符合DDL定义的结构，数据湖则湖纳百川。数据上，数仓为结构化数据设计，数据湖，湖纳百川。模块上，数仓一般
春风不会绿大地·2025-02-14 08:25

Hive数据库及表操作

数仓原理以及Hive入门：数仓原理：数仓（DataWarehouse）是用于支持企业决策的数据存储和分析系统。
亦576·2025-02-13 07:09

新型大数据架构之湖仓一体（Lakehouse）架构特性说明——Lakehouse 架构（一）

湖仓一体（Lakehouse）——新的大数据架构模式同时具备数仓与数据湖的优点湖仓一体架构存储层计算层湖仓一体特性单一存储拥有数据仓库的查询性能存算分离开放式架构支持各种数据源类型支持各种使用方式架构简单数据共享
m0_74825238·2025-02-13 05:24

hive数仓的分层与建模

Hive数据仓库分层和数据建模是一种常见的数据仓库设计方法，旨在通过分层的方式组织数据，提高数据的可维护性、可复用性和查询性能。以下是关于Hive数据仓库分层和数据建模的详细知识：一、Hive数据仓库分层数据仓库通常采用分层架构，目的是将数据按照不同的处理阶段和用途进行划分，便于管理和优化。常见的分层架构包括以下四层：1.ODS（OperationalDataStore，操作数据存储层）作用：OD
korry24·2025-02-11 13:04

Doris实战—构建日志存储与分析平台

构建日志存储与分析平台日志是系统运行的详细记录，包含各种事件发生的主体、时间、位置、内容等关键信息。出于运维可观测、网络安全监控及业务分析等多重需求，企业通常需要将分散的日志采集起来，进行集中存储、查询和分析，以进一步从日志数据里挖掘出有价值的内容。针对此场景，ApacheDoris提供了相应解决方案，针对日志场景的特点，增加了倒排索引和极速全文检索能力，极致优化写入性能和存储空间，使得用户可以基
不二人生·2025-02-09 18:47

数仓建模—企业数字化转型的本质

数仓建模—企业数字化转型的本质数字化转型与数字化、数字化建设、数字化管理到底有什么差别？企业的数字化建设重点关注哪两个层面的实现？数字化转型中的“转型”到底指的是什么？
不二人生·2025-02-09 15:00

doris：MySQL Load

Doris兼容MySQL协议，可以使用MySQL标准的LOADDATA语法导入本地文件。MySQLLoad是一种同步导入方式，执行导入后即返回导入结果。
向阳1218·2025-02-09 02:51

StarRocks实战——贝壳找房数仓实践

1.2.3StarRocks的引入二、StarRocks在贝壳的分析实践2.1指标分析2.2实时业务2.3可视化分析三、未来规划3.1StarRocks集群的稳定性3.2StarRocks新特性采用原文大佬的这篇贝壳找房数仓实践的文章整体写的很深入
吵吵叭火·2025-02-08 19:00

Doris故障恢复

故障日志data/fe/doris-meta/bdbrecoveryTrackershouldoverlaporfollowondisklastVLSNof81,809,450recoveryFirst
登高··2025-02-08 17:48

大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想

点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！MyBatis更新完毕目前开始更新Spring，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）Cl
m0_74823336·2025-02-07 16:57

中国城商行信贷业务数仓建设白皮书（第二期：信贷主题域建模）

一、信贷业务主题域设计方法论1.1四维建模体系采用"AARRR+T"模型构建信贷数据关系网： ┌───────────┐ │客户获取 │ │(Acquisition)←───┐ └─────┬─────┘ │    ↓     │┌─────────────────┐││贷前评估    │││(Activation) ││└─────┬─────┐  ││  │  └──────┘│  ↓    
abxzq19870214·2025-02-07 14:41

Hudi VS Doris 使用分析

数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工。Hudi（HadoopUpsertsDeletesandIncrementals）定位-面向数据湖的增量写入、更新与删除技术。Hudi通过表格式管理的能力，为数据湖提供ACID事务、时间旅行查询等特性。场景-近实时抽数（大规模数据更
sunxunyong·2025-02-07 01:13

Hive日分区表如何快速导入到StarRocks

数仓规模60TB，FineBI数据集约8000个，BI挂出报表数约1600个，报表月增幅在40左右。
DawsonSally·2025-02-06 13:59

2天的Flink Forward Asia 有什么值得关注的点

流式湖仓和实时数仓是两回事啊。新鲜度上有很大的差别，前者
·2025-02-06 13:05

doris:事务

目前Doris不支持嵌套事务。显式事务显式事务需要用户主动开启、提交或回滚事务，目前不支持DDL和查询语句。BEGIN
向阳1218·2025-02-05 14:08

Doris通过ODBC连接MYSQL

1.概述ODBCExternalTableOfDoris提供了Doris通过数据库访问的标准接口(ODBC)来访问外部表，外部表省去了繁琐的数据导入工作，让Doris可以具有了访问各式数据库的能力，并借助
Leo⁵·2025-02-04 08:56

2024年最全Doris：读取Doris数据的N种方法_访问 doris，阿里大牛教你自己写大数据开发第三方库

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！arrow-memory-netty${arrow.v
2401_84181108·2025-02-04 08:49

使用doris过程中总结的与mysql中语法差异

1.mysql中的varchar()长度与doris中长度不一致，导致导入失败2.doris中where后面时间与字符串比较需转化类型#当create_time为datetime类型，mysql中使用concat
数据游戏·2025-02-04 00:52

Doris使用手册以及与Mysql差异整理

目录数据类型Doris数据类型数值类型日期类型字符串类型半结构类型聚合类型IP类型MySQL到Doris类型映射数据模型Doris的数据模型Aggregate模型示例一：导入数据聚合建表插入数据查看表示例二
Jet-W·2025-02-04 00:51

DorisSQL与MySQL函数与语法对照差异篇

1.日期函数时区.mysql -> convert_tz(dt,from_tz,to_tz)doris -> CONVERT_TZ(DATETIME dt, VARCHAR from_tz, VARCHAR
小晨说数据·2025-02-04 00:19

Doris中架构和mysql语法的差异

Doris的架构只设FE,BE两种角色，两个进程，不依赖于外部组件，方便部署和运维，FE和BE都可线性扩展。
苦苦挣扎的小码农·2025-02-03 23:13

Hive分区和分桶

Hive分区和分桶两种用于优化查询性能的数据组织策略，数仓设计的关键概念，可提升Hive在读取大量数据时的性能。1分区（Partitioning）根据表的某列的值来组织数据。
码农小旋风·2025-02-03 14:51

活动火热报名中 | Data+AI 融合趋势下的智能数仓平台建设

MaxCompute作为阿里云最核心的核心战略级云数仓产品之一，在Data+AI融合趋势下，通过经典数据仓库能力定义与云数据架构的深刻理解，构建出面向下一代智能云数仓，并为用户提供了Data+AI一体化开发体验
·2025-02-02 11:34

Java 大视界 -- Java 大数据实时数仓的构建与运维实践（55）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。一、欢迎加入【福利社群
青云交·2025-02-02 05:40

Doris实战——特步集团零售数据仓库项目实践

批量数据的导入3.2实时数据接入3.3数据加工3.4BI查询四、实时需求响应五、其他经验5.1DorisBE内存溢出5.2SQL任务超时5.3删除语句不支持表达式5.4Drop表闪回六、未来展望原文大佬的这篇Doris
吵吵叭火·2025-02-01 03:54

使用supervisor实现Doris进程自动拉起

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星supervisor安装1.使用yum命令安装(推荐)yuminstallepel-releaseyuminstall-ysupervisorsystemctlenablesupervisord
hf200012·2025-02-01 02:50

Apache Doris 3.0核心特性和生产实践解读

上周Doris社区发布了Doris3.0版本，3.0版本被定位成湖仓一体演化路线上的重要里程碑版本。同时Doris官方社区已经更新了3.0版本的文档。
王知无(import_bigdata)·2025-01-31 10:36

OLAP引擎比较

doris是一个OLAP数据库，支持对大数据的复杂查询，延迟为秒级。doris比sparksql快，主要原因在于针对场景不同导致的架构不同。
小手追梦·2025-01-31 10:30
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他