Doris数仓

活动火热报名中 | Data+AI 融合趋势下的智能数仓平台建设

MaxCompute作为阿里云最核心的核心战略级云数仓产品之一，在Data+AI融合趋势下，通过经典数据仓库能力定义与云数据架构的深刻理解，构建出面向下一代智能云数仓，并为用户提供了Data+AI一体化开发体验
·2025-02-02 11:34

Java 大视界 -- Java 大数据实时数仓的构建与运维实践（55）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。一、欢迎加入【福利社群
青云交·2025-02-02 05:40

Doris实战——特步集团零售数据仓库项目实践

批量数据的导入3.2实时数据接入3.3数据加工3.4BI查询四、实时需求响应五、其他经验5.1DorisBE内存溢出5.2SQL任务超时5.3删除语句不支持表达式5.4Drop表闪回六、未来展望原文大佬的这篇Doris
吵吵叭火·2025-02-01 03:54

使用supervisor实现Doris进程自动拉起

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星supervisor安装1.使用yum命令安装(推荐)yuminstallepel-releaseyuminstall-ysupervisorsystemctlenablesupervisord
hf200012·2025-02-01 02:50

Apache Doris 3.0核心特性和生产实践解读

上周Doris社区发布了Doris3.0版本，3.0版本被定位成湖仓一体演化路线上的重要里程碑版本。同时Doris官方社区已经更新了3.0版本的文档。
王知无(import_bigdata)·2025-01-31 10:36

OLAP引擎比较

doris是一个OLAP数据库，支持对大数据的复杂查询，延迟为秒级。doris比sparksql快，主要原因在于针对场景不同导致的架构不同。
小手追梦·2025-01-31 10:30

数仓ETL测试

提取，转换和加载有助于组织使数据在不同的数据系统中可访问，有意义且可用。ETL工具是用于提取，转换和加载数据的软件。在当今数据驱动的世界中，无论大小如何，都会从各种组织，机器和小工具中生成大量数据。在传统的编程方式中，ETL都提取并进行一些转换操作，然后将转换后的数据加载到目标数据库文件等。为此，需要用任何编程语言编写代码，如Java，C#，C++等。为了避免更多编码和使用库，将通过拖放组件来减少
星月情缘02·2025-01-30 03:15

数仓的数据加工过程-ETL

ETL代表ExtractTransform和Load。ETL将所有三个数据库功能组合到一个工具中，以从一个数据库获取数据并将其放入另一个数据库。提取：提取是从数据库中提取(读取)信息的过程。在此阶段，从多个或不同类型的来源收集数据。转换：转换是将提取的数据从之前的形式转换为所需形式的过程。数据可以放入另一个数据库。可以通过使用规则或查找表或将数据与其他数据组合来进行转换。加载：加载是将数据写入目标
星月情缘02·2025-01-30 02:08

doris:异常数据处理

为了处理这些异常情况，Doris提供了两个重要的控制参数：严格模式(strict_mode)：用于控制是否过滤转换失败的数据行。
向阳1218·2025-01-29 23:19

springboot整合doris(doris创建表)

Doris的数据模型主要分为3类：明细模型（DuplicateKeyModel）：允许指定的Key列重复；适用于必须保留所有原始数据记录的情况主键模型（UniqueKeyModel）：每一行的Key值唯一
小徐敲java·2025-01-28 23:09

从建表语句带你学习doris_数据类型

1、前言概述1.1、doris建表模板CREATE[EXTERNAL]TABLE[IFNOTEXISTS][DATABASE.]table_name(column_definition1[,column_deinition2
圣·杰克船长·2025-01-28 23:09

doris: MAP数据类型

MAP表示由K,V类型元素组成的map，不能作为key列使用。目前支持在Duplicate，Unique模型的表中使用。K,V支持的类型有：BOOLEAN,TINYINT,SMALLINT,INT,BIGINT,LARGEINT,FLOAT,DOUBLE,DECIMAL,DECIMALV3,DATE,DATEV2,DATETIME,DATETIMEV2,CHAR,VARCHAR,STRINGCSV
向阳1218·2025-01-28 23:06

【智慧水务】二供数仓功能架构

目录一、数据采集层（一）设备数据采集（二）水质数据采集（三）用户数据采集二、数据传输层（一）有线传输（二）无线传输三、数据存储层（一）原始数据存储（二）数据仓库存储四、数据分析层（一）实时数据分析（二）历史数据分析（三）预测性分析五、数据展示层（一）可视化界面（二）移动端应用六、系统管理层（一）用户权限管理（二）数据备份与恢复（三）系统维护与升级一、数据采集层（一）设备数据采集传感器数据：在二次供
大雨淅淅·2025-01-28 16:40

常见的数仓架构模式

一、常见的数仓架构模式有：独立数据集市架构特点：这种架构下，每个部门或业务线根据自身需求构建独立的数据集市，数据集市通常规模较小，专注于特定的业务领域。
JJJJJJJJia·2025-01-28 14:24

doris: CSV导入数据

本文介绍如何在Doris中导入CSV格式的数据文件。Doris支持灵活的CSV格式配置，包括自定义分隔符、字段包围符等，并提供多种导入方式以满足不同场景的数据导入需求。
向阳1218·2025-01-27 16:56

doris: ARRAY数据类型

ARRAY表示由T类型元素组成的数组，不能作为key列使用。2.0之前仅支持在Duplicate模型的表中使用。从2.0版本开始支持在Unique模型的表中的非key列使用。T支持的类型有：BOOLEAN,TINYINT,SMALLINT,INT,BIGINT,LARGEINT,FLOAT,DOUBLE,DECIMAL,DATE,DATEV2,DATETIME,DATETIMEV2,CHAR,VA
向阳1218·2025-01-27 09:36

【数仓】数据仓库高频面试题题英文版(1)

【数仓】数据仓库高频面试题题英文版(1)【数仓】数据仓库高频面试题题英文版(2)【数仓】数据仓库高频面试题题英文版(3)WhatisDataWarehouse?
和风与影·2025-01-27 01:13

doris：ORC

本文介绍如何在Doris中导入ORC格式的数据文件。
向阳1218·2025-01-26 19:30

Apache Doris 2.1.8 版本正式发布

立即下载：https://doris.apache.org/downloadGitHub下载：https://github.com/apache/doris/rel
SelectDB技术团队·2025-01-25 17:01

服务行业的数据管理实践：TapData Cloud 如何助力连锁酒店物业的全球化运营优化

维护数据管道的诸多烦扰，轻量替代OGG,Kettle等同步工具，以及基于Kafka的ETL解决方案，「CDC+流处理+数据集成」组合拳，加速仓内数据流转，帮助企业将真正具有业务价值的数据作用到实处，将“实时数仓
·2025-01-25 10:01

数据仓库面试题集锦（附答案和数仓知识体系）

17、数仓架构为什么要分层？光阴似箭，岁月如刀。小编已经从刚毕业时堤上看风的白衣少年，变成了一个有五年开发经验的半老程序员。
2401_83703951·2025-01-25 03:19

doris：Azure Storage导入数据

Doris提供两种方式从AzureStorage导入文件：使用S3Load将AzureStorage文件导入到Doris中，这是一个异步的导入方式。
向阳1218·2025-01-24 16:53

Apache Doris主要应用场景和一些实际案例

以下是Doris的主要应用场景和一些实际案例。应用场景1.实时数据分析数据流处理：Doris可以实时ingest（引入）和分析数据流，适用于监控系统、实时用户行为分析等场景。
临水逸·2025-01-24 13:33

【Flink 实战系列】Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi

开发的变化数据获取组件（Changedatacapture），简单的说就是来捕获变更的数据，ApacheHudi是一个数据湖平台，又支持对数据做增删改查操作，所以FlinkCDC可以很好的和Hudi结合起来，打造实时数仓
JasonLee实时计算·2025-01-24 09:31

doris:Insert Into Select

INSERTINTO支持将Doris查询的结果导入到另一个表中。INSERTINTO是一个同步导入方式，执行导入后返回导入结果。可以通过请求的返回判断导入是否成功。
向阳1218·2025-01-24 08:24

数仓建模—初识数据治理

数仓建模—初识数据治理随着企业数据爆炸式增长，企业在用数时，会存在数据孤岛问题、数据建设不规范指标口径不统一数据查询计算不稳定数据安全等问题。因而各个公司也开始了数据治理，推动数据规范建设及使用。
不二人生·2025-01-24 00:52

Doris-计算特性

1全新优化器1.1如何开启1.2统计信息1.2.1使用ANALYZE语句手动收集1.2.1自动收集
卢子墨·2025-01-23 02:07

用增结算数仓化改造：在/离线调度系统的构建与应用

导读移动运营推广平台（OPS）承载着百度内部移动应用/移动搜索业务的用户增长预算的全流程结算线上化管控功能，为了解决用增业务发展规模扩大、原有技术架构老旧、无离线数仓系统等一系列的问题，针对全域结算数据启动了整体的架构改造
百度Geek说·2025-01-22 23:39

看懂数仓：维度设计

一、维度的基本概念维度是维度建模的基础和灵魂。在维度建模中,将度量称为“事实”将环境描述为“维度”，维度是用于分析事实所需要的多样环境。例如在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。维度所包含的表示维度的列，称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。例如，在查询请求中，获取某类目的商品、正常状态的商品等，是通过约束商品类
剑客狼心·2025-01-22 18:32

数仓建模：维度表合并时，如何确保数据的完整性？

目录1.数据映射和合并规则2.数据清洗和转换3.数据完整性检查4.数据补全和关联5.数据验证和测试6.日志和监控往期精彩1.数据映射和合并规则思路：建立清晰的数据映射和合并规则，明确如何将源维度表的数据合并到目标维度表中，确保重要信息不丢失。具体操作：明确合并逻辑：对于要合并的维度表，确定每个字段的合并规则。例如，在合并dim_marketing_channel和dim_marketing_sou
莫叫石榴姐·2025-01-22 13:19

Databend 特性系列（1）｜Databend 数据生命周期

Databend是一个使用Rust研发、开源、完全面向云架构的新式数仓，提供极速的弹性扩展能力，致力于打造按需、按量的DataCloud产品体验。
Databend·2025-01-22 07:06

【YashanDB知识库】手工迁移Doris数据到崖山分布式

具体步骤如下：通过sql语句将Doris表导出成csv文件注：导出到本地文件时需要先在fe.conf中配置enable_outfile_to_local=true并重启fe节点--
·2025-01-21 21:16

doris:阿里云 OSS 导入数据

Doris提供两种方式从阿里云OSS导入文件：使用S3Load将阿里云OSS文件导入到Doris中，这是一个异步的导入方式。使用TVF将阿里云OSS文件导入到Doris中，这是一个同步的导入方式。
向阳1218·2025-01-21 13:01

Apache Doris 2.1.6 版本正式发布

官网下载：https://doris.apache.org/GitHub下载：https://github.com/apach
·2025-01-21 12:15

oracle goldengate from mongodb to oracle的实时同步

我方工程师把mongodb数据库同步到doris数据仓库。考虑
夹心饼2024·2025-01-21 04:09

新一代实时神器-Fluss初识及部署

在作者看来，其实Fluss目前的主要替换者是Kafka，它的出现也是为了替换kafka在实时数仓链路中
本旺·2025-01-20 06:01

正式开源，Doris Operator 支持高效 Kubernetes 容器化部署方案

为满足用户在Kubernetes平台上对Doris的高效部署和运维要求，飞轮科技推出了Dor
SelectDB技术团队·2025-01-20 01:13

SS00023.PBpositions——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|

一、Griffin编译准备###---软件解压缩[root@hadoop02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software/griffin-griffin-0.5.0.zip[root@hadoop02~]#cd/opt/yanqi/software/[root@hadoop02software]#unzi
yanqi_vip·2025-01-19 21:30

Apache Doris安装部署

目录Doris简介Doris安装包下载JDK安装Doris安装单机部署安装部署规划创建用户解压安装包配置FE配置BE启动FE和BE连接Doris集群添加BE节点修改root和admin用户的密码创建数据库和数据表停止
ErbaoLiu·2025-01-19 19:47

doris 安装部署

doris安装部署架构Doris的主要架构分为FE（frontend）、BE（backend）两个角色、两个进程，不依赖于外部的组件，极易部署、运维，FE和BE都有很好的拓展性。
猫猫姐·2025-01-19 18:13

一文读懂数据仓库构建流程（超详细）

相信大家都知道数仓分层架构（ods、dwd、dim、dws等）。
嗨皮一会吧·2025-01-19 15:41

数仓建模（五）选择数仓技术栈：Hive & ClickHouse & 其它

在大数据技术的飞速发展下，数据仓库（DataWarehouse，简称数仓）成为企业处理和分析海量数据的核心工具。
昊昊该干饭了·2025-01-19 08:45

关于大规模实时数仓搭建，我有几条心得...

现状闲鱼作为一款闲置交易APP，在二手交易市场中是当之无愧的佼佼者。闲鱼从2014年诞生到现在七整年间持续增长，在这高速增长的背后带来的是每天近百亿的曝光点击浏览等数据，在这些数据规模如此庞大的背后也会带来诸多关于实时性的问题：•用户反馈商品曝光异常，如何快速定位？•产品同学圈了一批商品，如何查看该样本的实时报表？•发现问题总是晚一步，如何在第一时间获取自定义的预警信息？•......为了解决上述
闲鱼技术·2025-01-19 06:28

集群间hive数仓迁移

方式一：(此方法需要建库建表)第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表；showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoopfs-get/user/hive/warehouse/dc_ods.db
one code·2025-01-18 17:15

【数仓】数据质量监控

之前提到了数据质量：【数仓】数据质量我在面试中也碰到了数据质量的问题，没回答出来。今天学习一下数据质量监控原则。欢迎点击此处关注公众号。
和风与影·2025-01-18 13:15

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已
武子康·2025-01-18 10:29

智能数据时代：如何优化数仓模型的复用性

在数仓岗位面试中，相信很多同学都频繁被问到“模型复用性”相关面试题。这个也是很多企业数仓建设中非常关注的问题，因为在企业数仓建设中数仓模型的复用性，更是有着多方面的关键意义。
Python编程杰哥·2025-01-18 00:44

数智化转型 | 星环科技Defensor 助力某银行数据分类分级

某银行作为数字化转型的先行者，面临着一项艰巨的任务：如何高效、准确地对分布在多个业务系统、业务库与数仓数湖中的约80万个字段进行数据分类和分级。
·2025-01-18 00:56

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

该农商行基于星环科技实时湖仓集一体平台，替代了Teradata数仓、Oracle数据平台和Hadoop数据湖三个平台，一体化架构同时满足数据湖海量汇集、复杂数仓模型
·2025-01-17 20:42

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。
大模型大数据攻城狮·2025-01-17 19:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他