Doris

Apache Doris 2.1.9 版本正式发布

官网下载：https://doris.apache.org/downloadGitHub下载：https://github.com/apache/doris/releases行为变更AuditLog中的

·2025-04-03 18:42

doris 数据倾斜怎么解决？

以下是几种常见的数据倾斜解决方案：1.选择合适的分桶（Bucket）字段Doris使用分桶表（BucketTable）进行数据分布，如果DISTRIBUTEDBYHASH(列名)选择的字段基数过低（值过少

小健学 Java·2025-04-03 00:59

拉卡拉 x Apache Doris：统一金融场景 OLAP 引擎，查询提速 15 倍，资源直降 52%

导读：拉卡拉早期基于Lambda架构构建数据系统面临存储成本高、实时写入性能差、复杂查询耗时久、组件维护复杂等问题。为此，拉卡拉选择使用ApacheDoris替换Elasticsearch、Hive、Hbase、TiDB、Oracle/MySQL等组件，实现了OLAP引擎的统一、查询性能提升15倍、资源减少52%的显著成效。拉卡拉（股票代码300773）是国内首家数字支付领域上市企业，从支付、货源

·2025-04-02 20:13

doris _stream_load There is no 100-continue header 报错解决

问题：{“status”:“FAILED”,“msg”:“Thereisno100-continueheader”}解决：requestheaders增加参数即可：“expect”:“100-continue”完整headers示例：headers={“Content-Type”:“application/json”,“strict_mode”:“false”,“format”:“json”,“r

Leo_Hu666·2025-04-01 18:22

doris：备份

第1步。创建Repository根据您的存储选择适当的语句来创建Repository。有关详细用法，请参阅创建Repository。在不同集群使用相同路径的Repository进行备份时，请确保使用不同的Label，以避免冲突造成数据错乱。方法1:在S3上创建Repository要在S3存储上创建Repository，请使用以下SQL命令：CREATEREPOSITORY`s3_repo`WITH

向阳1218·2025-04-01 04:17

doris:容灾管理概览

Doris提供了容灾管理能力，通过跨集群数据同步、备份与恢复和回收站恢复三大功能，帮助用户有效应对硬件故障、软件错误或人为失误导致的数据丢失问题，确保数据的高可用性和可靠性。

向阳1218·2025-04-01 04:47

Doris 中大表与大表 Join 优化策略

在Doris中，大表与大表Join的性能瓶颈主要源于数据分布、网络传输和内存资源三大核心问题。

小技工丨·2025-03-31 04:23

Flink+Paimon/Hudi+Doris湖仓架构在各大公司落地的一些总结

记录一下各大公司落地湖仓项目的主要解决的问题和收益，从这些已经有的实践中吸收一些经验。参考的分享文档在文章末尾。一些背景阿里妈妈：实时广告决策驱动淘天集团商业数智营销中台，阿里妈妈日均处理千亿级广告请求，传统Lambda架构导致实时与离线数据割裂，无法满足分钟级预算调控需求。广告归因分析需跨时段行为关联，要求数据更新延迟低于50ms，同时需支持700GB/h的高并发写入。腾讯视频：指标治理与时效压

王知无(import_bigdata)·2025-03-26 20:07

通过启用Ranger插件的Hive审计日志同步到Doris做分析

以下是基于ApacheDoris的RangerHive审计日志同步方案详细步骤，结合审计日志插件与数据导入策略实现：一、Doris环境准备1.创建审计日志库表参考搜索结果的表结构设计，根据Ranger日志字段调整建表语句

fzip·2025-03-22 23:48

Flink 通过 Chunjun Oracle LogMiner 实时读取 Oracle 变更日志并写入 Doris 的方案

文章目录一、技术背景二、关键技术1、OracleLogMiner2、Chunjun的LogMiner关键流程3、修复ChunjunOracleLogMiner问题一、技术背景在大数据实时同步场景中，需要将Oracle数据库的变更数据（CDC）采集并写入ApacheDoris，以支持数据分析、BI报表、实时数据仓库等应用。本方案基于Flink+Chunjun，通过OracleLogMiner解析Re

roman_日积跬步-终至千里·2025-03-20 18:12

数据中台（二）数据中台相关技术栈

Yuan_CSDF·2025-03-20 05:25

Apache Doris整合Iceberg + Flink CDC构建实时湖仓体的联邦查询分析架构

随着大数据技术的迅猛发展，构建实时湖仓体并进行联邦查询分析成为了许多企业的迫切需求。在这篇文章中，我们将探讨如何利用ApacheDoris整合Iceberg和FlinkCDC来构建这样一个架构，并提供相应的源代码示例。简介实时湖仓体是一种灵活、可扩展的数据架构，结合了数据湖和数据仓库的优势。ApacheDoris是一款开源的分布式SQL引擎，专注于实时分析和查询。Iceberg是一种开放式表格格式

MfvShell·2025-03-20 00:10

MySQL 安全传输

Doris开启SSL功能需要配置CA密钥证书和Server端密钥证书，如需开启双向认证，还需生成Client端密钥证书：默认的CA密钥证书文件位于Doris/fe/mysql_ssl_default_certificate

向阳1218·2025-03-19 12:14

【用户投稿】手把手基于Apache SeaTunnel从PostgreSQL同步到Doris

版本要求：PostgreSQL-->Server14.6ApacheSeaTunnel-->Apache-SeaTunnel-2.3.9ApacheDoris-->Apache-Doris-3.0.

SeaTunnel·2025-03-18 08:21

Apache Doris 3.0.4 版本正式发布

官网下载：https://doris.apache.org/downloadGitHub下载：https://github.com/apache/doris/releases/tag/3

·2025-03-17 14:06

doris:认证与鉴权概述

Doris的权限管理系统参照了MySQL的权限管理机制，做到了行级别细粒度的权限控制，基于角色的权限访问控制，并且支持白名单机制。

向阳1218·2025-03-17 13:18

doris：安全概览

oris提供以下机制管理数据安全：身份认证：Doris支持用户名/密码与LDAP认证方式。

向阳1218·2025-03-17 10:27

老板既要又要还要......我用Doris+Hudi把不可能变成了日常

老板既要又要还要......我用Doris+Hudi把不可能变成了日常探索Doris与Hudi的完美融合智能查询优化华丽转身-不止于快的进化Doris+Hudi湖仓一体的"艺术之美"大数据江湖中流传着这样一个传说

一臻数据·2025-03-15 15:42

六月份阶段性大总结之Doris/Clickhouse/Hudi一网打尽

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜全网最全大数据面试提升手册！这是个阶段性小总结，后面会持续更新。ClickHouse「Clickhouse系列」分布式表&本地表详解「ClickHouse系列」ClickHouse之MergeTree原理「ClickHouse系列」Replication机制详解「ClickHouse系列」ClickHouseSQL基本语法和导入导出实战「C

王知无(import_bigdata)·2025-03-15 15:11

使用 Doris 和 Iceberg

作为一种全新的开放式的数据管理架构，湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用。在过去多个版本中，ApacheDoris持续加深与数据湖的融合，当前已演进出一套成熟的湖仓一体解决方案。自0.15版本起，ApacheDoris引入Hive和Iceberg

向阳1218·2025-03-15 15:10

使用 Doris 和 LakeSoul

作为一种全新的开放式的数据管理架构，湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用。在过去多个版本中，ApacheDoris持续加深与数据湖的融合，当前已演进出一套成熟的湖仓一体解决方案。自0.15版本起，ApacheDoris引入Hive和Iceberg

向阳1218·2025-03-15 15:10

doris:Hudi Catalog

使用限制Hudi表支持的查询类型如下：表类型支持的查询类型CopyOnWriteSnapshotQuery,TimeTravel,IcrementalReadMergeOnReadSnapshotQueries,ReadOptimizedQueries,TimeTravel,IcrementalRead目前支持HiveMetastore和兼容HiveMetastore类型(例如AWSGlue/Al

向阳1218·2025-03-15 15:40

doris：SQL 方言兼容

提示从2.1版本开始，Doris可以支持多种SQL方言，如Presto、Trino、Hive、PostgreSQL、Spark、Clickhouse等等。

向阳1218·2025-03-15 01:07

30个节点的Doris集群，每个节点有2块7TB的SSD盘，12块8TB的机械盘，分区和分桶的最佳实践

针对30个节点（每个节点配备2块7TBNVMe盘+12块8TBSATA盘）的Doris集群，以下是分区与分桶的最佳实践方案：一、硬件资源规划与存储优化存储介质分层•NVMe盘：用于存储热数据分区（如最近

fzip·2025-03-14 16:15

doris：ClickHouse

DeepseekR1提供的3D迷宫设计方案是一个结合虚拟现实（VR）、增强现实（AR）和物理迷宫的创新项目，旨在为用户提供沉浸式体验。以下是该设计方案的详细讲解：1.设计目标沉浸式体验：通过3D技术让用户感受到身临其境的迷宫探索。互动性：用户可以通过物理设备（如手柄、传感器）与虚拟迷宫互动。可扩展性：支持不同难度级别和主题的迷宫设计。教育与娱乐结合：适用于游戏、教育、团队建设等多种场景。2.技术架

陆鳐LuLu·2025-03-13 18:15

Doris集群启停脚步

在Doris中，FE（Frontend）、BE（Backend）和Broker组件有特定的启动和关闭顺序，下面详细介绍一下。

江畔独步·2025-03-12 20:01

在windows上通过idea搭建doris fe的开发环境（失败案例，很多报错都是因为我是离线环境编译，还是得联网可能会顺利点）

以下是基于Windows10+CentOS环境通过IntelliJIDEA搭建DorisFE开发环境的完整指南，整合多份部署文档的关键步骤和避坑要点：一、前置环境准备1.准备Linux环境，可以使用CentOS7或者8•操作步骤：更新系统包：yumgroupinstall-y"DevelopmentTools"yuminstall-yautomakebisonflexboost-devellibe

fzip·2025-03-11 09:32

Apache Doris中都用了哪些开发语言，编译过程中用到了哪些编译器，以及用到了哪些成熟的技术框架

ApacheDoris作为一款高性能的实时分析型数据库，其技术栈涉及多语言开发、多种编译器支持以及多个成熟技术框架的集成。以下是综合多个来源的详细分析：一、开发语言Java•应用场景：主要用于开发Frontend（FE），负责元数据管理、查询解析、集群管理等模块。•关键模块：◦FE的元数据持久化通过BDBJE（BerkeleyDBJavaEdition）实现。◦MySQL协议兼容和HTTP服务分别

fzip·2025-03-11 08:24

doris：Elasticsearch

ElasticsearchCatalog除了支持自动映射ES元数据外，也可以利用Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案

向阳1218·2025-03-11 07:20

doris：阿里云 MaxCompute

MaxCompute是阿里云上的企业级SaaS（SoftwareasaService）模式云数据仓库。什么是MaxCompute连接MaxCompute示例--1.创建Catalog。CREATECATALOGmcPROPERTIES("type"="max_compute","mc.default.project"="xxx","mc.access_key"="xxxx","mc.secret_

向阳1218·2025-03-11 07:20

Apache Doris 实现毫秒级查询响应

1.引言1.1数据分析的重要性随着大数据时代的到来，企业对实时数据分析的需求日益增长。快速、准确地获取数据洞察成为企业在竞争中脱颖而出的关键。传统的数据库系统在处理大规模数据时往往面临性能瓶颈，难以满足实时分析的需求。例如，一个电商公司需要实时监控销售数据以调整库存和营销策略，而传统的数据库可能需要数分钟甚至数小时才能生成报表，这显然无法满足业务需求。1.2ApacheDoris简介ApacheD

随风九天·2025-03-11 07:19

doris：分析 S3/HDFS 上的文件

通过TableValueFunction功能，Doris可以直接将对象存储或HDFS上的文件作为Table进行查询分析。并且支持自动的列类型推断。

向阳1218·2025-03-10 11:24

Apache Doris 现行版本 Docker-Compose 运行教程

特别注意！DorisOnDocker部署方式仅限于开发环境或者功能测试环境，不建议生产环境部署！如有生产环境或性能测试集群部署诉求，请使用裸机/虚机部署或K8SOperator部署方案！原文阅读：ApacheDoris现行版本Docker-Compose运行教程引言随着ApacheDoris项目的火热，很多想尝鲜或者试用的小伙伴都希望通过Docker来快速拉起一个功能测试或者开发的集群，但由于一些

atbigapp.com·2025-03-09 22:41

doris ：SAP HANA

DorisJDBCCatalog支持通过标准JDBC接口连接OceanBase数据库。本文档介绍如何配置OceanBase数据库连接。使用须知要连接到OceanBase数据库，您需要OceanBase3.1.0或更高版本OceanBase数据库的JDBC驱动程序，您可以从Maven仓库下载最新或指定版本的OceanBaseJDBC驱动程序。推荐使用OceanBaseConnector/J2.4.8

向阳1218·2025-03-09 22:04

Doris存储的逻辑架构和物理架构

ApacheDoris的存储架构分为逻辑架构和物理架构两个层面，其设计核心围绕数据分布与查询优化展开。以下为详细解析：一、逻辑架构1.表结构分层逻辑表（LogicalTable）用户直接操作的抽象表，支持多种数据模型：明细模型（DuplicateKeyModel）：原始数据存储，无预聚合，适合日志类场景。聚合模型（AggregateKeyModel）：写入时按维度预聚合（如SUM、COUNT），适

fzip·2025-03-09 20:21

doris：ClickHouse

DorisJDBCCatalog支持通过标准JDBC接口连接ClickHouse数据库。本文档介绍如何配置ClickHouse数据库连接。使用须知要连接到ClickHouse数据库，您需要ClickHouse23.x或更高版本(低于此版本未经充分测试)。ClickHouse数据库的JDBC驱动程序，您可以从Maven仓库下载最新或指定版本的ClickHouseJDBC驱动程序。推荐使用ClickH

向阳1218·2025-03-09 18:00

doris: MySQL

Doris每个FE和BE节点和MySQ

向阳1218·2025-03-09 02:24

Doris 数据集成 Kafka

Doris数据集成Kafka这是我们Doris数据集成篇的第二篇，前面我们介绍过通过Catalog进行集成的例子Doris基础篇—数据集成Catalog目前公司的很多数据服务都开始使用Doris了，目前使用下来感觉还是很方便的

不二人生·2025-03-07 16:29

doris: Hive

自2.1.3版本开始，ApacheDoris支持对Hive的DDL和DML操作。用户可以直接通过ApacheDoris在Hive中创建库表，并将数据写入到Hive表中。通过该功能，用户可以通过ApacheDoris对Hive进行完整的数据查询和写入操作，进一步帮助用户简化湖仓一体架构。本文介绍在ApacheDoris中支持的Hive操作，语法和使用须知。提示这是一个实验功能。提示使用前，请先设置：

向阳1218·2025-03-05 11:17

Flink同步数据mysql到doris问题合集

Flink同步数据mysql到doris官方同步流程Doris安装下载地址导入镜像启动配置Flink-cdc安装（自制）下载地址导入镜像启动命令启动问题修复Flink报错Couldnotacquiretheminimumrequiredresources

土豆沒加·2025-03-02 05:28

Doris、ClickHouse 和 Flink 这三个技术典型的应用场景

Doris、ClickHouse和Flink这三个技术在不同业务场景下有各自的成功落地方案，主要用于数据分析、实时计算和高性能查询。

每天瞎忙的农民工·2025-03-02 04:19

使用 Flink CDC 实现 MySQL 数据,表结构实时入 Apache Doris

背景现有数据库：mysql数据：库表较多，每个企业用户一个分库，每个企业下的表均不同，无法做到聚合,且表可以被用户随意改动，增删改列等，增加表分析：用户自定义分析，通过拖拽定义图卡，要求实时，点击确认即出现相应结果，其中有无法预判的过滤问题：随业务增长，企业用户越来越多，mysql压力越来越大，已经出现一些图卡加载过慢[mysqlsql]同步流程脚本读取mysql中需要同步的企业，在获取需要同步的

一天两晒网·2025-03-01 18:42

Spark提交任务

Spark提交任务到Yarn1.1、DwKuduAppspark-submit--classcom.io.etl.dwkudu.DwKuduApp\--files/etl/etl-dwkudu/conf/doris.property

docsz·2025-02-26 04:50

doris：使用 Hint 调整 Join Shuffle 方式

概述Doris支持使用Hint来调整Join操作中数据Shuffle的类型，从而优化查询性能。本节将详细介绍如何在Doris中利用Hint来指定JoinShuffle的类型。

向阳1218·2025-02-23 16:47

doris集群

开发doris的团队厉害，这个百度工程师确实也干了一些实事，不像领导层只会跑火车。

warrah·2025-02-20 09:30

doris:查询缓存

概念介绍SQLCache是Doris提供的一种查询优化机制，可以显著提升查询性能。它通过缓存查询结果来减少重复计算，适用于数据更新频率较低的场景。

向阳1218·2025-02-16 22:17

Apache Doris 2.1.6 版本正式发布

官网下载：https://doris.apache.org/GitHub下载：ReleaseApacheDoris2.1.6R

SelectDB技术团队·2025-02-14 14:07

Apache Doris 2.0.15 版本发布

立即下载：ApacheDoris-Download|EasilydeployDorisanywhere-ApacheDorisGitHub下载：https://github.com/apache/doris

SelectDB技术团队·2025-02-14 14:07

Doris实战——工商信息查询平台的湖仓一体建设

目录前言一、架构1.0：传统Lambda架构二、OLAP引擎调研三、架构2.0：数据服务层AllinApacheDoris四、架构3.0：基于DorisMulti-Catalog的湖仓一体架构五、实践经验5.1引入Merge-on-Write，百亿级单表查询提速近三倍5.2部分列数据更新，数据开发效率提升100%5.3丰富Join的优化手段，整体查询速度最高提升近四倍5.4LightSchemaC

吵吵叭火·2025-02-14 14:06

Doris实战—构建日志存储与分析平台

构建日志存储与分析平台日志是系统运行的详细记录，包含各种事件发生的主体、时间、位置、内容等关键信息。出于运维可观测、网络安全监控及业务分析等多重需求，企业通常需要将分散的日志采集起来，进行集中存储、查询和分析，以进一步从日志数据里挖掘出有价值的内容。针对此场景，ApacheDoris提供了相应解决方案，针对日志场景的特点，增加了倒排索引和极速全文检索能力，极致优化写入性能和存储空间，使得用户可以基

不二人生·2025-02-09 18:47

推荐频道

Doris

Apache Doris 2.1.9 版本正式发布

doris 数据倾斜怎么解决？

拉卡拉 x Apache Doris：统一金融场景 OLAP 引擎，查询提速 15 倍，资源直降 52%

doris _stream_load There is no 100-continue header 报错解决

doris：备份

doris:容灾管理概览

Doris 中大表与大表 Join 优化策略

Flink+Paimon/Hudi+Doris湖仓架构在各大公司落地的一些总结

通过启用Ranger插件的Hive审计日志同步到Doris做分析

Flink 通过 Chunjun Oracle LogMiner 实时读取 Oracle 变更日志并写入 Doris 的方案

数据中台（二）数据中台相关技术栈

Apache Doris整合Iceberg + Flink CDC构建实时湖仓体的联邦查询分析架构

MySQL 安全传输

【用户投稿】手把手基于Apache SeaTunnel从PostgreSQL同步到Doris

Apache Doris 3.0.4 版本正式发布

doris:认证与鉴权概述

doris：安全概览

老板既要又要还要......我用Doris+Hudi把不可能变成了日常

六月份阶段性大总结之Doris/Clickhouse/Hudi一网打尽

使用 Doris 和 Iceberg

使用 Doris 和 LakeSoul

doris:Hudi Catalog

doris：SQL 方言兼容

30个节点的Doris集群，每个节点有2块7TB的SSD盘，12块8TB的机械盘，分区和分桶的最佳实践

doris：ClickHouse

Doris集群启停脚步

在windows上通过idea搭建doris fe的开发环境（失败案例，很多报错都是因为我是离线环境编译，还是得联网可能会顺利点）

Apache Doris中都用了哪些开发语言，编译过程中用到了哪些编译器，以及用到了哪些成熟的技术框架

doris：Elasticsearch

doris：阿里云 MaxCompute

Apache Doris 实现毫秒级查询响应

doris：分析 S3/HDFS 上的文件

Apache Doris 现行版本 Docker-Compose 运行教程

doris ：SAP HANA

Doris存储的逻辑架构和物理架构

doris：ClickHouse

doris: MySQL

Doris 数据集成 Kafka

doris: Hive

Flink同步数据mysql到doris问题合集

Doris、ClickHouse 和 Flink 这三个技术典型的应用场景

使用 Flink CDC 实现 MySQL 数据,表结构实时入 Apache Doris

Spark提交任务

doris：使用 Hint 调整 Join Shuffle 方式

doris集群

doris:查询缓存

Apache Doris 2.1.6 版本正式发布

Apache Doris 2.0.15 版本发布

Doris实战——工商信息查询平台的湖仓一体建设

Doris实战—构建日志存储与分析平台