--Doris

Flink 通过 Chunjun Oracle LogMiner 实时读取 Oracle 变更日志并写入 Doris 的方案

文章目录一、技术背景二、关键技术1、OracleLogMiner2、Chunjun的LogMiner关键流程3、修复ChunjunOracleLogMiner问题一、技术背景在大数据实时同步场景中，需要将Oracle数据库的变更数据（CDC）采集并写入ApacheDoris，以支持数据分析、BI报表、实时数据仓库等应用。本方案基于Flink+Chunjun，通过OracleLogMiner解析Re
roman_日积跬步-终至千里·2025-03-20 18:12

数据中台（二）数据中台相关技术栈

CDH2.相关的技术栈数据存储：HDFS，HBase，Kudu等数据计算：MapReduce,Spark,Flink交互式查询：Impala,Presto在线实时分析：ClickHouse，Kylin，Doris
Yuan_CSDF·2025-03-20 05:25

Apache Doris整合Iceberg + Flink CDC构建实时湖仓体的联邦查询分析架构

随着大数据技术的迅猛发展，构建实时湖仓体并进行联邦查询分析成为了许多企业的迫切需求。在这篇文章中，我们将探讨如何利用ApacheDoris整合Iceberg和FlinkCDC来构建这样一个架构，并提供相应的源代码示例。简介实时湖仓体是一种灵活、可扩展的数据架构，结合了数据湖和数据仓库的优势。ApacheDoris是一款开源的分布式SQL引擎，专注于实时分析和查询。Iceberg是一种开放式表格格式
MfvShell·2025-03-20 00:10

MySQL 安全传输

Doris开启SSL功能需要配置CA密钥证书和Server端密钥证书，如需开启双向认证，还需生成Client端密钥证书：默认的CA密钥证书文件位于Doris/fe/mysql_ssl_default_certificate
向阳1218·2025-03-19 12:14

【用户投稿】手把手基于Apache SeaTunnel从PostgreSQL同步到Doris

版本要求：PostgreSQL-->Server14.6ApacheSeaTunnel-->Apache-SeaTunnel-2.3.9ApacheDoris-->Apache-Doris-3.0.
SeaTunnel·2025-03-18 08:21

Apache Doris 3.0.4 版本正式发布

官网下载：https://doris.apache.org/downloadGitHub下载：https://github.com/apache/doris/releases/tag/3
·2025-03-17 14:06

doris:认证与鉴权概述

Doris的权限管理系统参照了MySQL的权限管理机制，做到了行级别细粒度的权限控制，基于角色的权限访问控制，并且支持白名单机制。
向阳1218·2025-03-17 13:18

doris：安全概览

oris提供以下机制管理数据安全：身份认证：Doris支持用户名/密码与LDAP认证方式。
向阳1218·2025-03-17 10:27

老板既要又要还要......我用Doris+Hudi把不可能变成了日常

老板既要又要还要......我用Doris+Hudi把不可能变成了日常探索Doris与Hudi的完美融合智能查询优化华丽转身-不止于快的进化Doris+Hudi湖仓一体的"艺术之美"大数据江湖中流传着这样一个传说
一臻数据·2025-03-15 15:42

六月份阶段性大总结之Doris/Clickhouse/Hudi一网打尽

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜全网最全大数据面试提升手册！这是个阶段性小总结，后面会持续更新。ClickHouse「Clickhouse系列」分布式表&本地表详解「ClickHouse系列」ClickHouse之MergeTree原理「ClickHouse系列」Replication机制详解「ClickHouse系列」ClickHouseSQL基本语法和导入导出实战「C
王知无(import_bigdata)·2025-03-15 15:11

使用 Doris 和 Iceberg

作为一种全新的开放式的数据管理架构，湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用。在过去多个版本中，ApacheDoris持续加深与数据湖的融合，当前已演进出一套成熟的湖仓一体解决方案。自0.15版本起，ApacheDoris引入Hive和Iceberg
向阳1218·2025-03-15 15:10

使用 Doris 和 LakeSoul

作为一种全新的开放式的数据管理架构，湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用。在过去多个版本中，ApacheDoris持续加深与数据湖的融合，当前已演进出一套成熟的湖仓一体解决方案。自0.15版本起，ApacheDoris引入Hive和Iceberg
向阳1218·2025-03-15 15:10

doris:Hudi Catalog

使用限制Hudi表支持的查询类型如下：表类型支持的查询类型CopyOnWriteSnapshotQuery,TimeTravel,IcrementalReadMergeOnReadSnapshotQueries,ReadOptimizedQueries,TimeTravel,IcrementalRead目前支持HiveMetastore和兼容HiveMetastore类型(例如AWSGlue/Al
向阳1218·2025-03-15 15:40

doris：SQL 方言兼容

提示从2.1版本开始，Doris可以支持多种SQL方言，如Presto、Trino、Hive、PostgreSQL、Spark、Clickhouse等等。
向阳1218·2025-03-15 01:07

30个节点的Doris集群，每个节点有2块7TB的SSD盘，12块8TB的机械盘，分区和分桶的最佳实践

针对30个节点（每个节点配备2块7TBNVMe盘+12块8TBSATA盘）的Doris集群，以下是分区与分桶的最佳实践方案：一、硬件资源规划与存储优化存储介质分层•NVMe盘：用于存储热数据分区（如最近
fzip·2025-03-14 16:15

doris：ClickHouse

DeepseekR1提供的3D迷宫设计方案是一个结合虚拟现实（VR）、增强现实（AR）和物理迷宫的创新项目，旨在为用户提供沉浸式体验。以下是该设计方案的详细讲解：1.设计目标沉浸式体验：通过3D技术让用户感受到身临其境的迷宫探索。互动性：用户可以通过物理设备（如手柄、传感器）与虚拟迷宫互动。可扩展性：支持不同难度级别和主题的迷宫设计。教育与娱乐结合：适用于游戏、教育、团队建设等多种场景。2.技术架
陆鳐LuLu·2025-03-13 18:15

Doris集群启停脚步

在Doris中，FE（Frontend）、BE（Backend）和Broker组件有特定的启动和关闭顺序，下面详细介绍一下。
江畔独步·2025-03-12 20:01

在windows上通过idea搭建doris fe的开发环境（失败案例，很多报错都是因为我是离线环境编译，还是得联网可能会顺利点）

以下是基于Windows10+CentOS环境通过IntelliJIDEA搭建DorisFE开发环境的完整指南，整合多份部署文档的关键步骤和避坑要点：一、前置环境准备1.准备Linux环境，可以使用CentOS7或者8•操作步骤：更新系统包：yumgroupinstall-y"DevelopmentTools"yuminstall-yautomakebisonflexboost-devellibe
fzip·2025-03-11 09:32

Apache Doris中都用了哪些开发语言，编译过程中用到了哪些编译器，以及用到了哪些成熟的技术框架

ApacheDoris作为一款高性能的实时分析型数据库，其技术栈涉及多语言开发、多种编译器支持以及多个成熟技术框架的集成。以下是综合多个来源的详细分析：一、开发语言Java•应用场景：主要用于开发Frontend（FE），负责元数据管理、查询解析、集群管理等模块。•关键模块：◦FE的元数据持久化通过BDBJE（BerkeleyDBJavaEdition）实现。◦MySQL协议兼容和HTTP服务分别
fzip·2025-03-11 08:24

doris：Elasticsearch

ElasticsearchCatalog除了支持自动映射ES元数据外，也可以利用Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案
向阳1218·2025-03-11 07:20

doris：阿里云 MaxCompute

MaxCompute是阿里云上的企业级SaaS（SoftwareasaService）模式云数据仓库。什么是MaxCompute连接MaxCompute示例--1.创建Catalog。CREATECATALOGmcPROPERTIES("type"="max_compute","mc.default.project"="xxx","mc.access_key"="xxxx","mc.secret_
向阳1218·2025-03-11 07:20

Apache Doris 实现毫秒级查询响应

1.引言1.1数据分析的重要性随着大数据时代的到来，企业对实时数据分析的需求日益增长。快速、准确地获取数据洞察成为企业在竞争中脱颖而出的关键。传统的数据库系统在处理大规模数据时往往面临性能瓶颈，难以满足实时分析的需求。例如，一个电商公司需要实时监控销售数据以调整库存和营销策略，而传统的数据库可能需要数分钟甚至数小时才能生成报表，这显然无法满足业务需求。1.2ApacheDoris简介ApacheD
随风九天·2025-03-11 07:19

doris：分析 S3/HDFS 上的文件

通过TableValueFunction功能，Doris可以直接将对象存储或HDFS上的文件作为Table进行查询分析。并且支持自动的列类型推断。
向阳1218·2025-03-10 11:24

Apache Doris 现行版本 Docker-Compose 运行教程

特别注意！DorisOnDocker部署方式仅限于开发环境或者功能测试环境，不建议生产环境部署！如有生产环境或性能测试集群部署诉求，请使用裸机/虚机部署或K8SOperator部署方案！原文阅读：ApacheDoris现行版本Docker-Compose运行教程引言随着ApacheDoris项目的火热，很多想尝鲜或者试用的小伙伴都希望通过Docker来快速拉起一个功能测试或者开发的集群，但由于一些
atbigapp.com·2025-03-09 22:41

doris ：SAP HANA

DorisJDBCCatalog支持通过标准JDBC接口连接OceanBase数据库。本文档介绍如何配置OceanBase数据库连接。使用须知要连接到OceanBase数据库，您需要OceanBase3.1.0或更高版本OceanBase数据库的JDBC驱动程序，您可以从Maven仓库下载最新或指定版本的OceanBaseJDBC驱动程序。推荐使用OceanBaseConnector/J2.4.8
向阳1218·2025-03-09 22:04

Doris存储的逻辑架构和物理架构

ApacheDoris的存储架构分为逻辑架构和物理架构两个层面，其设计核心围绕数据分布与查询优化展开。以下为详细解析：一、逻辑架构1.表结构分层逻辑表（LogicalTable）用户直接操作的抽象表，支持多种数据模型：明细模型（DuplicateKeyModel）：原始数据存储，无预聚合，适合日志类场景。聚合模型（AggregateKeyModel）：写入时按维度预聚合（如SUM、COUNT），适
fzip·2025-03-09 20:21

doris：ClickHouse

DorisJDBCCatalog支持通过标准JDBC接口连接ClickHouse数据库。本文档介绍如何配置ClickHouse数据库连接。使用须知要连接到ClickHouse数据库，您需要ClickHouse23.x或更高版本(低于此版本未经充分测试)。ClickHouse数据库的JDBC驱动程序，您可以从Maven仓库下载最新或指定版本的ClickHouseJDBC驱动程序。推荐使用ClickH
向阳1218·2025-03-09 18:00

doris: MySQL

Doris每个FE和BE节点和MySQ
向阳1218·2025-03-09 02:24

Doris 数据集成 Kafka

Doris数据集成Kafka这是我们Doris数据集成篇的第二篇，前面我们介绍过通过Catalog进行集成的例子Doris基础篇—数据集成Catalog目前公司的很多数据服务都开始使用Doris了，目前使用下来感觉还是很方便的
不二人生·2025-03-07 16:29

doris: Hive

自2.1.3版本开始，ApacheDoris支持对Hive的DDL和DML操作。用户可以直接通过ApacheDoris在Hive中创建库表，并将数据写入到Hive表中。通过该功能，用户可以通过ApacheDoris对Hive进行完整的数据查询和写入操作，进一步帮助用户简化湖仓一体架构。本文介绍在ApacheDoris中支持的Hive操作，语法和使用须知。提示这是一个实验功能。提示使用前，请先设置：
向阳1218·2025-03-05 11:17

Flink同步数据mysql到doris问题合集

Flink同步数据mysql到doris官方同步流程Doris安装下载地址导入镜像启动配置Flink-cdc安装（自制）下载地址导入镜像启动命令启动问题修复Flink报错Couldnotacquiretheminimumrequiredresources
土豆沒加·2025-03-02 05:28

Doris、ClickHouse 和 Flink 这三个技术典型的应用场景

Doris、ClickHouse和Flink这三个技术在不同业务场景下有各自的成功落地方案，主要用于数据分析、实时计算和高性能查询。
每天瞎忙的农民工·2025-03-02 04:19

使用 Flink CDC 实现 MySQL 数据,表结构实时入 Apache Doris

背景现有数据库：mysql数据：库表较多，每个企业用户一个分库，每个企业下的表均不同，无法做到聚合,且表可以被用户随意改动，增删改列等，增加表分析：用户自定义分析，通过拖拽定义图卡，要求实时，点击确认即出现相应结果，其中有无法预判的过滤问题：随业务增长，企业用户越来越多，mysql压力越来越大，已经出现一些图卡加载过慢[mysqlsql]同步流程脚本读取mysql中需要同步的企业，在获取需要同步的
一天两晒网·2025-03-01 18:42

Spark提交任务

Spark提交任务到Yarn1.1、DwKuduAppspark-submit--classcom.io.etl.dwkudu.DwKuduApp\--files/etl/etl-dwkudu/conf/doris.property
docsz·2025-02-26 04:50

doris：使用 Hint 调整 Join Shuffle 方式

概述Doris支持使用Hint来调整Join操作中数据Shuffle的类型，从而优化查询性能。本节将详细介绍如何在Doris中利用Hint来指定JoinShuffle的类型。
向阳1218·2025-02-23 16:47

doris集群

开发doris的团队厉害，这个百度工程师确实也干了一些实事，不像领导层只会跑火车。
warrah·2025-02-20 09:30

doris:查询缓存

概念介绍SQLCache是Doris提供的一种查询优化机制，可以显著提升查询性能。它通过缓存查询结果来减少重复计算，适用于数据更新频率较低的场景。
向阳1218·2025-02-16 22:17

Apache Doris 2.1.6 版本正式发布

官网下载：https://doris.apache.org/GitHub下载：ReleaseApacheDoris2.1.6R
SelectDB技术团队·2025-02-14 14:07

Apache Doris 2.0.15 版本发布

立即下载：ApacheDoris-Download|EasilydeployDorisanywhere-ApacheDorisGitHub下载：https://github.com/apache/doris
SelectDB技术团队·2025-02-14 14:07

Doris实战——工商信息查询平台的湖仓一体建设

目录前言一、架构1.0：传统Lambda架构二、OLAP引擎调研三、架构2.0：数据服务层AllinApacheDoris四、架构3.0：基于DorisMulti-Catalog的湖仓一体架构五、实践经验5.1引入Merge-on-Write，百亿级单表查询提速近三倍5.2部分列数据更新，数据开发效率提升100%5.3丰富Join的优化手段，整体查询速度最高提升近四倍5.4LightSchemaC
吵吵叭火·2025-02-14 14:06

Doris实战—构建日志存储与分析平台

构建日志存储与分析平台日志是系统运行的详细记录，包含各种事件发生的主体、时间、位置、内容等关键信息。出于运维可观测、网络安全监控及业务分析等多重需求，企业通常需要将分散的日志采集起来，进行集中存储、查询和分析，以进一步从日志数据里挖掘出有价值的内容。针对此场景，ApacheDoris提供了相应解决方案，针对日志场景的特点，增加了倒排索引和极速全文检索能力，极致优化写入性能和存储空间，使得用户可以基
不二人生·2025-02-09 18:47

doris：MySQL Load

Doris兼容MySQL协议，可以使用MySQL标准的LOADDATA语法导入本地文件。MySQLLoad是一种同步导入方式，执行导入后即返回导入结果。
向阳1218·2025-02-09 02:51

Doris故障恢复

故障日志data/fe/doris-meta/bdbrecoveryTrackershouldoverlaporfollowondisklastVLSNof81,809,450recoveryFirst
登高··2025-02-08 17:48

Hudi VS Doris 使用分析

数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工。Hudi（HadoopUpsertsDeletesandIncrementals）定位-面向数据湖的增量写入、更新与删除技术。Hudi通过表格式管理的能力，为数据湖提供ACID事务、时间旅行查询等特性。场景-近实时抽数（大规模数据更
sunxunyong·2025-02-07 01:13

doris:事务

目前Doris不支持嵌套事务。显式事务显式事务需要用户主动开启、提交或回滚事务，目前不支持DDL和查询语句。BEGIN
向阳1218·2025-02-05 14:08

Doris通过ODBC连接MYSQL

1.概述ODBCExternalTableOfDoris提供了Doris通过数据库访问的标准接口(ODBC)来访问外部表，外部表省去了繁琐的数据导入工作，让Doris可以具有了访问各式数据库的能力，并借助
Leo⁵·2025-02-04 08:56

2024年最全Doris：读取Doris数据的N种方法_访问 doris，阿里大牛教你自己写大数据开发第三方库

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！arrow-memory-netty${arrow.v
2401_84181108·2025-02-04 08:49

使用doris过程中总结的与mysql中语法差异

1.mysql中的varchar()长度与doris中长度不一致，导致导入失败2.doris中where后面时间与字符串比较需转化类型#当create_time为datetime类型，mysql中使用concat
数据游戏·2025-02-04 00:52

Doris使用手册以及与Mysql差异整理

目录数据类型Doris数据类型数值类型日期类型字符串类型半结构类型聚合类型IP类型MySQL到Doris类型映射数据模型Doris的数据模型Aggregate模型示例一：导入数据聚合建表插入数据查看表示例二
Jet-W·2025-02-04 00:51

DorisSQL与MySQL函数与语法对照差异篇

1.日期函数时区.mysql -> convert_tz(dt,from_tz,to_tz)doris -> CONVERT_TZ(DATETIME dt, VARCHAR from_tz, VARCHAR
小晨说数据·2025-02-04 00:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他