Doris

Apache Doris的性能优化之Runtime Filter

目录1.介绍2.原理3.使用3.参数说明4.注意事项1.介绍当进行tb1jointb2时，tb2的数据非常小，将tb2数据经过计算得到一个过滤条件，发送到tb1所在的节点，利用索引的功能，直接对tb1的数据进行过滤。来减少扫描的数据量，避免不必要的I/O和网络传输，从而加速查询2.原理RuntimeFilter在查询规划时生成，在HashJoinNode中构建，在ScanNode中应用T1表的数据
Bulut0907·2023-11-07 03:27

Apache Doris 入门教程04：连接方式与使用指南

使用指南Doris采用MySQL协议进行通信，用户可通过MySQLclient或者MySQLJDBC连接到Doris集群。
sunjian286·2023-11-07 03:26

【浅谈 Apache Doris FE 处理查询 SQL 源码解析】

Doris查询语句和市面主流的数据库处理阶段都差不多，需要经过Parse,Analyz
齐木木9406·2023-11-07 03:56

【转】最佳实践｜Apache Doris Join 实现与调优实践

【转】https://mp.weixin.qq.com/s/YNGdTbnG6iBjT1qtsK912wDoris简介首先简单介绍一下Doris。
lehsyh·2023-11-07 03:25

Doris初步使用2

使用命令查看创建表语句：HELPCREATETABLE;创建表完整语句：CREATE[EXTERNAL]TABLE[IFNOTEXISTS][database.]table_name(column_definition1[,column_definition2,...][,index_definition1[,ndex_definition12,]])[ENGINE=[olap|mysql|bro
黄瓜炖啤酒鸭·2023-11-07 03:25

Apache Doris在美团外卖数仓中的应用实践

本文将介绍Doris在美团外卖数仓的实践。序言本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。
架构师小秘圈·2023-11-07 03:25

Apache Doris (五十二）： Doris Join类型 - Broadcast Join

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.BroadcastJoin原理
IT贫道·2023-11-07 03:53

Doris Manager集群的工具，运维更顺畅

哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️
IT邦德·2023-11-06 11:55

Apache Doris 系列： 基础篇-清理垃圾数据

垃圾数据如何产生delete/drop/truncate等操作只是在逻辑上删除了数据，并没有进行物理删除数据文件合并完成后没有物理删除旧的数据清理所有BE节点的垃圾数据ADMINCLEANTRASH;清理指定BE节点的垃圾数据ADMINCLEANTRASH[ON("BackendHost1:BackendHeartBeatPort1","BackendHost2:BackendHeartBeatP
修破立生·2023-11-06 02:48

技术实现 | Apache Doris 冷热数据存储（一）

1.前言对于任何一种数据库类软件来说，无论其基于传统数据库模型还是基于分布式结构，作为核心的永远是数据本身。而数据的生命周期，则体现在CRUD操作（创建、查询、更新、删除）上。任何一条数据从其生成的时刻开始，数据价值随着时间的推移而逐渐降低，直至成为无用数据，最终删除。作为使用数据的主体——用户，对于各种数据的需求程度是不同的，人们往往对重要的数据有更高效、稳定的访问需求；而对于不重要的数据则没有
ApacheDoris·2023-11-06 02:17

Apache Doris整体架构、FE元数据管理及数据组织

目录1.Doris整体架构2.FE元数据管理3.Doris数据组织1.Doris整体架构Doris主要分为FE和BE两个组件，FE主要负责查询的编译，分发和元数据管理（基于内存，类似HDFSNN）；BE
国林哥·2023-11-06 02:47

Apache Doris 入门教程08：建立和使用索引

目前Doris主要支持两类索引：内建的智能索引，包括前缀索引和ZoneMap索引。
sunjian286·2023-11-06 02:17

Apache Doris : 一个开源 MPP 数据库的架构与实践

ApacheDoris:一个开源MPP数据库的架构与实践一、Doris背景介绍1.1Doris1.2Doris定位二、适用场景&案例介绍2.1适用场景2.1.1对数据分析、统计2.1.2报表2.1.3多维分析
明月清风，良宵美酒·2023-11-06 02:16

Apache Doris (五十一）： Doris数据缓存

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.
IT贫道·2023-11-06 02:12

官宣：Apache Doris 顺利毕业，成为 ASF 顶级项目！

|作者：ApacheDoris|编辑：朱天瑜|责编：金心悦|设计：马丽娜2022年6月16日，Apache软件基金会（ASF）官方宣布ApacheDoris顺利毕业，成为顶级项目（TLP）。01关于ApacheDorisApacheDoris源于百度自研的MPP分析型数据库，旨在解决百度凤巢高并发、高吞吐、低延迟的报表问题。2017年正式在GitHub进行开源，并于2018年8月正式捐献给全球顶级
开源社·2023-11-05 07:44

手把手教你快速在生产环境搭建Doris集群附集群启停管理脚本

手把手教你快速在生产环境搭建Doris集群一、部署规划组件分布规划节点node4node5node6node7node8Node9Node10Node11服务FE（follower）BEFE（follower
薛定谔的猫不吃猫粮·2023-11-04 06:24

Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库

背景介绍ApacheDoris是一个基于MPP架构的易于使用，高性能和实时的分析数据库，以其极高的速度和易用性而闻名。海量数据下返回查询结果仅需亚秒级响应时间，不仅可以支持高并发点查询场景，还可以支持高通量复杂分析场景。这些都使得ApacheDoris成为报表分析、即席查询、统一数据仓库和数据湖查询加速等场景的理想工具。在ApacheDoris上，用户可以构建各种应用，如用户行为分析、AB测试平台
yue_stack·2023-11-04 05:32

Doris：StreamLoad导入数据

.请求参数3.2.返回参数4.StreamLoad实践4.1.使用curl命令4.2.使用Java代码Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris
m0_37559973·2023-11-03 22:24

Apache Doris系列之：数据模型

ApacheDoris系列之：数据模型一、数据模型基本概念二、聚合模型Aggregate模型1.导入数据聚合2.保留明细数据3.导入数据与已有数据聚合三、Unique模型四、Duplicate模型五、聚合模型的局限性六、数据模型的选择建议一、数据模型基本概念数据以表的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row即用户的一行数据。Column用于描述一行数据中不同的字段。
最笨的羊羊·2023-11-03 18:38

5分钟搞定 PostgreSQL 到 Doris 数据迁移和同步

本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的PostgreSQL到Doris数据同步链路。技术点基于StreamLoad的导入方式Doris提供了多种导入方式。
ClouGence·2023-11-03 18:05

Apache Doris导出数据到HDFS

部署broker配置文件为apache_hdfs_broker/conf/apache_hdfs_broker.conf注意：Broker没有也不需要priority_networks参数，Broker的服务默认绑定在0.0.0.0上，只需要在ADDBROKER时，填写正确可访问的BrokerIP即可。如果有特殊的hdfs配置，复制线上的hdfs-site.xml到conf目录下启动：./apac
贾斯汀玛尔斯·2023-11-03 18:04

Doris之数据导出

数据导出数据导出（Export）是Doris提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据，以文本的格式，通过Broker进程导出到远端存储上，如HDFS/BOS等。
墨卿风竹·2023-11-03 18:32

备份doris数据到minio

CREATEREPOSITORY`minio`WITHS3ONLOCATION"s3://doris"PROPERTIES("AWS_ENDPOINT"="http:
陕西小伙伴网络科技有限公司·2023-11-03 18:50

Flink 统计接入的数据量-滚动窗口和状态的使用

1、概述在生产场景值，经常需要和上游、下游对数，离线场景可以直接groupby再count，但是实时场景中，如果使用kafka作为中间件，中间经过几个job的过滤转化后，再对照像Doris或Clickhouse
猫猫爱吃小鱼粮·2023-11-03 17:37

Doris分区表使用

一、动态分区官网链接动态分区是在Doris0.12版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。目前实现了动态添加分区及动态删除分区的功能。
有语忆语·2023-11-03 13:54

Apache Doris 系列：基础篇-创建动态分区表

文章目录动态分区的重要参数使用案例查看分区插入和查看数据动态分区的重要参数dynamic_partition.enable是否启用动态分区true|false,默认为true,即启用动态分区dynamic_partition.time_unit动态分区的时间单位,HOUR|DAY|WEEK|MONTH,可根据配置的时间单位创建或者删除时间分区dynamic_partition.replicatio
修破立生·2023-11-03 00:31

doris表唯一模型如何自由选择字段删除数据

Doris唯一模型，只能根据首个字段（主键位）删除数据。并且条件值要写死具体值。。有时为了满足需求，不得不把表做出复制模型。但是，一定要删除唯一模型的数据还是办法的。
斑鸠同学·2023-11-03 00:29

Doris--数据表基本概念和字段类型

文章目录1.doris表基本概念1.1.1Row&Column1.1.2Partition&Tablet2.doris字段类型1.doris表基本概念在Doris中，数据都以关系表（Table）的形式进行逻辑上的描述
韩家小志·2023-11-03 00:58

Apache Doris (二十) ：Doris 索引详细内容

目录1.前缀索引2.Bitmap索引2.1Bitmap位图索引原理2.2Bitmap位图索引语法
IT贫道·2023-11-03 00:27

大数据Doris（十五）：Doris表的字段类型

文章目录Doris表的字段类型一、TINYINT数据类型二、SMALLINT数据类型三、INT数据类型
Lansonli·2023-11-03 00:54

【文档笔记】doris数据仓库-数据表设计：数据模型及数据划分

数据表设计：数据模型及数据划分一、Doris的数据模型在Doris中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row即用户的一行数据。
KevinBrain·2023-11-03 00:54

Apache Doris (二十六）：Doris 数据导入(四）Broker Load -2 案例及注意事项

目录1.BrockerLoad案例1.1导入HDFS数据到Doris表1.2通配符导入HDFS数据，并指定列顺序
IT贫道·2023-11-02 12:46

分布式数据库Apache Doris HA集群部署

哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️
IT邦德·2023-11-02 12:13

Doris：物化视图

自动匹物化视图4.1.总数据量4.2.可以使用EXPLAIN检查sql是否使用物化视图4.3.统计各省年度数据4.4.统计某年各月数据物化视图是将预先计算（根据定义好的SELECT语句）好的数据集，存储在Doris
m0_37559973·2023-11-02 08:26

Apache Doris系列之：深入认识实时分析型数据库Apache Doris

ApacheDoris系列之：深入认识实时分析型数据库ApacheDoris一、什么是ApacheDoris二、ApacheDoris优势三、ApacheDoris1.1Release四、ApacheDoris下载链接一、什么是ApacheDorisApacheDoris是一个基于MPP的现代化、高性能、实时的分析型数据库，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询
最笨的羊羊·2023-11-01 18:55

Doris SQL日志审计部署，以及sql收集输出kafka，后续血缘分析

1，介绍Doris的审计日志插件是一个可选插件。
黄瓜炖啤酒鸭·2023-11-01 18:19

最佳实战｜Apache Doris SQL日志审计功能

一.功能介绍SQL日志审计是一个可插拔的插件，旨在将logs/fe.audit.log中的sql查询信息记录到doris集群中，方便用户对sql进行分析。
spark大数据玩家·2023-11-01 18:49

基于Apache doris的元数据管理系统

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星这里我们要先搞懂什么是元数据？元数据和数据的区别是什么？
hf200012·2023-11-01 18:45

Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询

1.概览这篇教程将展示如何使用FlinkCDC+Iceberg+Doris构建实时湖仓一体的联邦查询分析，Doris1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，
hf200012·2023-11-01 18:45

峰会倒计时 3 天！互联网与文娱论坛演讲亮点预告！

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-11-01 18:13

本周六，Apache Doris 年度技术盛会相约北京！

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-11-01 18:13

与创新者同行，Doris Summit Asia 2023 线下技术峰会圆满落幕！

10月21日，由飞轮科技主办、阿里云与腾讯云联合主办的ApacheDoris社区首届线下技术峰会DorisSummitAsia2023在一片热潮中落下帷幕。本届峰会以「与创新者同行」为主题，设置主论坛和智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱4个平行论坛，来自美团、银联商务、中国邮政储蓄银行、阿里云、腾讯、小米、华为、网易、平安、众安保险、无锡锡商银行、中国联通、中国电信、爱
SelectDB技术团队·2023-11-01 18:13

查询平均提速 700%，奇安信基于 Apache Doris 升级日志安全分析系统

本文导读：数智时代的到来使网络安全成为了不可忽视的重要领域。奇安信作为一家领先的网络安全解决方案领军者，致力于为企业提供先进全面的网络安全保护，其日志分析系统在网络安全中发挥着关键作用，通过对运行日志数据的深入分析，能够对漏洞和异常行为生成关键见解，帮助企业建立有效的防御策略。本文将深入探讨奇安信在网络安全与日志分析解决方案的关键优势，了解基于ApacheDoris构建的全新一体化日志存储分析平台
SelectDB技术团队·2023-11-01 18:39

Doris中tablet节点分布不均匀问题

问题描述Doris集群有3个BE和1个FE节点，一个机器上同时部署了FE和BE。在Doris中创建一张表，这张表默认就一个分区，按照“车牌号”字段做分桶，默认桶副本数为3。
IT贫道·2023-11-01 10:58

Apache Doris (四十九）： Doris表结构变更-动态分区(1)

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-11-01 10:58

Apache Doris (五十）： Doris表结构变更-动态分区(2)

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-11-01 10:19

技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once精准接入

本篇文档将演示如何使用ApacheDorisFlinkConnector结合FlinkCDC以及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效接入，并实现ExactlyOnce。一、概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据
Apache Flink·2023-10-31 20:03

【遇见Doris】Spark Doris Connector的最佳实践

Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注Doris官方公众号。公众号后台回复“1222”立即get现场录像及嘉宾PPT。
ApacheDoris·2023-10-31 20:32

生态扩展Spark Doris Connector

生态扩展SparkDorisConnectordoris官网去查找相匹配的sparkspark的安装：tar-zxvfspark-3.1.2-bin-hadoop3.2.tgzmvspark-3.1.2-bin-hadoop3.2/opt/sparkspark环境配置：vim/etc/profileexportSPARK_HOME=/opt/sparkexportPATH=$PATH:$SPARK
墨卿风竹·2023-10-31 20:30

Apache Doris在蜀海供应链的实践

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星概述最早接触doris是在2020年初，当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架
hf200012·2023-10-31 20:59
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他