Doris

Apache Doris性能优化之Join Reorder和Doris Join调优原则

目录1.JoinReorder1.1介绍1.2JoinReorder逻辑2.DorisJoin调优原则1.JoinReorder1.1介绍JoinReorder功能可以通过代价模型自动帮助调整SQL中Join的顺序，先让大表和小表进行过滤，这样能过滤掉大表中大部分的数据。以便获得最优的Join效率。可通过会话变量开启，默认是关闭的mysql>showvariableslike'%enable_co
Bulut0907·2022-11-10 11:13

最佳实践｜Apache Doris Join 实现与调优实践

8月14号，由示说网和上海白玉兰开源开放研究院联合举办的开源大数据技术线上Meetup如期举行，ApacheDoris社区受邀参与本次Meetup，来自百度的数据内核高级研发工程师、ApacheDorisContributor李昊鹏为大家带来了题为“ApacheDoris的Join实现与调优实践”的主题分享，主要介绍了ApacheDorisJoin的实现机制以及调优策略实战，以下是分享内容。非常高
ApacheDoris·2022-11-10 11:40

一步一步编译最新版Apache Doris 0.15版本的详细过程

ApacheDoris于2021年11月29日迎来了0.15.0Release版本的正式发布！有99位Contributor为ApacheDoris提交了近700项优化和修复。在0.15.0Release版本中，增加了诸多新功能，对ApacheDoris的查询性能、易用性、稳定性方面等进行了全面优化。本文将详细演示如何一步一步完成编译最新版ApacheDoris0.15版本。一、下载Docker开
vbnetfun·2022-11-10 11:10

应用实践 | Apache Doris 在小米集团的运维实践

在小米集团，质量就是生命线，随着业务持续增长，如何保障线上Doris集群的服务质量，
ApacheDoris·2022-11-10 11:10

「硬刚Doris系列」Apache Doris的向量化和Roaring BitMap

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜轻戳有惊喜：全网最全大数据面试提升手册！一.向量化假如有个sql：select c1 , c2 from t where c1 < 100 and c4 = 10用户通过SQL语句向数据库发起计算请求，SQL中的计算主要包括两类：expression级别的计算和operator级别的计算。该SQL包含了3个operator：tablesca
王知无(import_bigdata)·2022-11-10 11:40

apache doris的一些重点笔记，参数实践调优

参数调优：FE参数：这里设置为：3-5sbdbje_replica_ack_timeout_second这里设置为：20==================================================1，命令SHOWVARIABLES;showroutineload;SHOWBACKENDS;HELPALTERTABLE;Name:'ALTERTABLE'Description
黄瓜炖啤酒鸭·2022-11-10 11:03

干货 | Apache Doris在小米集团的运维实践

本期技术干货，我们邀请到了小米OLAP引擎研发工程师魏祚、小米存储计算引擎SRE工程师孟子楠，和大家从运维的角度分享ApacheDoris在小米集团的应用实践。一、背景为了提高小米增长分析平台的查询性能以及降低平台的运维成本，2019年9月小米集团首次引入了ApacheDoris系统。在过去两年多的时间里，ApacheDoris在小米集团得到了广泛的应用，目前已经服务了增长分析、集团数据看板、天星
小米技术·2022-11-10 11:33

Doris开发手记4：倍速性能提升，向量化导入的性能调优实践

正好有Doris社区的小伙伴吐槽向量化的导入性能表现并不是很理想，就借这个机会
[虚幻私塾】·2022-11-10 11:31

Apache Doris 在橙联的应用实践：数仓架构全面革新，千万数据计算时间从 2 小时变成 3 分钟

业务背景橙联股份是一家服务全球跨境电商的科技公司，致力于通过市场分析、系统研发及资源整合，为客户提供物流、金融、大数据等多方面的服务产品，为全球跨境电商提供高品质、全方位的服务解决方案。随着公司业务的发展和数据的不断增长，早期基于MySQL的传统数仓架构已经无法应对公司数据的快速增长。业务的需求和运营的决策对于数据时效性的要求越来越高，对数仓准实时能力的需求越发强烈。为了适应快速的增长需求，橙联于
SelectDB技术团队·2022-11-10 10:51

人群圈选效率提升 30 倍，云积互动基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积互动对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的的业务需求，因此云积互动于2021引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出ApacheDoris更多强大之处以及优势，最终决定在2022年全面应用ApacheDoris，基于ApacheDoris来构建云积互动企业级实时离线统一数仓。作者｜云
SelectDB技术团队·2022-11-10 10:51

Apache Doris数据模型详解及适用场景

在Aggregate聚合模型下，Doris也可以保存完整的明细数据，例如增加时间列。在Base表之上，我们可以创建任意多个ROLLUP表，获得更粗粒度的聚合数据。在某些多维分
Super .Wein（星痕）·2022-11-10 10:51

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

社区贡献：Doris-spark-connector的实时读写和优化。
SelectDB技术团队·2022-11-10 10:50

查询性能显著提升，Apache Doris 向量化版本在小米 A/B 实验场景的调优实践

随着小米互联网业务的快速发展，用户对ApacheDoris的查询性能提出了更高的要求，Doris向量化版本在小米内部上线已经迫在眉睫。
SelectDB技术团队·2022-11-10 10:44

两个列表的最小索引总和

LeetCode链接假设Andy和Doris想在晚餐时选择一家餐厅，并且他们都有一个表示最喜爱餐厅的列表，每个餐厅的名字用字符串表示。你需要帮助他们用最少的索引和找出他们共同喜爱的餐厅。
兜兜转转m·2022-10-31 13:21

人群圈选效率提升 30 倍，云积互动基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积互动对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的的业务需求，因此云积互动于2021引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出ApacheDoris更多强大之处以及优势，最终决定在2022年全面应用ApacheDoris，基于ApacheDoris来构建云积互动企业级实时离线统一数仓。作者｜云
·2022-10-30 23:21

Apache Doris Colocate Join 原理实践教程

目录WhatColocateJoinWhyColocateJoinHowColocateJoin核心思路术语定义1数据导入时保证本地性2ColocateJoinQueryPlan3ColocateJoinQuerySchedule4ColocateJoinAtBucketSeqLevel5ColocateJoinMetadataMaintenance6Howtodecideaquerycancol
·2022-10-27 19:44

Apache Doris Join 优化原理详解

目录背景&目标Doris数据划分PartitionBucketJoin方式总览Broadcast/ShuffleJoinBucketShuffleJoinPlanRuleColocateJoinRuntimeFilter
·2022-10-27 19:43

Doris Join 优化原理文档详解

方式对比RuntimeFilterJoin优化RuntimeFilter类型JoinReorderDorisJoin调优方法调优案例实战案例一案例二案例三DorisJoin调优建议DorisJoin优化原理Doris
·2022-10-27 19:43

Docker搭建Doris集群监控grafana+prometheus

说明：Doris使用Prometheus和Grafana进项监控项的采集和展示。
彪悍程序员·2022-10-24 18:58

Docker安装部署Doris集群

参考Doris的开源站点，有不懂的赶紧查https://github.com/apache/incubator-doris准备好装有Docker的虚拟机，这里我们部署Doris的最低配置的集群方式部署按照官方所说
彪悍程序员·2022-10-24 18:28

Doris系列1-Doris介绍

文章目录一.Doris简介二.Doris整体架构2.1Doris整体架构简介2.2Doris数据分布2.3Doris的使用方式三.Doris关键技术3.1数据可靠性3.2易运维3.3MySQL兼容性3.4
只是甲·2022-10-24 18:20

大数据应用之 --- apache doris 集群安装部署

lsyk01FE(LEADER)lsyk02FE(FOLLOWER)、BE、BROKERlsyk03FE(OBSERVER)、BE、BROKERlsyk04BE、BROKER解压tar-xzvfapache-doris
fa_lsyk·2022-10-24 18:19

Doris实践（一）——Doris编译安装及环境准备

文章目录一、编译：1.Docker准备2.下载Docker镜像3.Doris源码下载4.挂载编译5.编译后压缩二、安装1、部署2、配置FE：3、启动FE4、配置BE5、启动be6、编译broker7、在
扫地增·2022-10-24 18:48

centos 7环境部署百度开源apache doris 1.1

了解到doris作为百度推出的分析型数据库，据文档说明，能够兼容mysql的操作，甚至客户端完全可以使用mysql客户端连接服务器进行操作。具体情况怎样，搭建一个基本环境来测试一下。
程序猿（攻城狮）·2022-10-24 17:14

使用Docker快速搭建Doris集群

好的，坏的，回头看都是对的，你要相信一切都是最好的安排想深入交流doris的私聊我加微信xiaolm1213以DORIS-0.12.21-release为例，如果想自己编译也可以，去下载docker镜像进行编译
来一块提拉米苏·2022-10-24 17:44

Apache Doris 单节点（可多节点）Docker集群制作教程

集群制作Author：苏奕嘉脚本研发Author：种益调研测试Author：杨春东前言ApacheDoris是当下非常火热和流行的MPP架构OLAP数据库，很多同学想自学/测试Doris的使用和能力，但是又苦于没有环境或者畏惧冗长的编译
hf200012·2022-10-24 17:10

Apache Doris1.0版本集群搭建、负载均衡与参数调优

ApacheDoris我的架构是3FE+7BE首先操作系统安装要求#设置系统最大打开文件句柄数vi/etc/security/limits.conf*softnofile65536*hardnofile65536时钟同步Doris
Mumunu-·2022-10-24 17:40

Apache Doris 环境安装部署

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星这里以百度的Doris发行版Palo-0.14.13版本为例进行演示编译安装部署1.Doris编译1.1docker
hf200012·2022-10-24 17:40

Apache Doris集群搭建（BE扩容）

BE节点的扩容和缩容过程，不影响当前系统运行以及正在执行的任务，并且不会影响当前系统的性能。数据均衡会自动进行。根据集群现有数据量的大小，集群会在几个小时到1天不等的时间内，恢复到负载均衡的状态。1、添加两个BE节点（1）命令ALTERSYSTEMADDBACKENDMySQL[(none)]>ALTERSYSTEMADDBACKEND"10.17.12.158:9050";QueryOK,0ro
程裕强·2022-10-24 17:10

Apache Doris集群搭建（FE扩容）

参考官方文档http://doris.apache.org/master/zh-CN/installing/install-deploy.html#%E6%89%A9%E5%AE%B9%E7%BC%A9%
程裕强·2022-10-24 17:09

Doris集群环境搭建

Doris集群机器规划以下是Doris集群的服务器规划配置信息，目前采用3节点混部模式。FE3个实例，BE3个实例，构成最低配集群。
潮浪之巅·2022-10-24 17:04

Apache Doris 1.1.3 版本正式发布！｜版本通告

亲爱的社区小伙伴们，我们很高兴地告诉大家，在2022年10月17日我们迎来了ApacheDoris1.1.3版本的正式发布。作为1.1LTS版本基础之上的Bugfix版本，在1.1.3版本中有超过80个Issue或性能优化项被合入，系统稳定性和性能得以进一步加强，推荐所有用户下载和使用。下载使用GitHub下载：https://github.com/apache/dor...官网下载页：https
·2022-10-17 14:33

实时数仓-Doris ON ES

原理介绍：原文点击Doris通过创建外部表方式将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案，支持：ES中的多index分布式
不看白不看，看了不白看·2022-10-12 20:24

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

社区贡献：Doris-spark-connector的实时读写和优化。
·2022-10-10 16:40

恭喜 SelectDB 三位开发者成为 Apache Doris 新晋 Committer！

初秋虽至，但开源社区的温度仍然热烈！最近，经过ApacheDoris项目管理委员会的推荐与投票，ApacheDoris社区正式迎来了7位新晋Committer的加入，值得关注的是，这7位新晋Committer中有3位来自SelectDB，分别是李文强（GithubID：Gabriel39）、张文歆（GithubID：morrySnow）、文杰（GithubID：jackwener）。他们对开源一腔
SelectDB技术团队·2022-10-10 13:48

如何进行 Apache Doris 集群 Docker 快速部署

作者：苏奕嘉｜SelectDB生态研发工程师Docker容器化部署是当前最常见的部署方式之一，具有创建简单、快速部署、移植性强等特点，可极大节省应用开发、测试和部署时间，一次构建，随处运行。本教程可指导有快速部署测试和Docker学习需求的同学，快速进行部署单节点ApacheDoris集群或伪分布式ApacheDoris集群。同时介绍如何自主的构建ApacheDoris的Docker生态内容，如D
SelectDB技术团队·2022-10-10 13:18

Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once精准接入

导读：本篇文档将演示如何使用ApacheDorisFlinkConnector结合FlinkCDC以及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效接入，并实现ExactlyOnce。作者｜ApacheDorisPMC成员张家锋1.概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。但是这样给后
SelectDB技术团队·2022-10-10 13:17

小米如何搭建以 Apache Doris 的核心数据生态｜覆盖10+业务线

本篇文章转录自Doris社区线上Meetup主题演讲，旨在分享ApacheDoris在小米数据场景的落地实践与优化实践。
SelectDB技术团队·2022-10-10 13:17

如何高效解决 C++内存问题，Apache Doris 实践之路｜技术解析

导读：ApacheDoris使用C++语言实现了执行引擎，C++开发过程中，影响开发效率的一个重要因素是指针的使用，包括非法访问、泄露、强制类型转换等。本文将会通过对Sanitizer和CoreDump分析工具的介绍来为大家分享：如何快速定位ApacheDoris中的C++问题，帮助开发者提升开发效率并掌握更高效的开发技巧。作者｜ApacheDorisCommitter杨勇强ApacheDoris
SelectDB技术团队·2022-10-10 13:17

Apache Doris 安装部署指南

前言本文隶属于专栏《大数据安装部署》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！准备建议下载下面的2个安装包ApacheDoris1.1.2FE安装包ApacheDoris1.1.2BE安装包另外建议参考我的这篇博客部署好MySQL客户端——CentOS7安装MySQL5.7部署FE首先将FE安装包复制到指定的节点。配置FE配置文件是conf/fe.conf。注意：
Shockang·2022-10-10 11:39

字节跳动基于Doris的湖仓分析探索实践

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群Doris简介Doris是一种MPP架构的分析型数据库，主要面向多维分析，数据报表，用户画像分析等场景。
·2022-09-29 15:17

Apache Doris的Bitmap索引和BloomFilter索引使用及注意事项

目录1.Bitmap索引的使用1.1Bitmap索引介绍1.2Bitmap索引使用的注意事项1.3Bitmap索引的使用2.BloomFilter索引2.1BloomFilter索引介绍2.2BloomFilter原理2.3BloomFilter索引的使用2.4DorisBloomFilter使用场景2.5DorisBloomFilter使用注意事项1.Bitmap索引的使用1.1Bitmap索引
·2022-09-26 20:47

Doris入门到精通-阶段一（简介&安装&使用）

简介ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、
顶尖高手养成计划·2022-09-26 20:34

如何进行 Apache Doris 集群 Docker 快速部署

作者：苏奕嘉｜SelectDB生态研发工程师Docker容器化部署是当前最常见的部署方式之一，具有创建简单、快速部署、移植性强等特点，可极大节省应用开发、测试和部署时间，一次构建，随处运行。本教程可指导有快速部署测试和Docker学习需求的同学，快速进行部署单节点ApacheDoris集群或伪分布式ApacheDoris集群。同时介绍如何自主的构建ApacheDoris的Docker生态内容，如D
·2022-09-20 11:33

「硬刚Doris系列」Doris高级用法

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜轻戳有惊喜：全网最全大数据面试提升手册！1.1添加RollupRollup可以理解为Table的一个物化索引结构。物化是因为其数据在物理上独立存储，而索引的意思是，Rollup可以调整列顺序以增加前缀索引的命中率，也可以减少key列以增加数据的聚合度。以下举例说明。原表table1的Schema如下:+----------+--------
王知无(import_bigdata)·2022-09-15 16:24

硬刚Doris系列」Apache Doris基本使用和数据模型

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜轻戳有惊喜：八股文教给我，你们专心刷题和面试一.基础使用1.1创建数据库MySQL> CREATE DATABASE example_db;MySQL> SHOW DATABASES;+--------------------+| Database           |+--------------------+| example_db 
王知无(import_bigdata)·2022-09-15 16:54

恭喜 SelectDB 三位开发者成为 Apache Doris 新晋 Committer！

初秋虽至，但开源社区的温度仍然热烈！最近，经过ApacheDoris项目管理委员会的推荐与投票，ApacheDoris社区正式迎来了7位新晋Committer的加入，值得关注的是，这7位新晋Committer中有3位来自SelectDB，分别是李文强（GithubID：Gabriel39）、张文歆（GithubID：morrySnow）、文杰（GithubID：jackwener）。他们对开源一腔
·2022-09-15 14:53

比MySQL快801倍，OLAP两大神器ClickHouse和Doris到底怎么选？

对于匠人而言，一项手艺，如果学不会，结果只有两种：一是低头求人，二是花钱买成品。对于程序员而言，一款热门软件，如果玩不转，结果也是两种：一是向高手求教，二是看着别人升职加薪。2021年4月程序员薪资水平，大数据开发工程师：月薪低至5K，高达45K，差距相当大在信息化时代，数据即价值。在商业运作的营销战场，数据分析OLAP对于高层决策者而言，无异于策马扬鞭的实时导航，速度和精准度方面是否具备优势往往
公众号:肉眼品世界·2022-09-14 07:16

Apache Doris 快速学习大纲

1.介绍Doris是一种MPP架构的分析型数据库，主要面向多维分析、数据报表、用户画像分析等场景。自带分析引擎和存储引擎，支持向量化执行引擎，不依赖其他组件，兼容MySQL协议。
aaaak_·2022-09-06 20:19

如何高效解决 C++内存问题，Apache Doris 实践之路｜技术解析

导读：ApacheDoris使用C++语言实现了执行引擎，C++开发过程中，影响开发效率的一个重要因素是指针的使用，包括非法访问、泄露、强制类型转换等。本文将会通过对Sanitizer和CoreDump分析工具的介绍来为大家分享：如何快速定位ApacheDoris中的C++问题，帮助开发者提升开发效率并掌握更高效的开发技巧。作者｜ApacheDorisCommitter杨勇强ApacheDoris
·2022-09-06 15:18
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他