Doris动态分区第4页

大数据学习(31)-Spark非常用及重要特性

动态分区裁剪（DynamicPartitionPruning）：在查询过程中，Spark可以根据已经读取的数据动态地裁剪不需要的分区，从而减少数据的扫描量，提高查询效率。

viperrrrrrr·2024-01-07 07:44

Doris 的概述及使用场景

Doris介绍ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景

一座野山·2024-01-06 16:16

Apache Doris 2.0.2 安装步骤 Centos8

Linux操作系统版本需求Linux系统版本当前系统版本CentOS7.1及以上CentOS8Ubuntu16.04及以上-软件需求软件版本当前版本Java1.81.8.0_391GCC4.8.2及以上gcc(GCC)8.5.020210514(RedHat8.5.0-4)1、查看操作系统版本方法1：使用命令行打开终端或命令行窗口。运行以下命令来查看CentOS版本信息：cat/etc/cento

Feike_Feng·2024-01-06 07:30

Apache Doris (六十一）： Spark Doris Connector - (1)-源码编译

博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录1.SparkDorisConnector2.Spark与Doris版本兼容

IT贫道·2024-01-05 14:40

P3704数字表格(莫比乌斯反演)

题目背景Doris刚刚学习了fibonacci数列。

yusen_123·2024-01-05 11:48

大数据 - Doris系列《一》- Doris简介

目录1.1Doris概述1.2OLAP和OLTP（面试）1.应用场景联机事务处理OLTP(On-LineTransactionProcessing)联机分析处理OLAP(On-LineAnalyticalProcessing

王哪跑nn·2024-01-05 09:55

大数据 - Doris系列《二》- Doris安装（亲测成功版）

设置系统最大文件打开句柄数==>启动一个程序的时候，打开文件的数量就是句柄数3.时钟同步4.关闭交换分区（swap）2.2安装FE2.3安装BE2.4BE向FE注册2.5扩容和缩容（搭建集群）2.5.1doris

王哪跑nn·2024-01-05 09:49

Apache Doris (五十八）： Doris - Join优化原理

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.RuntimeFilterJoin优化</

IT贫道·2024-01-05 04:49

Apache Doris (五十九）： Doris - BITMAP精准去重

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录

IT贫道·2024-01-05 04:49

Apache Doris (六十）： Doris - 物化视图

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录

IT贫道·2024-01-05 04:48

第四章内存空间管理---连续

连续分配存储管理方式3分页存储管理方式4分段存储管理方式5虚拟存储器、请求分页/分段、页面置换算法2、连续分配方式为一个用户程序分配一个连续的内存空间20世纪六、七十年代的OS中，分类：单一连续分配固定分区分配动态分区分配动态重定位分区分配其他

吃饭睡觉打code·2024-01-04 22:13

动态分区分配算法-第四十四天

目录前言首次适应算法（FirstFit）最佳适应算法（BestFit）最坏适应算法（WorstFit）临近适应算法（NextFit）本节思维导图前言动态分区分配算法：在动态分区分配方式中，当很多个空闲分区都能满足需求时

无聊看看天T^T·2024-01-04 22:11

4.内存非连续分配管理方式

基本分页存储管理方式固定分区会产生内部碎片，动态分区会产生外部碎片，这两种技术对内存的利用率都比较低。我们希望内存的使

chengonghao·2024-01-04 21:41

连续分配管理方式-第四十三天

目录前言单一连续分配固定分区分配分区大小相等分区大小不等分区说明表动态分区分配问题用什么样的数据结构记录内存的使用情况应该选择哪个分区进行分配分区的分配与回收操作分配回收结论本节思维导图前言连续分配指为用户进程分配的必须是一个连续的内存空间单一连续分配基本概念

无聊看看天T^T·2024-01-04 21:08

Doris系列2-Doris编译和安装

一.编译前准备1.1环境准备主机配置:IP主机名部署10.31.1.119hp5FEFS_Broker10.31.1.120hp6BEFS_Broker10.31.1.121hp7BEFS_Broker,FEObserver10.31.1.122hp8BEFS_Broker硬件配置：每台主机：CPU4核、内存8G、硬盘150G软件版本：名称版本操作系统CentOSrelease7.8(Final)

只是甲·2024-01-04 19:09

Doris 数仓使用规范（经验版）

第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方式，中间用下划线（_）分割，长度64字节内第二部分：建表规范【强制】确保每个tablet大小为1-3G之间。举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】不要使用Au

hf200012·2024-01-03 19:30

【大数据】Doris 数仓使用规范原则

第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方式，中间用下划线（_）分割，长度64字节内第二部分：建表规范【强制】确保每个tablet大小为1-3G之间。举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】不要使用Au

奔向理想的星辰大海·2024-01-03 16:48

数字化转型必备：数睿通 2.0 数据中台升级详解

引言转眼又过了一个月的时间，数睿通2.0数据中台也迎来了本月的更新，本次更新主要包括：数据资产完善（资源评价）数据集市完善，打通审批流程修复数据生产由于DruidSQLUtils不支持Doris导致无法建表的问题优化贴源数据模块

小螺旋丸·2024-01-03 10:51

分区表创建及插入数据的操作

1、分区参数介绍hive.exec.dynamic.partition:是否启动动态分区。默认false。

孤城暮雨@·2024-01-03 04:18

Apache Doris (五十七）： Doris - Runtime Filter

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录

IT贫道·2024-01-02 04:42

Apache Doris 单节点（可多节点）Docker集群制作教程

集群制作Author：苏奕嘉脚本研发Author：种益调研测试Author：杨春东前言ApacheDoris是当下非常火热和流行的MPP架构OLAP数据库，很多同学想自学/测试Doris的使用和能力，但是又苦于没有环境或者畏惧冗长的编译

张家锋·2024-01-01 11:14

【Apache Doris】自定义函数之 JAVA UDF 详解

【ApacheDoris】自定义函数之JAVAUDF详解一、背景说明二、原理简介三、环境信息3.1硬件信息3.2软件信息四、IDE准备五、JAVAUDF开发流程5.1源码准备5.1.1pom.xml5.1.2JAVA代码5.2mvn打包5.2.1clean5.2.2package5.3函数使用5.3.1upload5.3.2使用六、注意事项七、总结一、背景说明UDF主要适用于，用户需要的分析能力D

乙真仙人·2023-12-31 17:51

大数据Doris（四十五）：物化视图选择最优

文章目录物化视图选择最优物化视图选择最优下面详细解释一下第一步最优物化视图是被如何选择出来的。这里分为两个步骤：对候选集合进行一个过滤。只要是查询的结果能从物化视图数据计算（取部分行，部分列，或部分行列的聚合）出都可以留在候选集中，过滤完成后候选集合大小>=1。从候选集合中根据聚合程度，索引等条件选出一个最优的也就是查询花费最少物化视图。这里再举一个相对复杂的例子，来体现这个过程。

Lansonli·2023-12-31 14:18

go操作doris踩坑记录

go操作doris踩坑记录1.doris无法用deletefrom删除整个表数据2.doris本身事务只支持insert、rollback、commitError1105(HY000):TException

清盏涂墨衣·2023-12-31 10:56

【遇见Doris】Apache Doris (incubating) 0.12.0版本预览

Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注Doris官方公众号，嘉宾分享回顾会陆续放出。

ApacheDoris·2023-12-31 03:15

【遇见Doris】Apache Doris (incubating) 0.11.0新版本预览线下沙龙

此次Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。

ApacheDoris·2023-12-31 03:45

【遇见Doris】Apache Doris 在京东广告平台的应用

6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。

ApacheDoris·2023-12-31 03:44

【遇见Doris】Apache Doris Parquet文件读取的设计与实现

6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。

ApacheDoris·2023-12-31 03:44

Apache Doris在京东搜索实时OLAP中的应用实践

1、前言本文讨论了京东搜索在实时流量数据分析方面，利用ApacheFlink和ApacheDoris进行的探索和实践。流式计算在近些年的热度与日俱增，从GoogleDataflow论文的发表，到ApacheFlink计算引擎逐渐站到舞台中央，再到ApacheDruid等实时分析型数据库的广泛应用，流式计算引擎百花齐放。但不同的业务场景，面临着不同的问题，没有哪一种引擎是万能的。我们希望京东搜索业务

小晨说数据·2023-12-31 03:11

推荐：一个不错的介绍Apache Doris的PPT

原来ApacheDoris居然是百度开源出来的，不错。部分节选：完整下载地址网盘：链接:https://pan.baidu.com/s/18WR70R_f72GxCjh0lykStQ提取码:umd3复制这段内容后打开百度网盘手机App，操作更方便哦--来自百度网盘超级会员v7的分享

jackyrongvip·2023-12-31 03:40

Apache Doris (五十六）： Doris Join类型 - 四种Join对比

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频Doris支持两种物理算子，一类是HashJoin，另一类是NestLoopJoin。

IT贫道·2023-12-30 15:32

操作系统——内存分配算法

实验目的：1.理解内存的连续分配技术；2.理解动态分区分配和回收的思想；3.掌握动态分区分配算法的原理；实验器材：VSCode实验内容：采用连续分配中的动态分区存储器分配算法：首次适应算法、循环首次适应算法

en...小瓶子·2023-12-30 12:25

Flink实时电商数仓（九）

用户注册汇总表需求分析统计各窗口的注册用户数，写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入

十七✧ᐦ̤·2023-12-30 11:16

Flink实时电商数仓之DWS层

org.apache.dorisflink-doris-connector-1.17com.janeluoikanalyzer测试代码如下：publicclassIkUtil{publicsta

十七✧ᐦ̤·2023-12-29 17:19

Hive和Spark生产集群搭建（spark on doris）

1.环境准备1.1版本选择序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005MySQL-8.0.31mysqlDataxDataxDataxDataxDataxDataxSpark-3.3.1SparkSparkSparkSparkSparkHive-3.1.3HiveHive1.2主要组件官网hive官网：https://hive.

tuoluzhe8521·2023-12-28 23:56

doris-升级版本

一、简介doris可以进行平滑升级，详情可根据官网查看安装包下载地址：github,界面二、升级步骤1.原数据备份将FE-Master节点的doris-meta目录进行完整备份！

与数据交流的路上·2023-12-28 18:14

doris-修改be的存储路径

一、背景因为之前的BE的数据目录在机械盘上，性能太低，打算换到SSD盘，在不改变端口且没有多余机器的情况下，更改磁盘存储位置相对来说比较方便，因为业务尚没有正常使用，所以操作起来更方便重点：非常不推荐这种方式更改，如无必要，不要采取该方式二、具体操作1.备份数据数据量少的时候可以用mysqldump,数据量大的时候可以选择其他方式，详情见官网mysqldump-h192.168.1.1-P9030

与数据交流的路上·2023-12-28 18:14

Flink开发利器StreamX

在目前云原生架构的普及和湖仓一体化的大背景下，我们已经确定了将Doris作为离线数据仓库，将TiDB(目前已经应用于生产)作为实时数据平台，同时因为Doris具有onMySQL的odbc能力，所以又可以对外部数据库资源进行整合

Apache StreamPark·2023-12-28 15:34

Apache Doris (五十五）： Doris Join类型 - Colocation Join

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.ColocationJoin原理

IT贫道·2023-12-28 13:43

Apache Doris 详细教程（一）

1、Doris简介1.1、doris概述ApacheDoris由百度大数据部研发（之前叫百度Palo，2018年贡献到Apache社区后，更名为Doris），在百度内部，有超过200个产品线在使用，部署机器超过

白鸽呀·2023-12-28 12:09

hive总结06_企业级调优

目录本地模式表的优化小表、大表Join大表Join大表MapJoinGroupByCount(Distinct)去重统计笛卡尔积行列过滤动态分区调整分桶分区数据倾斜合理设置Map数小文件进行合并复杂文件增加

自由地带·2023-12-27 18:21

大数据篇--Hive调优

文章目录一、表设计层面1.关闭动态分区：2.开启分桶：3.采用合适的存储格式：二、参数调优1.严格模式：2.FetchTask功能：3.reduce个数控制：4.mapjoin：5.skewjoin方案

小强签名设计·2023-12-27 18:20

Hive 在工作中的调优总结

总结了一下在以往工作中，对于HiveSQL调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~一、EXPLAIN查看执行计划二、建表优化2.1分区分区表基本操作，partitioned二级分区动态分区

fx67ll·2023-12-27 18:50

Flink实时电商数仓之Doris框架（七）

Doris框架大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。

十七✧ᐦ̤·2023-12-27 16:47

doris基本操作，08-实战，索引

简述目前的Doris支持两类索引内建的智能索引，包括前缀索引和ZoneMap索引。用户创建的二级索引，包括BloomFilter索引和Bitmap倒排索引。

车前猛跑·2023-12-27 05:17

doris数据模型，06-Aggregate（聚合模型）

聚合模型的特点将表中的列分为Key和Value。Key是数据的维度列，比如时间，地区等等。key相同时会发生聚合。Value是数据的指标列，比如点击量，花费等等。每个指标列还会有自己的聚合函数，如：sum，min，max，bitmap_union等。数据会根据维度列进行分组，并对指标列进行聚合。在3中机制下会发生聚合：导入数据（insert，load等）BE内部Compaction时查询数据预聚合

车前猛跑·2023-12-27 05:47

doris数据模型，07-Duplicate模型

概念DuplicateKey模型，导入数据时不会产生聚合，源数据不失真。被指定为DuplicateKey的字段用来指示底层数据按照该字段排序。如：对于日志分析，不在意多几条，少几条数据，只关心排序，这时候DuplicateKey模型就有用武之地了。createtableifnotexiststest_db.example_log(`log_time`datetimenotnullcomment"日