Doris动态分区

深度解析：云原生环境下Docker部署Doris数据库

深度解析：云原生环境下Docker部署Doris数据库目录深度解析：云原生环境下Docker部署Doris数据库引言一、云原生与Docker基础1.云原生概念2.Docker简介二、Doris数据库概述
N201871643·2024-09-13 18:23

Apache Doris支持的数据类型详解

目录1.TINYINT2.SMALLINT3.INT4.BIGINT5.LARGEINT6.FLOAT7.DOUBLE8.DECIMAL9.BOOLEAN10.CHAR11.VARCHAR(M)12.STRING13.DATE14.DATETIME15.BITMAP16.HLL(HyperLogLog)1.TINYINT1字节有符号整数，范围：[-128,127]2.SMALLINT2字节有符号整
Bulut0907·2024-09-11 23:44

兼容 Trino Connector，扩展 Apache Doris 数据源接入能力｜Lakehouse 使用手册

ApacheDoris内置支持包括Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC在内的多种Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着ApacheDoris用户的增加，新的数据源连接需求也随之增加。因此，从3.0版本开始，ApacheDoris引入了TrinoConnector兼容框架。Trino/Presto作为业界较早应用
vvvae1234·2024-09-11 19:17

Docker部署Doris数据库

Docker部署Doris数据库是一个涉及多个步骤的过程，包括环境准备、Docker镜像拉取、配置文件创建、容器启动与配置、以及后续的数据库操作等。
天蓝蓝23528·2024-09-11 12:51

Docker部署Doris数据库

Docker部署Doris数据库是一个涉及多个步骤的过程，包括环境准备、Docker镜像拉取、配置文件创建、容器启动与配置、以及后续的数据库操作等。
hai40587·2024-09-10 20:03

实时数仓之实时数仓架构(Hudi)(1)

目前比较流行的实时数仓架构有两类，其中一类是以Flink+Doris为核心的实时数仓架构方案；另一类是以湖仓一体架构为核心的实时数仓架构方案。
2401_84164527·2024-09-09 19:34

2024年大数据最新实时数仓之实时数仓架构(Hudi)

处理数据及输出数据全链路数据计算任务；Spark：用于数据ETL，包括处理数据及输出数据全链路数据计算任务；Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；Doris
2401_84185556·2024-09-09 19:34

实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题

+Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有
2401_84181221·2024-09-09 19:04

【面试系列】Doris 高频面试题解答

欢迎来到我的博客，很高兴能够在这里和您见面！欢迎订阅相关专栏：⭐️全网最全IT互联网公司面试宝典：收集整理全网各大IT互联网公司技术、项目、HR面试真题.⭐️AIGC时代的创新与未来：详细讲解AIGC的概念、核心技术、应用领域等内容。⭐️大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python：初识、了解与热恋》：涵盖了Pytho
野老杂谈·2024-09-08 10:44

hive中的分区

文章目录Hive分区1.简介为什么要分区如何分区以及细节2.Hive分区的建立创建分区静态分区动态分区启动动态分区功能多分区单分区区别创建多分区插入分区查看分区数查看表结构Hive分区1.简介Hive分区的概念与传统关系型数据库分区不一样
百流·2024-08-30 16:07

DORIS - 执行 git submodule update --init --recursive 的目的是什么？

前言以前，我们学习源码的时候只需要执行克隆命令即可，如下：gitclonehttps://github.com/rocky/doris.git当我学习DORIS的时候，发现执行完上面的命令后，还需要执行如下命令
cloneme01·2024-08-28 21:18

Apache Doris 2.0-beta 版本发布：盲测性能 10 倍提升，更统一的多场景极速分析体验

下载链接：https://doris.apache.org/downloadGitHub源码：https://github.com/apache/doris/tre
SelectDB技术团队·2024-08-27 15:51

doris跨hdfs集群迁移数据

官网-数据备份步骤一，在dorisA集群执行：CREATEREPOSITORY`repotestall`WITHBROKER`broker_name`ONLOCATION"hdfs://xx.xx.xx.xx:9000/repotestall"PROPERTIES("username"="user","password"="password");步骤二：BACKUPSNAPSHOTtest.sna
州周·2024-08-27 00:27

钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离

钱大妈是社区生鲜连锁品牌的开拓者，经过十一年的稳健运营，已成为行业内的领军品牌，截至2023年7月已全国布局超30多座城市，门店总数3000余家，服务家庭超1000万。近年来，随着业务的高速发展以及门店的快速扩张，钱大妈需要对生鲜产品的采购、销售、库存等数据进行实时监控和分析，以保障食品的新鲜度及品质。同时需要管理众多门店与供应链信息，以了解各区域销售趋势和顾客偏好，从而优化商品结构和库存管理。在
ApacheDoris·2024-08-27 00:57

Apache Doris + Iceberg 快速搭建指南｜Lakehouse 使用手册（三）

湖仓一体（DataLakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。ApacheDoris持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍ApacheDoris与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括Hudi、Paimon、Iceberg、OSS、DeltaLake、K
SelectDB技术团队·2024-08-24 10:25

Doris 夺命 30 连问！(下)

Q&A1.Doris如何处理和识别NULL和空，在导入和导出数据时在Doris内，是通过null值与""值来区分的，一个在CSV中是类似\N这样的值，一个是无数据的，一个是空字符串，这两个值在存储到Doris
atbigapp.com·2024-08-23 23:41

Apache Doris 2.0.5 版本正式发布

亲爱的社区小伙伴们，ApacheDoris2.0.5版本已于2024年2月27日正式与大家见面。这次更新带来一系列行为变更和功能更新，并进行了若干的改进与优化，旨在为用户提供更为稳定高效的数据查询与分析体验。新版本已经上线，欢迎大家下载体验！行为变更selectchar(0)='\0'返回true，跟MySQL的行为保持一致Export导出数据支持空表新增功能利用过滤条件中的isnull谓词，将O
·2024-02-29 04:43

Doris ——SQL原理解析

目录前言一、Doris简介二、SQL解析简介2.1词法分析2.2语法分析2.3逻辑计划2.4物理计划三、DorisSQL解析的总体架构四、Parse阶段五、Analyze阶段六、SinglePlan阶段
爱吃辣条byte·2024-02-20 22:14

第3.2章：Doris-2.0数据导入——Compaction机制

目录一、Compaction概述1.1LSM-Tree概述1.2Compaction概述1.3Rowset数据版本1.4Compaction优点1.5Compaction问题1.5.1Compaction速度低1.5.2写放大问题1.6Compaction调优1.6.1业务侧1.6.2运维侧二、Compaction执行方式2.1VerticalCompaction2.1.1概述2.1.2原理2.2
爱吃辣条byte·2024-02-20 20:30

第3.2章：Doris数据导入——Compaction机制（1）

1.3compaction类型二、Compaction的问题2.1compaction速度低于数据写入速度2.2写放大问题三、数据版本的产生四、base&cumulativecompaction注：本篇文章阐述的是Doris1.2.2
爱吃辣条byte·2024-02-20 09:46

Apache Doris 聚合函数源码阅读与解析｜源码解读系列

笔者最近由于工作需要开始调研ApacheDoris，通过阅读聚合函数代码切入ApacheDoris内核，同时也秉承着开源的精神，开发了array_agg函数并贡献给社区。笔者通过这篇文章记录下对源码的一些理解，同时也方便后面的新人更快速地上手源码开发。聚合函数，顾名思义，即对一组数据执行聚合计算并返回结果的函数，在统计分析过程中属于最常见的函数之一，最典型的聚合函数包括count、min、max、
·2024-02-19 11:21

Doris存储层设计介绍1——存储结构设计解析（索引底层结构）

目录一、概述1.1存储结构的整体介绍1.2存储结构的设计目标二、存储文件格式2.1存储目录结构编辑2.2Segmentv2文件结构三、Footer信息3.1列的meta信息3.2列索引的meta信息四、前缀索引（ShortKeyIndex）4.1功能介绍4.2索引生成4.3索引的底层存储结构4.3.1Segmentfooter4.3.2ShortKeyPage4.4查询过滤4.5应用案例五、Ord
爱吃辣条byte·2024-02-19 11:26

第2.4章 StarRocks表设计——分区分桶与副本数

1.2.1Round-Robin1.2.2Range1.2.3List1.2.4Hash1.3StarRocks的数据分布方式1.3.1不分区+Hash分桶1.3.2Range分区+Hash分桶三、分区3.1分区概述3.2创建分区3.2.1手动创建分区3.2.2批量创建分区3.2.3动态分区四
爱吃辣条byte·2024-02-19 11:55

Hive Distribute by 应用之动态分区小文件过多问题优化

目录0问题现象及原因分析1问题解决解决办法2由以上问题引出的问题3思考4小结0问题现象及原因分析现象：[Error20004]:Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumberofdynamicpartitionsiscontrolledbyhive.exec.max.dynamic.p
莫叫石榴姐·2024-02-15 10:58

Hive的相关概念——分区表、分桶表

目录一、Hive分区表1.1分区表的概念1.2分区表的创建1.3分区表数据加载及查询1.3.1静态分区1.3.2动态分区1.4分区表的本质及使用1.5分区表的注意事项1.6多重分区表二、Hive分桶表2.1
爱吃辣条byte·2024-02-15 10:57

Hive——动态分区导致的小文件问题

目录0问题现象1问题解决解决方案一：调整动态分区数方案一弊端：小文件剧增解决方案二：distributeby方案二弊端：数据倾斜解决方案三：distributeby命令2思考3小结0问题现象现象：报错errorr
爱吃辣条byte·2024-02-15 10:25

【大数据Hive】hive 表设计常用优化策略

2.1.2统计3月24号的登录人数2.1.3查询原理过程总结2.2普通表结构带来的问题三、hive分区表设计3.1区表结构-分区设计思想3.2操作演示3.2.1创建分区表按照登录日期分区3.2.2开启动态分区按登录日期分区基于分区表查询数据查询先检索元数据查询执行计划四
逆风飞翔的小叔·2024-02-15 10:22

[Doris] Doris的安装和部署 (二)

安装要求1.1Linux操作系统要求1.2软件需求1.3注意事项1.4内部端口2.集群部署2.1操作系统安装要求2.2下载安装包2.3解压2.4配置FE2.5配置BE2.6添加BE2.7FE扩容和缩容2.8Doris
959y·2024-02-14 08:56

HIVE中小文件问题

一、小文件产生原因1.动态分区插入数据，会产生大量小文件2.数据源本来就含有大量小文件3.数据增量导入，如Sqoop数据导入，增量insert导入数据等4.分桶表（主要是切分文件，容易产生小文件问题）1.2.3
这孩子谁懂哈·2024-02-14 06:45

数据仓库内容分享(十七)：Doris实践分享:它做了哪些架构优化和场景优化？

作为被众多大型互联网企业广泛采用的实时数据仓库，Doris拥有一些核心优势和独特的特点。我们从它的架构设计和使用场景来看一下这些优势
之乎者也··2024-02-12 20:13

当我们一起走过 2023｜Apache Doris 年度时刻盘点

2024年的第一个月已经彻底过去，2023年的回顾总结才姗姗来迟。在过去一年的大多数时间里，我们一直处于忙碌的状态中，紧锣密鼓的代码研发、高速推进的版本迭代、行程紧密的全国之行，众多社区用户与开发者皆是见证。越是忙碌，在年末的这场回顾就越难能可贵。在2024年开端，我们挑选出了一些有意义的片刻，期待跟每一个社区用户和开发者一同看看过去一年所共同经历的种种。正是因为每一个您都是见证者和参与者，所以把
·2024-02-11 18:34

doris数据库介绍

目录1、简介2、特点3、doris架构4、doris数据表设计-分区与分桶5、doris的数据模型1、简介ApacheDoris是一个分布式在线分析处理（OLAP）数据库，它的特点是基于列存储的MPP架构
坎坷终究平坦·2024-02-11 17:43

flinkcdc 3.0 源码学习之任务提交脚本flink-cdc.sh

用简单的话来描述复杂的事,我是Antgeek,欢迎阅读.在flink3.0版本中,我们仅通过一个简单yaml文件就可以配置出一个复杂的数据同步任务,然后再来一句bashbin/flink-cdc.shmysql-to-doris.yaml
Antgeek·2024-02-11 07:55

（C++）对象指针——小白Doris的课堂笔记

1.对象指针声明形式：类名*对象指针名；例如：PointA(2,3);Point*ptr;ptr=&A;通过指针访问对象成员：对象指针名-->成员名ptr-->getX();or(*ptr).getX();2.this指针定义：隐含于每一个类的成员函数中的特殊指针。功能：明确地指出了成员函数当前所操作的数据所属的对象。使用：当通过一个对象调用成员函数时，系统先将该对象的地址赋给this指针，然后调
Doris-510·2024-02-11 06:58

史上最全OLAP对比

并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2SparkSQL、FlinkSQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin
只会写demo的程序猿·2024-02-08 11:04

【遇见Doris】Doris on ES在快手商业化的最佳实践

贺祥快手商业化团队数据架构高级工程师主要负责商业化报表引擎快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务，以及为商业化内部各系统提供多维分析报表查询服务。致力于解决多维分析报表场景的高性能、高并发、高稳定的查询问题。1业务场景介绍1.1服务介绍本文主要侧重介绍DorisonES（DOE）在我们业务场景的实践，所以我们的数据架构在这里只做简单介绍，如上如图所示。总体来说
ApacheDoris·2024-02-08 11:04

【Doris】Doris on ES在快手商业化的最佳实践

快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务，以及为商业化内部各系统提供多维分析报表查询服务。致力于解决多维分析报表场景的高性能、高并发、高稳定的查询问题。1业务场景介绍1.1服务介绍本文主要侧重介绍DorisonES（DOE）在我们业务场景的实践，所以我们的数据架构在这里只做简单介绍，如上如图所示。总体来说数据分为实时+离线两块事实数据写入，外加mysqlbinl
九层之台起于累土·2024-02-08 11:34

文末附群｜Doris on ES在快手商业化的最佳实践

贺祥快手商业化团队数据架构高级工程师主要负责商业化报表引擎快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务，以及为商业化内部各系统提供多维分析报表查询服务。致力于解决多维分析报表场景的高性能、高并发、高稳定的查询问题。1业务场景介绍1.1服务介绍本文主要侧重介绍DorisonES（DOE）在我们业务场景的实践，所以我们的数据架构在这里只做简单介绍，如上如图所示。总体来说
小晨说数据·2024-02-08 11:33

Apache Doris 用户案例库

按行业分类互联网京东ApacheDoris在京东广告平台的应用ApacheDoris在京东双十一大促中的实践京东物流基于Doris的亿级数据自助探索应用ApacheDoris物化视图与索引在京东的典型应用
hf200012·2024-02-08 11:03

使用navicat导出mysql离线数据后，再导入doris的方案

一、背景doris本身是支持直接从mysql中同步数据的，但有时候，客户不允许我们使用doris直连mysql，此时就需要客户配合将mysql中的数据手工导出成离线文件，我们再导入到doris中二、环境
austin1000·2024-02-07 16:23

Doris中的本地routineload环境，用于开发回归测试用例

----------------2024-2-6-更新--------------doris的routineload，就是从kafka中加载数据到表，特点是定时、周期性的从kafka取数据。
howard_shooter·2024-02-07 10:24

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi部署到yarn上，并且接入了spark3引擎，并通过Ambari进行kyuubi组件的管理，下面步骤为新增对starrocks集群的访问。二、接入步骤 假设安排hostA、hostB两个节点
甜甜的巧克力阿·2024-02-07 09:48

StarRocks入门

目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.Sparkload2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼·2024-02-06 22:42

Doris集群部署

一、Doris默认端口号注意：当部署多个FE实例时，要保证FE的http_port配置相同。
一心猿·2024-02-05 21:34

操作系统java实验六动态分区分配算法实现

package实验六;importjava.util.*;//从空闲分区表的第一个表目起查找该表，把最先能够满足要求的空闲区分配给作业，publicclassFF{privatestaticclassNode{intid;//作业id,为-1代表空闲分区;大于0代表已分配intstart;//初始地址intsize;//大小publicStringtoString(){returnString.f
先生先生393·2024-02-05 06:16

D73 2组阿德doris+《活出生命的意义》读书笔记

曾经看过一个故事在一间病房里，新住进来两个病人，两个人病情差不多，医生在诊断之后，说两个人可能只有一两年的时间了。他们的家属每天都会过来看望和陪伴他们。A的家属，每次来都会带一束花，穿着整齐，精神满满地过来看他，每次都告诉他："家里的事，你别担心，我们会处理好的，你就安心养病就可以。”而B的家属他的妻子则完全相反，每天都蓬头垢面，看着邋里邋遢地，每次来都拉着B的手向他哭诉：“爸妈他们本来身体就不好
阿德doris·2024-02-04 20:40

Doris(三)-集群部署3个FE+3个BE

前置1）配置java环境1st解压jdk包unzipjdk1.8.0_171-amd64.zip2nd配置环境变量vim/etc/profile#文末添加JAVA_HOME=/data/jdk1.8.0_171-amd64PATH=$JAVA_HOME/bin:$PATHexportPATHJAVA_HOME3rd启用配置source/etc/profile4th验证java-version2）下
BatmanWayne·2024-02-04 05:40

Doris bitmap实现留存计算

一、背景什么是留存比如用户今天使用某应用，明天还继续使用该应用，叫做留存。bitmap原理基本思想是用数组下标表示元素的值，用0,1标记元素是否存在，1表示存在，0表示不存在。由于使用bit为单位来存储数据，大大节省了存储空间。例如：给定一个数组array=[1,3,5];为什么要用bitmap？bitmap为什么能计算留存？bitmap为什么只支持int类型？①节省存储空间。②留存实际上是求交集
小晨说数据·2024-02-04 04:06

Android super.img的解包和重新组包

Androidsuper.img的解包和重新组包Android10开始使用动态分区，system、vendor、odm等都包含在super.img里面，可以按如下方式对super.img进行解包和组包。
loitawu·2024-02-04 00:43

Doris的12天减肥日记-第5天

去平安了解了情况。接受温老师杨老师的面试邀请下午去助理面试，主要是了解平某的情况事情会一件一件慢慢来和食物一样清新不油腻图片发自App
Dorisyoung·2024-02-03 20:22
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他