Doris动态分区

Doris：读取Doris数据的N种方法

SparkDorisConnector5.FlinkDorisConnector1.MySQLClientDoris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，用户可以通过各类客户端工具来访问Doris
m0_37559973·2023-11-13 12:59

spark插入动态分区代码报错

SparkSessionsession=SparkSession.builder().config(sparkConf).config("hive.exec.dynamic.partition.mode","nonstrict")//动态分区
cclovezbf·2023-11-12 16:17

Doris：多源数据目录（Multi-Catalog）

JDBCCatalog4.1上传mysql驱动包4.2创建mysqlcatalog4.3.读取mysql数据1.基本概念多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris
m0_37559973·2023-11-12 11:38

Apache SeaTunnel & Doris7月联合Meetup，从数据集成到分析实践

随着大数据时代的来临，数据的处理对企业的技术团队挑战越来越高，数据在同步时能否支持各种数据源？应对海量的增量数据实例如何拥有更好的性能？数据聚合平台是否能开箱即用/方便二次开发？应对数据采集多场景和工具的是否具备良好的拓展性等，都是数据开发工程师关心的切实痛点问题，而对于企业来说，海量数据如何更好更快的分析应用，数据如何驱动业务更好的发展，成为相当重要的一环。而庞大的数据增量以及业务多变的数据分析
SeaTunnel·2023-11-12 09:29

Doris0.15-Broker Load

Broker以插件的形式，独立于Doris部署。如果需要从第三方存储系统导入数据，需要部署相应的Broker，默认提供了读取HDFS、百度云BOS及AmazonS3的fs_broker。
如是我闻.春风不渡·2023-11-12 09:58

Doris Broker Load入门实战

BrokerLoad原理Brokerload是一个异步的导入方式，支持的数据源取决于Broker进程支持的数据源。用户在提交导入任务后，FE会生成对应的Plan并根据目前BE的个数和文件的大小，将Plan分给多个BE执行，每个BE执行一部分导入数据。BE在执行的过程中会从Broker拉取数据，在对数据transform之后将数据导入系统。所有BE均完成导入，由FE最终决定导入是否成功。+|1.us
wangleigiser·2023-11-12 09:28

Apache Doris 入门教程16：数据导入之S3 Load

S3Load从0.14版本开始，Doris支持通过S3协议直接从支持S3协议的在线存储系统导入数据。本文档主要介绍如何导入AWSS3中存储的数据。
sunjian286·2023-11-12 09:58

Apache Doris 入门教程10：数据导入之Broker Load

因为Doris表里的数据是有序的，所以Brokerload在导入数据的时是要利用doris集群资源对数据进行排序，相对于Sparkload来完成海量历史数据迁移，对Doris的集群资源占用要比较大，这种方式是在用户没有
sunjian286·2023-11-12 09:57

Apache Doris 入门教程11：数据导入之Routine Load

例行导入（RoutineLoad）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到Doris中。本文主要介绍该功能的实现原理、使用方式以及最佳实践。
sunjian286·2023-11-12 09:57

Apache Doris 入门教程12：数据导入之Spark Load

SparkLoad通过外部的Spark资源实现对导入数据的预处理，提高Doris大数据量的导入性能并且节省Doris集群的计算资源。主要用于初次迁移，大数据量导入Doris的场景。
sunjian286·2023-11-12 09:57

与创新者同行，Apache Doris in 2023

在刚刚过去的DorisSummitAsia2023峰会上，ApacheDorisPMC成员、飞轮科技技术副总裁衣国垒带来了“与创新者同行”的主题演讲，回顾了ApacheDoris在过去一年所取得的技术突破与社区发展，重新思考了在面对海量数据实时分析上的挑战与机遇，全面介绍了ApacheDoris在未来的迭代计划与演进方向。以下为衣国垒在峰会上的演讲节选，以衣国垒第一人称叙述，经编辑。非常高兴可以看
SelectDB技术团队·2023-11-10 17:51

平安人寿基于 Apache Doris 统一 OLAP 技术栈实践

导读：平安人寿作为保险行业领军企业，坚持技术创新，以数据业务双轮驱动的理念和更加开放的思路来应对不断增长的数据分析和应用需求；以深挖数据价值、保障业务用数效率为目标持续升级大数据产品体系。自2022年起平安人寿开始引入开源实时数据仓库ApacheDoris并基于此统一OLAP技术栈，通过统一的数据开发与服务打破了原有系统的数据“孤岛”、降低了需求的开发成本、加速了业务需求的交付周期，并满足了业务方
SelectDB技术团队·2023-11-10 17:46

操作系统——内存管理

1.1内存管理的基本原理和要求1.2覆盖与交换1.2.1覆盖1.2.2交换1.3连续分配管理方式1.3.1单一连续分配（无外部碎片，有内部碎片）1.3.2固定分区分配（无外部碎片，有内部碎片）1.3.3动态分区分配
now ~ try·2023-11-10 15:27

治理效率提升77%！揭秘基于DataLeap实时健康分的最佳实践

目前该实时数仓团队已运行了上万的实时任务，依赖的组件繁多（例如：Flink、Yarn、Abase、Doris等）、开发人员众多、开发习惯和经验程度参差不齐等各类主客观因素，导致任务稳定性、资源浪
字节数据平台·2023-11-10 11:50

Doris：Binlog Load导入数据

BinlogLoad提供了一种使Doris增量同步用户在Mysql数据库的对数据更新操作的CDC(ChangeDataCapture)功能。
m0_37559973·2023-11-09 08:22

大数据Doris（十九）：数据导入（Load）

文章目录数据导入（Load）一、Brokerload二、Streamload三、Insert四、Multiload
Lansonli·2023-11-08 22:59

Doris：MySQL数据同步到Doris的N种方式

1.2导入数据2.JDBC编码方式3.JDBCCatalog方式3.1上传mysql驱动包3.2创建mysqlcatalog3.3.插入数据4.BinlogLoad方式1.CSV文件方式当mysql与doris
m0_37559973·2023-11-08 03:53

Apache Doris 是什么

Doris的主要特点包括：高性能：通过MPP架构，Doris能够在多个节点上并行处理查询，从而提供快速的数据分析能力。实时分析：Doris支持实时的数据更新和查询，适用于需要频繁更新和即时分析的场景。
舒一笑·2023-11-07 18:14

Doris-02-数据表的操作(建表、数据模型Aggregate-Uniq-Duplicate、动态分区、临时分区、Rollup、物化视图等)

ColumnPartition&Tablet建表语句语法和示例列定义分区与分桶PartitionBucketPROPERTIESENGINE数据模型Aggregate模型Uniq模型Duplicate模型数据模型的选择建议动态分区原理和使用方式动态分区规则参数示例临时分区使用场景操作导入和查询
迷雾总会解·2023-11-07 16:35

Doris学习

doris简介由百度大数据部研发之前叫百度palo，2018年共享到apache社区，改名dorisMPP分析型数据库产品亚秒级响应架构非常简洁，易于运维支持10pb以上的超大数据集满足多种数据分析需求固定历史报表实时数据分析交互式数据分析探索式数据分析流批一体架构
Flakej·2023-11-07 16:34

【大数据入门核心技术-Doris】（三）Doris基础使用

一、安装部署参考：【大数据入门核心技术-Doris】（二）Doris安装部署二、用户相关使用1、用户登录启动完Doris程序之后，可以通过root或admin用户连接到Doris集群。
forest_long·2023-11-07 16:02

Apache Doris (五十三）： Doris Join类型 - Shuffle Join

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.shuffleJoin的原理
IT贫道·2023-11-07 08:10

Doris--基础--08--Broadcast/Shuffle Join

Doris–基础–08–Broadcast/ShuffleJoin1、介绍doris在join操作的时候时候，默认使用broadcast的方式进行join，即将小表通过广播的方式广播到大表所在的节点，形成内存
勤径苦舟·2023-11-07 03:58

Apache Doris的Bucket Shuffle Join实现

目录1.介绍2.原理3.使用1.介绍两个表进行join时，让右表根据左边的数据分布，进行数据的shuffle，再进行join。减少跨节点的数据传输。加速查询2.原理SQL语句为A表joinB表，并且join的等值表达式命中了A的数据分布列。而BucketShuffleJoin会根据A表的数据分布信息，将B表的数据发送到对应的A表的数据存储节点。BucketShuffleJoin的网络开销和内存开销
Bulut0907·2023-11-07 03:27

Apache Doris的性能优化之Runtime Filter

目录1.介绍2.原理3.使用3.参数说明4.注意事项1.介绍当进行tb1jointb2时，tb2的数据非常小，将tb2数据经过计算得到一个过滤条件，发送到tb1所在的节点，利用索引的功能，直接对tb1的数据进行过滤。来减少扫描的数据量，避免不必要的I/O和网络传输，从而加速查询2.原理RuntimeFilter在查询规划时生成，在HashJoinNode中构建，在ScanNode中应用T1表的数据
Bulut0907·2023-11-07 03:27

Apache Doris 入门教程04：连接方式与使用指南

使用指南Doris采用MySQL协议进行通信，用户可通过MySQLclient或者MySQLJDBC连接到Doris集群。
sunjian286·2023-11-07 03:26

【浅谈 Apache Doris FE 处理查询 SQL 源码解析】

Doris查询语句和市面主流的数据库处理阶段都差不多，需要经过Parse,Analyz
齐木木9406·2023-11-07 03:56

【转】最佳实践｜Apache Doris Join 实现与调优实践

【转】https://mp.weixin.qq.com/s/YNGdTbnG6iBjT1qtsK912wDoris简介首先简单介绍一下Doris。
lehsyh·2023-11-07 03:25

Doris初步使用2

使用命令查看创建表语句：HELPCREATETABLE;创建表完整语句：CREATE[EXTERNAL]TABLE[IFNOTEXISTS][database.]table_name(column_definition1[,column_definition2,...][,index_definition1[,ndex_definition12,]])[ENGINE=[olap|mysql|bro
黄瓜炖啤酒鸭·2023-11-07 03:25

Apache Doris在美团外卖数仓中的应用实践

本文将介绍Doris在美团外卖数仓的实践。序言本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。
架构师小秘圈·2023-11-07 03:25

Apache Doris (五十二）： Doris Join类型 - Broadcast Join

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.BroadcastJoin原理
IT贫道·2023-11-07 03:53

Doris Manager集群的工具，运维更顺畅

哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️
IT邦德·2023-11-06 11:55

Hive（十）—— Hive企业级优化

文章目录1.表的优化1.1小表Join大表1.2大表Join大表1.3MapJoin1.4GroupBy1.5Count(Distinct)去重统计1.6笛卡尔积1.7行列过滤1.8动态分区调整1.9分区
程序员X小鹿·2023-11-06 09:52

Apache Doris 系列： 基础篇-清理垃圾数据

垃圾数据如何产生delete/drop/truncate等操作只是在逻辑上删除了数据，并没有进行物理删除数据文件合并完成后没有物理删除旧的数据清理所有BE节点的垃圾数据ADMINCLEANTRASH;清理指定BE节点的垃圾数据ADMINCLEANTRASH[ON("BackendHost1:BackendHeartBeatPort1","BackendHost2:BackendHeartBeatP
修破立生·2023-11-06 02:48

技术实现 | Apache Doris 冷热数据存储（一）

1.前言对于任何一种数据库类软件来说，无论其基于传统数据库模型还是基于分布式结构，作为核心的永远是数据本身。而数据的生命周期，则体现在CRUD操作（创建、查询、更新、删除）上。任何一条数据从其生成的时刻开始，数据价值随着时间的推移而逐渐降低，直至成为无用数据，最终删除。作为使用数据的主体——用户，对于各种数据的需求程度是不同的，人们往往对重要的数据有更高效、稳定的访问需求；而对于不重要的数据则没有
ApacheDoris·2023-11-06 02:17

Apache Doris整体架构、FE元数据管理及数据组织

目录1.Doris整体架构2.FE元数据管理3.Doris数据组织1.Doris整体架构Doris主要分为FE和BE两个组件，FE主要负责查询的编译，分发和元数据管理（基于内存，类似HDFSNN）；BE
国林哥·2023-11-06 02:47

Apache Doris 入门教程08：建立和使用索引

目前Doris主要支持两类索引：内建的智能索引，包括前缀索引和ZoneMap索引。
sunjian286·2023-11-06 02:17

Apache Doris : 一个开源 MPP 数据库的架构与实践

ApacheDoris:一个开源MPP数据库的架构与实践一、Doris背景介绍1.1Doris1.2Doris定位二、适用场景&案例介绍2.1适用场景2.1.1对数据分析、统计2.1.2报表2.1.3多维分析
明月清风，良宵美酒·2023-11-06 02:16

Apache Doris (五十一）： Doris数据缓存

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.
IT贫道·2023-11-06 02:12

hive创建分区表

目录1.什么是分区表2.创建数据3.创建静态表4.导入数据5.创建动态分区表结构6.开启动态分区7.把刚才静态分区的数据导入到静态分区1.什么是分区表分区表就是将一个大表分成若干个小表。
lambda-小张·2023-11-05 23:39

官宣：Apache Doris 顺利毕业，成为 ASF 顶级项目！

|作者：ApacheDoris|编辑：朱天瑜|责编：金心悦|设计：马丽娜2022年6月16日，Apache软件基金会（ASF）官方宣布ApacheDoris顺利毕业，成为顶级项目（TLP）。01关于ApacheDorisApacheDoris源于百度自研的MPP分析型数据库，旨在解决百度凤巢高并发、高吞吐、低延迟的报表问题。2017年正式在GitHub进行开源，并于2018年8月正式捐献给全球顶级
开源社·2023-11-05 07:44

2019-07-05

一.重点sql1.hive动态分区sethive.exec.dynamici.partition=true;sethive.exec.dynamic.partition.mode=nonstrict;insertoverwritetablemds_new_user_temppartition
胡竹哲·2023-11-04 22:03

手把手教你快速在生产环境搭建Doris集群附集群启停管理脚本

手把手教你快速在生产环境搭建Doris集群一、部署规划组件分布规划节点node4node5node6node7node8Node9Node10Node11服务FE（follower）BEFE（follower
薛定谔的猫不吃猫粮·2023-11-04 06:24

Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库

背景介绍ApacheDoris是一个基于MPP架构的易于使用，高性能和实时的分析数据库，以其极高的速度和易用性而闻名。海量数据下返回查询结果仅需亚秒级响应时间，不仅可以支持高并发点查询场景，还可以支持高通量复杂分析场景。这些都使得ApacheDoris成为报表分析、即席查询、统一数据仓库和数据湖查询加速等场景的理想工具。在ApacheDoris上，用户可以构建各种应用，如用户行为分析、AB测试平台
yue_stack·2023-11-04 05:32

Doris：StreamLoad导入数据

.请求参数3.2.返回参数4.StreamLoad实践4.1.使用curl命令4.2.使用Java代码Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris
m0_37559973·2023-11-03 22:24

Apache Doris系列之：数据模型

ApacheDoris系列之：数据模型一、数据模型基本概念二、聚合模型Aggregate模型1.导入数据聚合2.保留明细数据3.导入数据与已有数据聚合三、Unique模型四、Duplicate模型五、聚合模型的局限性六、数据模型的选择建议一、数据模型基本概念数据以表的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row即用户的一行数据。Column用于描述一行数据中不同的字段。
最笨的羊羊·2023-11-03 18:38

5分钟搞定 PostgreSQL 到 Doris 数据迁移和同步

本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的PostgreSQL到Doris数据同步链路。技术点基于StreamLoad的导入方式Doris提供了多种导入方式。
ClouGence·2023-11-03 18:05

Apache Doris导出数据到HDFS

部署broker配置文件为apache_hdfs_broker/conf/apache_hdfs_broker.conf注意：Broker没有也不需要priority_networks参数，Broker的服务默认绑定在0.0.0.0上，只需要在ADDBROKER时，填写正确可访问的BrokerIP即可。如果有特殊的hdfs配置，复制线上的hdfs-site.xml到conf目录下启动：./apac
贾斯汀玛尔斯·2023-11-03 18:04

Doris之数据导出

数据导出数据导出（Export）是Doris提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据，以文本的格式，通过Broker进程导出到远端存储上，如HDFS/BOS等。
墨卿风竹·2023-11-03 18:32

备份doris数据到minio

CREATEREPOSITORY`minio`WITHS3ONLOCATION"s3://doris"PROPERTIES("AWS_ENDPOINT"="http:
陕西小伙伴网络科技有限公司·2023-11-03 18:50
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他