doris参数调优

Doris 运维篇：Apache Doris 如何定位处理问题的Tablet

我们在使用Doris的时候，有时候会遇到用户在查询的时候出现失败，出现类似下面这种错误：tablet=33903.2001738452.784560b62ce005b4-03d036e54a7ff7bb
张家锋·2023-10-23 16:22

【大数据 - Doris 实践】数据表的基本使用（四）：动态分区

数据表的基本使用（四）：动态分区1.原理2.使用方式3.动态分区规则参数3.1主要参数3.2创建历史分区的参数3.3创建历史分区规则3.4创建历史分区举例3.5注意事项4.示例4.1创建动态分区表4.2查看动态分区表调度情况4.3查看表的分区4.4插入测试数据4.5设置创建历史分区4.6动态分区表与手动分区表相互转换4.6.1手动分区转换为动态分区4.6.2动态分区转换为手动分区动态分区是在Dor
G皮T·2023-10-23 07:21

Doris的12天减肥日记-第4天

加油Doris一步一步慢慢来比较快图片发自App
Dorisyoung·2023-10-23 05:35

【大数据 - Doris 实践】数据表的基本使用（三）：数据模型

数据模型1.Aggregate模型1.1例一：导入数据聚合1.2例二：保留明细数据1.3例三：导入数据与已有数据聚合2.Uniq模型3.Duplicate模型4.数据模型的选择建议5.聚合模型的局限性Doris
G皮T·2023-10-22 10:15

MySQL调优参数配置详解

一、mysql参数调优知识铺垫1、一些生产常用查询命令--查看数据库里正在执行的sql语句showprocesslist;--查看正在执行的完整sql语句，完整显示showfullprocesslist
行者张良·2023-10-22 08:12

JVM参数调优

一、案例实践64G物理内存服务器JVM参数配置建议如果你的服务器有64GB内存，你可以使用以下JVM参数来优化Java程序的性能：-Xms：设置Java堆的初始内存使用量。推荐将该参数设置为总内存的25%到50%。例如，可以设置为-Xms16g，表示Java堆初始使用16GB内存。-Xmx：设置Java堆的最大内存使用量。推荐将该参数设置为总内存的50%到80%。例如，可以设置为-Xmx48g，表
行者张良·2023-10-22 08:38

系统调优几个维度考虑

前端：1、CDN前后分离:开发模式动静分离：动态资源和静态资源分开存储缺陷：更新需要刷新缓存后端：1、jvm调优，需要对jvm参数调优，减少gc，和STW次数；选择合适的垃圾回收器2、使用redis缓存
牛八里昂·2023-10-22 05:32

springboot 链接doris 配置

org.springframework.bootspring-boot-starter-data-jpaorg.springframework.bootspring-boot-starter-web在application.properties或application.yml文件中配置Doris
贾宝玉的贾·2023-10-22 03:18

kafka原理五之springboot 集成批量消费

String类型接入使用注解方式获取消息头、消息体手动提交批量消费ConsumerRecord类接收String类接收使用注解方式获取消息头、消息体，则也是使用List来接收：并发消费配置类方式四、Kafka参数调优一
yangyanping20108·2023-10-20 14:25

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

摘要：本文整理自SelectDB资深大数据研发专家王磊，在FFA2022实时湖仓专场的分享。本篇内容主要分为四个部分：实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上，分析一下传统的数据架构。从图中可以看到，数据分为实时数据流和离线数据流。在实时数据部分，通过Binlo
Apache Flink·2023-10-20 00:33

Apache Doris && Kafka

KafkaKafka入门到精通。Kafka硬件配置选择Kafka生产者KafkaBrokerKafka消费者Kafka总体针对Kafka3.0.0Kafka传统定义：分布式的基于发布订阅的消息队列MessageQueue。主要应用于大数据实时处理领域。最新的定义：新的开源的分布式事件流平台EventStreamingPlatform。用于数据管道流分析数据集成和关键任务的应用。消息队列应用场景：缓
wqy19941008·2023-10-20 00:03

Apache Doris使用总结

前提：已有多年大数据经验，熟悉多种架构，与其他框架类比后总结的doris一些特性，新手勿入1.Doris基础学习中文官网:https://doris.apache.org/zh-CN/docs/dev/
这个程序猿可太秀了·2023-10-20 00:32

Apache Doris 入门教程05：数据模型

数据模型本文主要从逻辑层面，描述Doris的数据模型，以帮助用户更好的使用Doris应对不同的业务场景。基本概念在Doris中，数据以表（Table）的形式进行逻辑上的描述。
sunjian286·2023-10-20 00:01

Apache Doris (四十四）： Doris数据更新与删除 - Delete 数据删除

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-20 00:59

Apache Doris (二十五）：Doris 数据导入(三）Broker Load-1

ApacheDoris架构中除了有BE和FE进程之外，还可以部署Broker可选进程，主要用于支持Doris读写远端存储上的文件和目录。例如：ApacheHDF
IT贫道·2023-10-20 00:28

Apache Doris (十二) ：数据存储模型之Unique数据存储模型

目录1.读时合并2.写时合并进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！在某些多维分析场景下，用户更关注的是如何保证Key的唯一性，即如何获得PrimaryKey唯一性约束。因此，我们引入了Unique数据模型，该模型可以根据相同的PrimaryKey来保留后插入的数据，确保数据的唯一&#x
IT贫道·2023-10-20 00:58

Apache Doris (十九) ：Doris Properties 配置项及Engine选择

目录一、Properties配置项二、关于ENGINE进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！一、Properties配置项在创建表时，可以指定properties设置表属性，目前支持以下属性：
IT贫道·2023-10-20 00:58

Apache Doris 02|导入数据遇到的问题

1、brokerload数据导入失败loadlabelexample_db.stuscore(datainfile("hdfs://devtest4.com:50070/tmp/testdata/stuscore.txt")intotablestuscore)withbroker'broker_name'("username"="root","password"="");查看数据导入状态。show
爱吃鱼的荔果果·2023-10-20 00:55

Apache Doris ODBC外表之Postgresql使用指南

今天是2022年阳历新年第一天，祝大家元旦快乐，这也是2022年第一篇文章，后续会给大家带来更多关于Doris的文章，同时也希望Doris2022年起飞，顺利从Apache孵化器毕业成顶级项目，给大家带来更快
hf200012·2023-10-20 00:25

Apache doris 1.2.0 release

亲爱的社区小伙伴们，再一次经历数月的等候后，我们很高兴地宣布，ApacheDoris于2022年12月7日迎来1.2.0Release版本的正式发布！有近118位Contributor为ApacheDoris提交了超2400项优化和修复，感谢每一位让ApacheDoris更好的你！自从社区正式确立LTS版本管理机制后，在1.1.x系列版本中不再合入大的功能，仅提供问题修复和稳定性改进，力求满足更多
hf200012·2023-10-20 00:25

Apache Doris Routine Load数据导入使用方法

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星1.概要Routineload功能为用户提供了一种自动从指定数据源进行数据导入的功能。
hf200012·2023-10-20 00:24

Apache Doris基础

FE又分为Leader、Follwer和Observer三种角色，默认一个Doris集群中只能有一个Leader，可以有多个Follwer和Observer。
Devops_Andre·2023-10-20 00:23

Apache Doris (四十五）： Doris数据更新与删除 - Sequence 列

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.基本原理
IT贫道·2023-10-20 00:22

PostgreSQL性能调优 postgresql.conf参数调优

PostgreSQL性能调优postgresql.conf参数调优调整硬件配置1.存储器1)OLAP（联机分析处理）2)OLTP（联机事务处理）2.内存容量3.CPU速度数据库参数调整1.连接数2.内存相关参数
ac.char·2023-10-19 06:30

Doris对接消费kafka数据方案实现

本篇主要讲述消费kafka中的数据同步到Doris中。
HD0do(迪答数据)·2023-10-19 04:44

Hive 基于常用参数的调优（Tez和MR引擎）

1.说明Hive的常用计算引擎有MR、Tez和Spark，本篇博客主要是基于MR和Tez的参数调优，由于Hive的任务是在Yarn上提交的，所以Yarn作为一个资源调度器，可用的资源也需要进行配置。
abcdggggggg·2023-10-19 02:55

Flink1.15.4+flinkcdc+Dinky0.7.3+Mysql5.7+Doris1.2.1实现实时同步

download/qq_37247664/88192279Dinky0.7.3:https://download.csdn.net/download/qq_37247664/88192354flinkcdc+doris
向大之路·2023-10-19 02:49

Apache Doris 系列： 基础篇-单独更新一列

数据模型选择数据表使用Aggregate聚合模型需要更新的字段使用关键字REPLACE_IF_NOT_NULL举例建表CREATETABLEIFNOTEXISTStest.expamle_tbl2(`user_id`LARGEINTNOTNULLCOMMENT"用户id",`date`DATENOTNULLCOMMENT"数据灌入日期时间",`city`VARCHAR(20)COMMENT"用户所
修破立生·2023-10-18 21:26

Apache Doris 系列： 基础篇-Flink SQL写入Doris

简介本文介绍FlinkSQL如何流式写入ApacheDoris，分为一下几个部分：FlinkDorisconnectorDorisFE节点配置FlinkSQL写DorisFlinkDorisconnectorFlinkDorisconnector本质是通过StreamLoad来时实现数据的查询和写入功能。支持二阶段提交，可实现ExatlyOnce的写入。DorisFE节点配置1）需在apache-
修破立生·2023-10-18 21:25

Apache Doris 系列： 基础篇-Routine Load

简介RoutineLoad支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到Doris中。
修破立生·2023-10-18 21:25

Apache Doris 系列： 基础篇-创建数据表

本文介绍Doris怎么创建表及其他的相关操作。连接Doris部署完成Doris之后，可以通过任意MySQL客户端来连接Doris。
修破立生·2023-10-18 21:55

Apache Doris 系列： 基础篇-Stream Load

文章目录简介StreamLoad的API地址例子简介StreamLoad提供HTTPAPI提交数据导入任务，支持本地数据文件(csv,json)的导入。特点：同步导入保证数据原子性，导入一批数据时，要么全部成功，要么全部失败StreamLoad的API地址http://fe_host:http_port/api/{db}/{table}/_stream_loadfe_hostFE节点的IP地址ht
修破立生·2023-10-18 21:55

Apache Doris 入门教程24：查询和导入性能分析

查询分析Doris提供了一个图形化的命令以帮助用户更方便的分析一个具体的查询或导入。本文介绍如何使用该功能。查询计划树SQL是一个描述性语言，用户通过一个SQL来描述想获取的数据。
sunjian286·2023-10-18 21:23

Apache Doris 入门教程19：数据更新及删除

批量删除目前Doris支持BrokerLoad，RoutineLoad，StreamLoad等多种导入方式，对于数据的删除目前只能通过delete语句进行删除，使用delete语句的方式删除时，每执行一次
sunjian286·2023-10-18 21:23

Apache Doris (四十一）： RESOTRE数据恢复

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.RESTORE数据恢复原理
IT贫道·2023-10-18 21:50

Apache Doris (四十二）： RECOVER数据删除恢复

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-18 21:50

Apache Doris (四十）： BACKUP数据备份

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-18 21:20

Apache Doris (二十四）：Doris 数据导入(二）Binlog Load

目录1.基本原理2.Canal原理及配置2.1Canal同步MySQL数据原理2.2开启MySQLbinlog
IT贫道·2023-10-18 21:19

应用实践｜Lifewit 数据平台基于Apache Doris的建设实践

导读：近几年随着跨境电商行业的快速发展，Lifewit业务达到近十倍的增长，原先的痛点已经严重影响到用户的数据使用体验。技术端需要随着业务的飞速发展不断升级迭代适应业务的增长。Lifewit规划了从旧数据架构进化成目前基于ApacheDoris构建的轻量级业财一体化数据平台，来系统化地解决旧架构存在的痛点，打通业务数据和财务数据，构建综合数据平台提供全业务链自助数据分析能力，支撑完善的数据报表体系
hf200012·2023-10-18 21:48

资源消耗降低 90%，速度提升 50%，解读 Apache Doris Compaction 最新优化与实现

背景LSM-Tree（LogStructured-MergeTree）是数据库中最为常见的存储结构之一，其核心思想在于充分发挥磁盘连续读写的性能优势、以短时间的内存与IO的开销换取最大的写入性能，数据以Append-only的方式写入Memtable、达到阈值后冻结Memtable并Flush为磁盘文件、再结合Compaction机制将多个小文件进行多路归并排序形成新的文件，最终实现数据的高效写入
SelectDB技术团队·2023-10-18 21:47

Apache Doris (四十三）： Doris数据更新与删除 - Update数据更新

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.Update数据更新原理
IT贫道·2023-10-18 21:14

Apache Doris系列之：安装与部署详细步骤

时钟同步四、关闭交换分区五、Linux文件系统六、开发测试环境七、生产环境八、FE和BE的作用九、FE节点的数量十、部署最佳方案十一、Broker部署十二、网络需求十三、集群部署十四、常见问题一、软硬件需求Doris
最笨的羊羊·2023-10-18 11:49

Apache IoTDB 作为合作伙伴参加 Doris Summit Asia 2023！

与创新者同行10月21日，DorisSummitAsia2023将在北京丽亭华苑酒店举行，目前已征集50+演讲议题，将从智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱等方向展开全面分享。ApacheIoTDB社区受到邀请，作为ApacheDoris合作伙伴，将于大会现场设置展位，以分享时序数据库创新成果，欢迎找我们打卡领取社区专属礼品！01关于DorisSummitAsia2023
Apache IoTDB·2023-10-18 11:43

驱动数字化转型，Doris Summit Asia 2023 智慧金融与政企论坛精彩预告！

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-10-18 11:10

Doris Summit Asia 2023 完整议程公开，首届线下峰会邀你报名！

距离DorisSummit2022闭幕已近一年，DorisSummitAsia2023已经起航。这一年里，ApacheDoris完成了从1.0到2.0具有里程碑意义的版本跨越。通过持续技术创新，实现了令人瞩目的性能飞跃。不仅如此，ApacheDoris不断拓展应用场景边界，以适配更广泛的分析场景，并为用户提供灵活的解决方案。凭借这一年的努力，ApacheDoris也获得了更多社区用户及企业的喜爱。
SelectDB技术团队·2023-10-18 11:40

推动产业升级及创新，Doris Summit Asia 2023 先进智造与电信论坛提前揭秘

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-10-18 11:33

【大数据 - Doris 实践】数据表的基本使用（一）：基本概念、创建表

数据表的基本使用（一）：基本概念、创建表1.创建用户和数据库2.Doris中数据表的基本概念2.1Row&Column2.2Partition&Tablet3.建表实操3.1建表语法3.2字段类型3.3
G皮T·2023-10-17 22:41

【大数据 - Doris 实践】数据表的基本使用（二）：数据划分

数据表的基本使用（二）：数据划分1.列定义2.分区与分桶2.1Partition2.1.1Range分区2.1.2List分区2.2Bucket2.3使用复合分区的场景3.PROPERTIES3.1replication_num3.2storage_medium3.3storage_cooldown_time4.ENGINE1.列定义列的基本类型，可以通过在mysql-client中执行HELPC
G皮T·2023-10-17 22:39

从 ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践

导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从1.0演进到了4.0，经历了分析引擎从ClickHouse到ApacheDoris的替换、经历了数据架构语义层的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据
hf200012·2023-10-17 17:26

【大数据 - Doris 实践】数据表的基本使用（一）：基本概念、创建表

数据表的基本使用（一）：基本概念、创建表1.创建用户和数据库2.Doris中数据表的基本概念2.1Row&Column2.2Partition&Tablet3.建表实操3.1建表语法3.2字段类型3.3
G皮T·2023-10-17 17:21
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他