doris参数调优

Apache Doris : 一个开源 MPP 数据库的架构与实践

ApacheDoris:一个开源MPP数据库的架构与实践一、Doris背景介绍1.1Doris1.2Doris定位二、适用场景&案例介绍2.1适用场景2.1.1对数据分析、统计2.1.2报表2.1.3多维分析
明月清风，良宵美酒·2023-11-06 02:16

Apache Doris (五十一）： Doris数据缓存

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.
IT贫道·2023-11-06 02:12

官宣：Apache Doris 顺利毕业，成为 ASF 顶级项目！

|作者：ApacheDoris|编辑：朱天瑜|责编：金心悦|设计：马丽娜2022年6月16日，Apache软件基金会（ASF）官方宣布ApacheDoris顺利毕业，成为顶级项目（TLP）。01关于ApacheDorisApacheDoris源于百度自研的MPP分析型数据库，旨在解决百度凤巢高并发、高吞吐、低延迟的报表问题。2017年正式在GitHub进行开源，并于2018年8月正式捐献给全球顶级
开源社·2023-11-05 07:44

【大数据】搭建Hadoop集群，超级详细

2章调优2.2.1项目经验之HDFS存储多目录2.2.2集群数据均衡2.2.3项目经验之支持LZO压缩配置2.2.4项目经验之LZO创建索引2.2.5项目经验之基准测试2.2.6项目经验之Hadoop参数调优完结撒花
小 源·2023-11-05 00:29

手把手教你快速在生产环境搭建Doris集群附集群启停管理脚本

手把手教你快速在生产环境搭建Doris集群一、部署规划组件分布规划节点node4node5node6node7node8Node9Node10Node11服务FE（follower）BEFE（follower
薛定谔的猫不吃猫粮·2023-11-04 06:24

Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库

背景介绍ApacheDoris是一个基于MPP架构的易于使用，高性能和实时的分析数据库，以其极高的速度和易用性而闻名。海量数据下返回查询结果仅需亚秒级响应时间，不仅可以支持高并发点查询场景，还可以支持高通量复杂分析场景。这些都使得ApacheDoris成为报表分析、即席查询、统一数据仓库和数据湖查询加速等场景的理想工具。在ApacheDoris上，用户可以构建各种应用，如用户行为分析、AB测试平台
yue_stack·2023-11-04 05:32

Doris：StreamLoad导入数据

.请求参数3.2.返回参数4.StreamLoad实践4.1.使用curl命令4.2.使用Java代码Streamload是一个同步的导入方式，用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris
m0_37559973·2023-11-03 22:24

kafka调优

配置参数调优broker配置num.recovery.threads.per.data.dir对于如下3种情况，Kafka会使用可配置的线程池来处理日志片段：服务器正常启动，用于打开每个分区的日志片段；
刘栉风·2023-11-03 18:32

Apache Doris系列之：数据模型

ApacheDoris系列之：数据模型一、数据模型基本概念二、聚合模型Aggregate模型1.导入数据聚合2.保留明细数据3.导入数据与已有数据聚合三、Unique模型四、Duplicate模型五、聚合模型的局限性六、数据模型的选择建议一、数据模型基本概念数据以表的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row即用户的一行数据。Column用于描述一行数据中不同的字段。
最笨的羊羊·2023-11-03 18:38

5分钟搞定 PostgreSQL 到 Doris 数据迁移和同步

本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的PostgreSQL到Doris数据同步链路。技术点基于StreamLoad的导入方式Doris提供了多种导入方式。
ClouGence·2023-11-03 18:05

Apache Doris导出数据到HDFS

部署broker配置文件为apache_hdfs_broker/conf/apache_hdfs_broker.conf注意：Broker没有也不需要priority_networks参数，Broker的服务默认绑定在0.0.0.0上，只需要在ADDBROKER时，填写正确可访问的BrokerIP即可。如果有特殊的hdfs配置，复制线上的hdfs-site.xml到conf目录下启动：./apac
贾斯汀玛尔斯·2023-11-03 18:04

Doris之数据导出

数据导出数据导出（Export）是Doris提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据，以文本的格式，通过Broker进程导出到远端存储上，如HDFS/BOS等。
墨卿风竹·2023-11-03 18:32

备份doris数据到minio

CREATEREPOSITORY`minio`WITHS3ONLOCATION"s3://doris"PROPERTIES("AWS_ENDPOINT"="http:
陕西小伙伴网络科技有限公司·2023-11-03 18:50

Flink 统计接入的数据量-滚动窗口和状态的使用

1、概述在生产场景值，经常需要和上游、下游对数，离线场景可以直接groupby再count，但是实时场景中，如果使用kafka作为中间件，中间经过几个job的过滤转化后，再对照像Doris或Clickhouse
猫猫爱吃小鱼粮·2023-11-03 17:37

XGBoost调参指南

本文内容结构主要参考CompleteGuidetoParameterTuninginXGBoostwithcodesinPython及其中文翻译XGBoost参数调优完全指南。
井底蛙蛙呱呱呱·2023-11-03 16:34

Doris分区表使用

一、动态分区官网链接动态分区是在Doris0.12版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。目前实现了动态添加分区及动态删除分区的功能。
有语忆语·2023-11-03 13:54

Apache Doris 系列：基础篇-创建动态分区表

文章目录动态分区的重要参数使用案例查看分区插入和查看数据动态分区的重要参数dynamic_partition.enable是否启用动态分区true|false,默认为true,即启用动态分区dynamic_partition.time_unit动态分区的时间单位,HOUR|DAY|WEEK|MONTH,可根据配置的时间单位创建或者删除时间分区dynamic_partition.replicatio
修破立生·2023-11-03 00:31

doris表唯一模型如何自由选择字段删除数据

Doris唯一模型，只能根据首个字段（主键位）删除数据。并且条件值要写死具体值。。有时为了满足需求，不得不把表做出复制模型。但是，一定要删除唯一模型的数据还是办法的。
斑鸠同学·2023-11-03 00:29

Doris--数据表基本概念和字段类型

文章目录1.doris表基本概念1.1.1Row&Column1.1.2Partition&Tablet2.doris字段类型1.doris表基本概念在Doris中，数据都以关系表（Table）的形式进行逻辑上的描述
韩家小志·2023-11-03 00:58

Apache Doris (二十) ：Doris 索引详细内容

目录1.前缀索引2.Bitmap索引2.1Bitmap位图索引原理2.2Bitmap位图索引语法
IT贫道·2023-11-03 00:27

大数据Doris（十五）：Doris表的字段类型

文章目录Doris表的字段类型一、TINYINT数据类型二、SMALLINT数据类型三、INT数据类型
Lansonli·2023-11-03 00:54

【文档笔记】doris数据仓库-数据表设计：数据模型及数据划分

数据表设计：数据模型及数据划分一、Doris的数据模型在Doris中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row即用户的一行数据。
KevinBrain·2023-11-03 00:54

Apache Doris (二十六）：Doris 数据导入(四）Broker Load -2 案例及注意事项

目录1.BrockerLoad案例1.1导入HDFS数据到Doris表1.2通配符导入HDFS数据，并指定列顺序
IT贫道·2023-11-02 12:46

分布式数据库Apache Doris HA集群部署

哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️
IT邦德·2023-11-02 12:13

Doris：物化视图

自动匹物化视图4.1.总数据量4.2.可以使用EXPLAIN检查sql是否使用物化视图4.3.统计各省年度数据4.4.统计某年各月数据物化视图是将预先计算（根据定义好的SELECT语句）好的数据集，存储在Doris
m0_37559973·2023-11-02 08:26

Apache Doris系列之：深入认识实时分析型数据库Apache Doris

ApacheDoris系列之：深入认识实时分析型数据库ApacheDoris一、什么是ApacheDoris二、ApacheDoris优势三、ApacheDoris1.1Release四、ApacheDoris下载链接一、什么是ApacheDorisApacheDoris是一个基于MPP的现代化、高性能、实时的分析型数据库，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询
最笨的羊羊·2023-11-01 18:55

Doris SQL日志审计部署，以及sql收集输出kafka，后续血缘分析

1，介绍Doris的审计日志插件是一个可选插件。
黄瓜炖啤酒鸭·2023-11-01 18:19

最佳实战｜Apache Doris SQL日志审计功能

一.功能介绍SQL日志审计是一个可插拔的插件，旨在将logs/fe.audit.log中的sql查询信息记录到doris集群中，方便用户对sql进行分析。
spark大数据玩家·2023-11-01 18:49

基于Apache doris的元数据管理系统

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星这里我们要先搞懂什么是元数据？元数据和数据的区别是什么？
hf200012·2023-11-01 18:45

Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询

1.概览这篇教程将展示如何使用FlinkCDC+Iceberg+Doris构建实时湖仓一体的联邦查询分析，Doris1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，
hf200012·2023-11-01 18:45

峰会倒计时 3 天！互联网与文娱论坛演讲亮点预告！

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-11-01 18:13

本周六，Apache Doris 年度技术盛会相约北京！

峰会官网已上线，最新议程请关注：doris-summit.org.cn即刻报名DorisSummit是ApacheDoris社区一年一度的技术盛会，由飞轮科技联合ApacheDoris社区的众多开发者、
SelectDB技术团队·2023-11-01 18:13

与创新者同行，Doris Summit Asia 2023 线下技术峰会圆满落幕！

10月21日，由飞轮科技主办、阿里云与腾讯云联合主办的ApacheDoris社区首届线下技术峰会DorisSummitAsia2023在一片热潮中落下帷幕。本届峰会以「与创新者同行」为主题，设置主论坛和智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱4个平行论坛，来自美团、银联商务、中国邮政储蓄银行、阿里云、腾讯、小米、华为、网易、平安、众安保险、无锡锡商银行、中国联通、中国电信、爱
SelectDB技术团队·2023-11-01 18:13

查询平均提速 700%，奇安信基于 Apache Doris 升级日志安全分析系统

本文导读：数智时代的到来使网络安全成为了不可忽视的重要领域。奇安信作为一家领先的网络安全解决方案领军者，致力于为企业提供先进全面的网络安全保护，其日志分析系统在网络安全中发挥着关键作用，通过对运行日志数据的深入分析，能够对漏洞和异常行为生成关键见解，帮助企业建立有效的防御策略。本文将深入探讨奇安信在网络安全与日志分析解决方案的关键优势，了解基于ApacheDoris构建的全新一体化日志存储分析平台
SelectDB技术团队·2023-11-01 18:39

JVM参数调优

一、背景以前有一篇文章讲到JVM堆内存分代划分和对象在堆上的分配机制，详细可读JVM堆内存解析，今天我们来聊一下怎么通过配置JVM参数，对系统性能进行优化，本文以JDK1.8做为实验环境二、基本参数介绍1、常用堆分配参数-Xmx：最大堆内存，如果程序运行超过这个值会报OOM，如果不设置一般默认为操作系统物理内存的1/4。-Xms：初始堆内存，当初始堆不够，虚拟机会对堆空间扩展直至上限为最大堆空间，
程序员青菜学厨艺·2023-11-01 13:25

python代码设置超参数_超参数调优总结，贝叶斯优化Python代码示例

超参数调优的目标通常是最小化泛化误差(generalizationerror)，也可以
缪之初·2023-11-01 13:44

参数调优为什么要采样_一文详解超参数调优方法

原标题：一文详解超参数调优方法©PaperWeekly原创·作者｜王东伟单位｜Cubiz研究方向｜深度学习本文介绍超参数(hyperparameter)的调优方法。
weixin_39639286·2023-11-01 13:13

Doris中tablet节点分布不均匀问题

问题描述Doris集群有3个BE和1个FE节点，一个机器上同时部署了FE和BE。在Doris中创建一张表，这张表默认就一个分区，按照“车牌号”字段做分桶，默认桶副本数为3。
IT贫道·2023-11-01 10:58

Apache Doris (四十九）： Doris表结构变更-动态分区(1)

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-11-01 10:58

Apache Doris (五十）： Doris表结构变更-动态分区(2)

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-11-01 10:19

技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once精准接入

本篇文档将演示如何使用ApacheDorisFlinkConnector结合FlinkCDC以及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效接入，并实现ExactlyOnce。一、概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据
Apache Flink·2023-10-31 20:03

【遇见Doris】Spark Doris Connector的最佳实践

Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注Doris官方公众号。公众号后台回复“1222”立即get现场录像及嘉宾PPT。
ApacheDoris·2023-10-31 20:32

生态扩展Spark Doris Connector

生态扩展SparkDorisConnectordoris官网去查找相匹配的sparkspark的安装：tar-zxvfspark-3.1.2-bin-hadoop3.2.tgzmvspark-3.1.2-bin-hadoop3.2/opt/sparkspark环境配置：vim/etc/profileexportSPARK_HOME=/opt/sparkexportPATH=$PATH:$SPARK
墨卿风竹·2023-10-31 20:30

Apache Doris在蜀海供应链的实践

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星概述最早接触doris是在2020年初，当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架
hf200012·2023-10-31 20:59

一个人可能走得更快，但一群人会走得更远[Doris 社区的访谈]

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星「社区人物志」是ApacheDoris社区推出的系列专栏，我们关注每一个对Doris做出过贡献的Contributor
hf200012·2023-10-31 20:59

生态扩展：Flink Doris Connector

生态扩展：FlinkDorisConnector官网地址：https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connectorflink
墨卿风竹·2023-10-31 20:56

Apache Doris (四十七）： Doris表结构变更-Schema变更

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-31 07:52

Apache Doris (四十八）： Doris表结构变更-替换表

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道·2023-10-31 07:17

Linux 性能调优之网络优化

写在前面考试整理相关笔记分享一些Linux中网络内核参数调优的笔记理解不足小伙伴帮忙指正对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。
山河已无恙·2023-10-31 06:42

机器学习算法④—【随机森林】超参数调优实现更高预测准确率

随机森林是一种强大的集成学习算法，它在决策树的基础上引入了样本抽样和特征抽样两种随机性，通过组合多个决策树来提高模型的性能和泛化能力。接下来我们来实现这种算法：首先导入模块：fromsklearn.model_selectionimporttrain_test_split#数据集划分fromsklearn.ensembleimportRandomForestClassifier#导入随机森林模型f
数字生命Allen·2023-10-31 02:07
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他