Doris性能调优

Apache Doris 1.2.0 Release 版本正式发布｜版本通告

亲爱的社区小伙伴们，经历数月的等候，我们很高兴地宣布，ApacheDoris于2022年12月7日迎来了1.2.0Release版本的正式发布！有近118位Contributor为ApacheDoris提交了超2400项优化和修复，感谢每一位让ApacheDoris更好的你！自从社区正式确立LTS版本管理机制后，在1.1.x系列版本中不再合入大的功能，仅提供问题修复和稳定性改进，力求满足更多社区用
·2023-08-15 16:08

Amazon EMR Hudi 性能调优——Clustering

随着数据体量的日益增长，人们对Hudi的查询性能也提出更多要求，除了Parquet存储格式本来的性能优势之外，还希望Hudi能够提供更多的性能优化的技术途径，尤其当对Hudi表进行高并发的写入，产生了大量的小文件之后，又需要使用Presto/Trino对Hudi表进行高吞吐的即席查询的场景里。怎样处理这些小文件，即把原本是写优化的Hudi表，让它也能支持读优化，就成了使用Hudi的用户需要解决的问
亚马逊云开发者·2023-08-15 03:58

3万字史诗级 Hive 性能调优(建议收藏)

前言Hive作为大数据领域常用的数据仓库组件，在平时设计和查询的时候要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含Hive的建表设计方面，对HiveHQL语句本身的优化，也包含Hive配置参数和底层引擎MapReduce方面的调整。本篇文章，我将带着大家主要从以下四个方面展开。目录结构内容
公众号:肉眼品世界·2023-08-13 10:29

Java 性能调优的 11 个实用技巧

在讨论专门针对Java的性能调优技巧
Java小飞飞·2023-08-13 01:56

GoLang之性能调优实战

文章目录GoLang之性能调优实战1.性能调优原则2.性能分析工具3.pprof功能说明4.pprof实践4.1前置准备4.2排查CPU问题4.3排查堆内存问题4.4排查协程问题4.5排查锁问题4.5排查阻塞问题
GoGo在努力·2023-08-12 23:16

【2023最新】几乎涵盖你需要的Android性能优化的所有操作

启动优化、内存优化、App崩溃监控等性能调优也逐渐成了人手必备的技能。性能优化，是Android程序员进阶的必经之路。不管是在项目开发过程中，还是在面试的时候，我们都会遇到关于性能优化的问题。
爱桥代码的程序媛·2023-08-12 14:04

Java性能调优及问题追踪--Btrace的使用

原文地址：https://www.cnblogs.com/rwxwsblog/p/6248210.html生产环境中经常遇到格式各样的问题，如OOM或者莫名其妙的进程死掉。一般情况下是通过修改程序，添加打印日志；然后重新发布程序来完成。然而，这不仅麻烦，而且带来很多不可控的因素。有没有一种方式，在不修改原有运行程序的情况下获取运行时的数据信息呢？如方法参数、返回值、全局变量、堆栈信息等。Btrac
老兵一枚·2023-08-12 09:50

Day5+4组49号doris+《学习力》

今天阅读的是第七章【自我管理】一个人活成一个团队和第八章人人都能成为斜杠青年：我的斜杠青年探索之旅【旧知】从参加各种训练营开始，就发现群里的小伙伴都特别优秀，很多都在工作之外找到了自己的副业，而且-+发展得很好。但是自己就只局限在老师的这个行业里，不知道有什么发展副业的可能。记得在手账营的时候，萌薇老师要我们根据自己的职业写出可能的赚钱方式，当时对这个题目真的很迷茫，不知道自己该从哪里下手。【新知
阿德doris·2023-08-12 01:48

【架构】架构 知识点（完善中...）

目录架构缓存雪崩状况解决缓存穿透状况解决缓存击穿状况解决需要学习的内容基础工作技术提升技术消息中间件接口幂等性介绍解决方案风控系统分布式job分布式配置中心性能调优架构1.缓存雪崩状况缓存雪崩是指大量缓存失效直接走数据库缓存在同一时间内大量
我是Superman丶·2023-08-12 01:44

可参考才是有价值的，架构设计的技改之路从来都不容易

架构师除了会使用工具，还需要有架构设计思想和性能调优技能。在设计上追求简单有效，不做过度设计。
互联网应用架构·2023-08-10 22:28

Flink CDC2.4 整库实时同步MySql 到Doris

环境Flink1.15.4实现原因目前有很多工具都支持无代码实现Mysql->Doris的实时同步如：SlectDB已发布的功能包DinkySeaTunnelTIS等等不过好多要么不支持表结构变动，要不不支持多
一天两晒网·2023-08-10 18:56

社区动态｜Apache Doris 迎来第 300 位 Contributor ！

亲爱的各位ApacheDoris社区的小伙伴们，我们很高兴地告诉大家，ApacheDorisContributor数量已经达到300了！感谢每一个让ApacheDoris更好的你！从ApacheDoris开源到现在，我们一直对每一位为ApacheDoris作出过贡献的社区小伙伴心存感激，正是因为有你的付出，才让ApacheDoris一步一步成长到今天。展望未来，我们将持续努力、致力于把Apache
ApacheDoris·2023-08-10 18:23

性能调优，看过的都说会了...

在展开今天的内容之前，我们先来看一下，是不是任何一个测试都可以学习性能测试。如果说需求、开发、DB、运维、测试是单一一门学科，那么性能就是综合学科，它包含了需求分析、DB、开发、测试、运维的所有学科。所以说，学习性能测试，你前期需要懂的是需求分析、DB设计、程序开发、自动化测试、运维。所以今天的内容是性能分析的一大重点，也是一大难点！WebServer服务优化对于Web服务性能优化的方向，一般是：
bug捕手·2023-08-10 17:29

Android 性能调优之bitmap的优化

背景Android开发中，加载图片过多、过大很容易引起OutOfMemoryError异常，即我们常见的内存溢出。因为Android对单个应用施加内存限制，默认分配的内存只有几M（具体视不同系统而定）。而载入的图片如果是JPG之类的压缩格式（JPG支持最高级别的压缩，不过该压缩是有损的），在内存中展开会占用大量的内存空间，也就容易形成内存溢出。那么高效的加载Bitmap是很重要的事情。Bitmap
码中之牛·2023-08-09 22:52

使用Beautiful Soup等三种方式定制Jmeter测试脚本

BeautifulSoup的xml解析功能解析后修改通过BeautifulSoupBeautifulSoup具体实现使用string.Template字符替换具体实现使用re.sub延展资料获取方法背景介绍我们在做性能调优时
bug捕手·2023-08-09 10:38

Doris总结-数据导入导出

StreamLoad3.RoutineLoad4.BinlogLoad5.InsertInto6.S32.数据导出1.Export导出2.查询结果导出1.数据导入导出1.数据导入Brokerload：将外部数据导入到Doris
数据的小伙伴·2023-08-09 08:38

Doris总结-Join方式

Doris总结-Join1.BroadcastJoin2.ShuffleJoin3.ColocationJoin4.BucketShuffleJoin5.RuntimeFilter顺序：ColocateJoin
数据的小伙伴·2023-08-09 08:38

性能优化必知必会

系统性能调优分为四个层次基础设施网络编解码分布式系统性能整体提升一：基础设施优化从提升单机进程的性能入手，包括高效的使用主机的CPU、内存、磁盘等硬件，通过提高并发编程提升吞吐量，根据业务特性选择合适的算法
Songbl_·2023-08-09 03:09

车云一体化系统基础理论

车云一体化系统基础理论介绍目标正文参考文档介绍最近在调研车云链路一体化的整套解决方案，涉及分布式消息队列（RocketMQ）、分布式存储（Doris）、离线数据处理（Spark）、用户行为日志分析（Flink
SchopenhauerZhang·2023-08-08 23:53

2023最新性能测试面试题（带答案）

和响应时间)第二步：编写测试计划，人员、时间周期、工具第三步：环境搭建第四步：造数据第五步：场景测试（单接口基准测试、单接口压力测试、混合接口测试、稳定性测试）第六步：结果分析，提交测试报告第七步：等待开发性能调优
潇潇说测试·2023-08-08 15:12

自然语言处理：长文本场景下的关键词抽取实践

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-08-08 14:47

自然语言处理[信息抽取]：MDERank关键词提取方法及其预训练模型----基于嵌入的无监督 KPE 方法 MDERank

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-08-08 14:47

自然语言处理文本分割[Text segmentation]：PoNet算法使用多粒度Pooling结构替代attention的网络

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-08-08 14:46

doris-面试题

1.组成mysql客户端fe：接受客户端请求，元数据管理，节点管理be：数据存储，查询计划执行2.数据模型聚合模型：维度字段，聚合字段唯一模型：特殊的聚合模型明细模型：什么也不做处理3.Doris和Clickhouse
青云游子·2023-08-07 22:23

Docker编译安装Doris集群

1.拉取官方的安装环境因为这个官网给的镜像对Doris有良好的兼容，所以我们最好使用Doris官网所提供的Docker镜像，在这个镜像里面进行编译安装dockerpullapachedoris/doris-dev
彪悍程序员·2023-08-07 13:10

Docker构建Doris 3FE 3BE

Docker构建Doris3FE3BE#构建网络dockernetworkcreate--driverdoris-bridge--subnet=172.20.80.0/24doris-network#fe1dockerrun-itd
深思千年·2023-08-07 13:40

Docker-compose 进行Doris自动化编排部署

WSL使用Docker-compose进行Doris自动化编排部署在wsl使用docker-compose命令时，提示如下Thecommand'docker-compose'couldnotbefoundinthisWSL1distro.WerecommendtoconvertthisdistrotoWSL2andactivatetheWSLintegrationinDockerDesktopse
何以问_·2023-08-07 13:38

Doris Docker部署

官方文档：https://doris.apache.org/zh-CN/docs/summary/basic-summary先使用以下命令查看部署doris的机器是否支持AVX2指令集cat/proc/
Gary.08·2023-08-07 13:38

[容器化技术] 使用docker-compose搭建doris本地测试环境

环境概述系统:macos芯片:m2芯片架构:arm64(可以通过uname-a来查看)doris版本:1.2.2docker集群的分布名称ipdoris-fe1-01172.20.80.2doris-fe1
Antg·2023-08-07 13:08

Docker compose方式部署doris

1.背景接到个任务，在新服务器上部署doris，为了统一管理，采用docker-compose方式部署。
qq_25249543·2023-08-07 13:08

下一代实时数据库：Apache Doris 【一】简介

文章目录第1章Doris简介1.1Doris概述1.2Doris架构第1章Doris简介1.1Doris概述ApacheDoris由百度大数据部研发(之前叫百度Palo，2018年贡献到Apache社区后
Maynor996·2023-08-07 06:32

mac安装Graphviz及使用（火焰图、树形）

反正需要性能调优时这个图形化界面可以很直观的看到进程的性能状态。安装Graphviz使用brew安装Graphviz，其中mac安装brew可参照写的另一篇博客：mac安装brew_借我三行代码的
骑着蜗牛打天下·2023-08-07 03:06

使用 docker-compose 搭建 Doris 和 Hudi 测试环境

本机环境是MacOSM1，系统版本为12.5.1。相关文件docker-compose.ymlversion:"3.3"services:namenode:image:registry.cn-hangzhou.aliyuncs.com/jensenchen/hudi-hadoop_2.8.4-namenode:arm64platform:linux/arm64hostname:namenodeco
一只努力的微服务·2023-08-06 20:15

Elasticsearch 性能调优指南

目录1、通用优化策略1.1通用最小化法则1.2职责单一原则1.3其他2、写性能调优2.1基本原则2.2优化手段2.2.1增加flush时间间隔，2.2.2增加refresh_interval的参数值2.2.3
技术专家乄·2023-08-06 18:11

使用es必须要知道的一些知识点：索引篇

文章目录一、索引创建二、经验篇使用动态模板（DynamicTemplate）优化索引动态模板（DynamicTemplate）批量处理器（BulkProcessor）不建议处理多个索引模板的请求三、性能调优多条搜索
子涵先生·2023-08-06 16:04

Arthas（阿尔萨斯）监控线上Java程序，解决无法线上性能调优问题

1、Arthas介绍Arthas是阿里在2018年9月开源的Java诊断工具，支持JDK6+，采用的是命令交互模式，提供Tab自动补全，在线排查问题，无需重启，动态跟踪Java代码，实时监控JVM状态，方便Java大佬们定位和诊断线上程序运行问题。开源地址：https://github.com/alibaba/arthas官方文档：https://arthas.aliyun.com/doc/2、A
站在巨人的肩膀上遥望·2023-08-06 14:06

【性能调优-实例演示】CPU爆了怎么定位问题--》调试指令&性能分析工具

性能调优定位生产性能问题生产环境，CPUMemory告警top：找出占CPU比较高的进程${pid}（内存增长，CPU居高不下）top-Hp${pid}：显示所有线程的CPU占比，观察进程中的线程，找出哪个线程
helen_elva·2023-08-06 13:31

Go实战性能调优

性能调优原则：要依据数据而不是猜测要定位最大瓶颈而不是细枝末节不要过早优化不要过度优化，系统可能要继续开发，任意产生不兼容的情况学习使用性能调优优化工具pprof性能优化调优案例:业务服务优化基本概念服务
还不快去卷！·2023-08-06 12:20

Doris Sequence 列

百亿大表Join提速300倍！ApacheDoris在约苗数据平台的实时数仓建设实践dorissequence列sequence列目前只支持Uniq模型。Uniq模型主要针对需要唯一主键的场景，可以保证主键唯一性约束，但是由于使用REPLACE聚合方式，在同一批次中导入的数据，替换顺序不做保证，详细介绍可以参考数据模型。替换顺序无法保证则无法确定最终导入到表中的具体数据，存在了不确定性。为了解决这
胖胖胖胖胖虎·2023-08-06 11:05

Cilium系列-13-启用XDP加速及Cilium性能调优总结

系列文章Cilium系列文章前言将Kubernetes的CNI从其他组件切换为Cilium,已经可以有效地提升网络的性能.但是通过对Cilium不同模式的切换/功能的启用,可以进一步提升Cilium的网络性能.具体调优项包括不限于:启用本地路由(NativeRouting)完全替换KubeProxyIP地址伪装(Masquerading)切换为基于eBPF的模式KubernetesNodePort
东风微鸣·2023-08-06 10:44

Go语言性能优化建议与pprof性能调优详解——结合博客项目实战

文章目录性能优化建议Benchmark的使用slice优化预分配内存大内存未释放map优化字符串处理优化结构体优化atomic包小结pprof性能调优采集性能数据服务型应用gotoolpprof命令项目调优分析修改
Palp1tate·2023-08-05 23:51

Nifi + Kafka + Flink（Scala）+ Doris Sqlserver 数据实时同步

一Nifi配置2.搜索表生成器配置信息创建数据库连接池连接信息jdbc:sqlserver://10.126.141.189:29528;DatabaseName=dbDatabaseDriverClassName：com.microsoft.sqlserver.jdbc.SQLServerDriver打开连接池最后配置好的processer二创建sql执行器创建json解析器配置json解析器{
weixin_41734687·2023-08-05 09:25

Flink 消费 Kafka, 实时修改 Doris 表数据.

2022/11/08菜鸟记录.场景:Flink消费Kafka数据,修改Doris表数据.背景:Flink版本1.14.4Doris版本1.1.0代码:publicclassDorisUpdateDemo
温冰水或是凉白开·2023-08-05 09:54

Doris+Flink搭建数据平台

Doris+Flink搭建数据平台Doris部署Doris作为一款开源的MPP架构OLAP数据库，能够运行在绝大多数主流的商用服务器上。
独狐游清湖·2023-08-05 09:53

Flink 使用 SQL 读取 Kafka 写入到Doris表中

ApacheDoris代码仓库地址：apache/incubator-doris欢迎大家关注加星这次我们演示的是整合FlinkDorisConnector到Flink里使用，通过FlinkKafkaConnector
hf200012·2023-08-05 09:23

Flink Kafka Doris实战demo

FlinkKafkaDoris实战demo环境：Flink1.12Doris0.12Kafka1.0.1+kafka3.1.1一：编译doris参考官网Docker编译：https://github.com
奈文摩尔ST·2023-08-05 09:53

flink+kafka+doris+springboot集成例子

目录一、例子说明1.1、概述1.1、所需环境1.2、执行流程二、部署环境2.1、中间件部署2.1.1部署kakfa2.1.1.1上传解压kafka安装包2.1.1.2修改zookeeper.properties2.1.1.3修改server.properties2.1.1.3启动kafka2.1.2、部署flink2.1.2.1上传解压flink安装包2.1.2.1修改flink配置2.1.2.3
青春不流名·2023-08-05 09:52

开源免费用｜Apache Doris 2.0 推出跨集群数据复制功能

随着企业业务的发展，系统架构趋于复杂、数据规模不断增大，数据分布存储在不同的地域、数据中心或云平台上的现象越发普遍，如何保证数据的可靠性和在线服务的连续性成为人们关注的重点。在此基础上，跨集群复制（Cross-ClusterReplication，CCR）应运而生，并逐渐成为数据和服务高可用性的重要保障。CCR通常被用于容灾备份、读写分离、集团与公司间数据传输和隔离升级等场景。容灾备份：通常是将企
SelectDB技术团队·2023-08-05 08:32

随笔杂记 2018-08-24

昨天规划了很多，想到我曾和doris几年前还是差不多的高度，而如今我只是个小二本出来的应届生，连秋招都进不去，而她已经是北京大学法学硕士，我无法不感慨短短几年，她已经甩下我太多。
乔布佳佳佳·2023-08-05 06:06

07-性能优化-网络

但是一般而言，国内大厂都有自己内部的整套网络工具，实现了流量统计、异常监控、网络性能调优等操作，不会直接使用未经任何改造的原始的Okhttp。
砌墙的民工·2023-08-04 19:51
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他