Doris性能调优

【遇见Doris】Doris在作业帮实时数仓中的应用&实践

本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享，了解更多详情请关注Doris官方公众号。
ApacheDoris·2023-09-18 08:07

【Doris全面解析】存储层设计介绍2——写入流程、删除流程分析

本文转自开源中国ZhangYu0123博客1整体介绍Doris是基于MPP架构的交互式SQL数据仓库，主要用于解决了近实时的报表和多维分析。Doris高效的导入、查询离不开其存储结构精巧的设计。
ApacheDoris·2023-09-18 08:36

doris历程_Doris简史-为分析而生的11年

期间,Doris从最初的只为解决百度凤巢报表的专用系统,已经成长为目前国内唯一的分析型数据库孵化项目。一路走来,Doris的初心从未改变。
weixin_39998521·2023-09-18 08:06

Doris的执行计划生成、分发与执行

目录一、概述三、执行计划的生成四、执行计划的分发五、执行计划的执行六、举个例子一、概述执行SQL的代码入口为StmtExecutor::execute()三、执行计划的生成在Doris的FE端，与大多数数据库系统一样
howard_shooter·2023-09-18 08:34

Doris】Doris SQL 原理解析

本文主要介绍了DorisSQL解析的原理。重点讲述了生成单机逻辑计划，生成分布式逻辑计划，生成分布式物理计划的过程。对应于代码实现是Analyze，SinglePlan，DistributedPlan，Schedule四个部分。Analyze负责对AST进行前期的一些处理，SinglePlan根据AST进行优化生成单机查询计划，DistributedPlan将单机的查询计划拆成分布式的查询计划，S
九层之台起于累土·2023-09-18 08:34

Doris数据库FE——SQL 接收

SQL接收首先看定义在fe/fe-core/src/main/java/org/apache/doris/qe/QeService.java文件中的publicclassQeService类，该类istheencapsulationoftheentirefront-endservice
肥叔菌·2023-09-18 08:02

Doris 2.0.1 升级实战

1.2.0-1.2.5任意版本->2.0.0-beta当前集群Dorisapache-doris-dependencies-1.2.4.1-bin-x86_64升级目标Doris2.0.1服务
wangqiaowq·2023-09-18 00:42

ES的性能调优技巧

问题导读：1、调优配置文件如何设置？2、系统层面应该如何进行调优？3、从ES使用方式角度如何进行调优？一、配置文件调优elasticsearch.yml1、内存锁定bootstrap.memory_lock：true允许JVM锁住内存，禁止操作系统交换出去。2、zen.discoveryElasticsearch默认被配置为使用单播发现，以防止节点无意中加入集群。组播发现应该永远不被使用在生产环境
000X000·2023-09-17 15:41

什么是性能调优？方法有哪些？流程是怎样的？

一、性能调优的含义性能调优通俗来讲就是对计算机硬件、操作系统和应用有相当深入的了解，调节三者之间的关系，实现整个系统（包括硬件、操作系统、应用）的性能最大化，并能不断的满足现有的业务需求。
软件测评闲聊站·2023-09-17 13:08

JVM——3.StringTable字符串常量池

这篇文章我们来讲一下StringTable字符串常量池目录1.引例2.StringTable的特性3.StringTable的位置4.StringTable的垃圾回收、5.StringTable性能调优
L纸鸢·2023-09-17 08:04

微服务技术选型之路

微服务模式的项目从初建到上线部署应用，每一个环节都会涉及到相当多的技术细节（上线后的性能调优更需要）。
符文杰9527·2023-09-17 07:44

JVM性能调优-二.流程步骤实践

紧接上一回JVM性能调优-一.思路方向目录性能优化的步骤第1步：熟悉业务场景第2步（发现问题）：性能监控第3步（排查问题）：性能分析第4步（解决问题）：性能调优GC日志分析GC日志参数测试GC分类日志结构
Upaaui·2023-09-17 03:58

Hive参数与性能调优-V2.0

但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数仓，所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。
000X000·2023-09-16 21:54

性能调优主要方向

性能调优主要方向明确性能瓶颈之后，就需要进行性能调优了，调优主要从图所示的多个方向入手。能优化手段并不一定是独立应用的，在一次优化过程中很可能应用了多种优化技巧。
东方不败之鸭梨的测试笔记·2023-09-16 19:26

性能工程全景图、实施方案、建设目标

性能工程是一个关注系统性能层面的体系，包含测试环境的性能测试、生产环境的性能测试、性能调优、容量规划等多个方面性能工程主要包括如下3个部分❑建设性能测试理论体系和流程规范、链路分析基础知识体系和流程规范
东方不败之鸭梨的测试笔记·2023-09-16 16:53

深入JVM：探索Java虚拟机

2.1.1双亲委派模型2.1.2OSGI框架2.1.3类加载器分类2.2JVM运行时数据区2.2.1程序计数器2.2.2本地方法栈2.2.3Java虚拟机栈2.2.4堆2.2.5元数据区2.3JVM内存区域的性能调优实践
沐雨风栉·2023-09-16 04:02

性能调优

我主要的工作就是风控软件的性能调优，以下是我性能调优分享,
飞天的猪_ba05·2023-09-15 21:46

doris多租户资源隔离及权限管理

Doris的多租户和资源隔离方案，主要目的是为了多用户在同一Doris集群内进行数据操作时，减少相互之间的干扰，能够将集群资源更合理的分配给各用户。
shy_snow·2023-09-15 12:34

Docker Volume数据卷

@[TOC]DockerVolume数据卷简介推荐Docker官网数据管理悟尘记电子书-数据持久化存储与性能调优介绍挂载卷的方式-volume与--mount-v或–volume由三个字段组成，以冒号字符
水月情缘雪飞飞·2023-09-15 08:49

doris数据批量写入数据存在执行更新不存在执行插入

doris的更新特指对于unique类型的表，对于这种类型的表，如果insert的记录与已有的记录的uniquekey相同，也相当与update。
唯♧·2023-09-15 08:52

Doris数据库使用记录

新建表createtabletonly_attendance(vinvarchar(64),diggings_namevarchar(256),areavarchar(64),diggings_typevarchar(256),work_timedecimal(20,2),engine_run_timedecimal(20,2),upload_timevarchar(64))DUPLICATEKE
唯♧·2023-09-15 08:21

服务日志性能调优，由log引出的巨坑

只有被线上服务问题毒打过的人才明白日志有多重要！谁赞成，谁反对？如果你深有同感，那恭喜你是个社会人了：）日志对程序的重要性不言而喻，轻巧、简单、无需费脑，程序代码中随处可见，帮助我们排查定位一个有一个问题问题。但看似不起眼的日志，却隐藏着各式各样的“坑”，如果使用不当，不仅不能帮助我们，反而会成为服务“杀手”。本文主要介绍生产环境日志使用不当导致的“坑”及避坑指北，高并发系统下尤为明显。同时提供一
测试-八戒·2023-09-14 20:55

性能测试调优模型、思想和技术

最近阅读《软件性能测试、分析与调优实践之路》一书，个人认为性能调优章节为整部书的精华，该章节包括了性能测试调优模型、调优思想和调优技术。
测试-八戒·2023-09-14 20:25

IOS app性能调优相关知识点

前言本文较长（5000字左右），建议阅读时间：20min+一个iOSApp的稳定性，主要决定于整体的系统架构设计，同时也不可忽略编程的细节，正所谓“千里之堤，溃于蚁穴”，一旦考虑不周，看似无关紧要的代码片段可能会带来整体软件系统的崩溃。尤其因为苹果限制了热更新机制，App本身的稳定性及容错性就显的更加重要，之前可以通过发布热补丁的方式解决线上代码问题，现在就需要在提交之前对App开发周期内的各个指
leverkusen188·2023-09-14 11:54

案例实践丨基于SkyWalking全链路监控的微服务系统性能调优实践篇

1背景随着开源社区和云计算的快速推进，云原生微服务作为新型应用系统的核心架构，得到了越来越广泛的应用。根据Gartner对微服务的定义：“微服务是范围狭窄、封装紧密、松散耦合、可独立部署且可独立伸缩的应用程序组件。”微服务之父，马丁.福勒，对微服务概述如下：就目前而言，对于微服务业界并没有一个统一的、标准的定义。但通常而言，微服务架构是一种架构模式或者说是一种架构风格，它提倡将单一应用程序划分成一
软件测试小仙女·2023-09-14 07:45

【记录】实践场景

ApacheDoris在京东搜索实时OLAP探索与实践https://doris.apache.org/zh-CN/blog/JD_OLAP/通过对比开源的几款实时OLAP引擎，我们发现doris和clickhouse
TaiKuLaHa·2023-09-14 00:29

Doris-1.2.6集群

1、系统软件1.1、系统版本系统：centos7.1及以上；Ubuntu16.04及以上软件：Java1.8及以上；GCC4.8.2及以上；1.2、环境检查1.2.1、gcc安装1、Centosansiblecluster-mshell-a"yum-yinstallgccgcc-c++autoconfpcrepcre-develmakeautomake"ansiblecluster-mshell-
docsz·2023-09-13 17:26

Java线上故障排查（CPU、磁盘、内存、网络、GC）+JVM性能调优监控工具+JVM常用参数和命令

CPU/堆/类/线程根据服务部署和项目架构，从如下几个方面排查：（1）运用服务器：排查内存，cpu,请求数等；（2）文件图片服务器：排查内存，cpu,请求数等；（3）计时器服务器：排查内存，cpu,请求数等；（4）redis服务器：排查内存，cpu,连接数等；（5）db服务器：排查内存，cpu,连接数等；在秒杀后30分钟内，1.运用程序服务器cpu暴增，内存暴增，造成cpu和内存暴增的根本原因是请
A尘埃·2023-09-13 12:46

.netcore 连接 apache doris

apachedoris兼容mysql协议；所以我们在.netcore项目中，可以使用Mysql的驱动dotnetaddpackageMySqlConnector测试代码：[HttpGet]publicasyncTaskGet2(){//打开连接awaitusingvarconnection=newMySqlConnection("Server=192.168.122.136;Port=9030;U
沐雪架构师·2023-09-13 06:03

Doris(六)--通过 Canal 同步数据到 Doris 中

pre开启mysqlBinlog网上有众多方法，自行百度。查询是否成功，在mysql客户端输入showBINARYLOGS;出现如下提示，即表示biglog正常开启。1，下载canal服务端传送门注意：下载canal.deployer-xxx版本即可。admin是deployer的管理端。2，上传到服务器的指定位置并解压tarxzvfcanal.deployer-1.1.6.tar.gz注意，这个
BatmanWayne·2023-09-12 20:09

ES+Redis+MySQL，这个高可用架构设计太顶了！

关注公众号：码猿技术专栏，回复关键词：1111获取阿里内部Java性能调优随着同程和艺龙两家公司的合并，越来越多的系统需要打通同程APP、艺龙APP、同程微信小程序、艺龙微信小程序等多平台会员体系。
·2023-09-12 14:17

我没有高并发项目经验，但是面试的时候经常被问到高并发、性能调优方面的问题，有什么办法可以解决吗？

我是一名大厂技术总监，题主的这个问题太常见了。下面我结合我面试候选人的经验，以及我对高并发的理解，给你一个非常完整的建议。如果能认真看完，我相信一定有所收获，至少应付面试没啥问题。首先说一下，当我作为面试官问候选人「对于高并发的理解」时，我觉得「答得不好」的情况分成以下几类：1、对数据化的指标没有概念：不清楚选择什么样的指标来衡量高并发系统？分不清并发量和QPS，不知道自己系统的总用户量、活跃用户
大老高程序员·2023-09-12 11:38

部署 Node.js 应用以完成服务器端渲染 Server Side Rendering 的性能调优

原文：OperationalizingNode.jsforServerSideRendering在Airbnb，我们花了数年时间将所有前端代码稳定地迁移到一致的架构中，在该架构中，整个网页都被编写为React组件的层次结构，其中包含来自我们API的数据。RubyonRails在将Web连接到浏览器方面所扮演的角色每天都在减少。事实上，很快我们将过渡到一项新服务，该服务将完全在Node.js中提供完
JerryWang_汪子熙·2023-09-12 11:40

性能测试分析与性能调优诊断--史上最全的服务器性能分析监控调优篇

性能测试分析与性能调优诊断--史上最全的服务器性能分析监控调优篇from:https://www.cnblogs.com/laoqing/p/11629941.html一个系统或者网站在功能开发完成后一般最终都需要部署到服务器上运行
无心_1·2023-09-12 05:00

常用调优命令及各种 OOM 的应对策略【JVM调优】

文章目录1.常见的调优命令2.常见的性能调优3.常用的调优工具4.各种OOM的应对策略5.配置垃圾收集器6.CPU占用过高1.常见的调优命令①jps：显示所有虚拟机进程；②jstack：生成当前线程快照
栈老师不回家·2023-09-11 23:45

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
SelectDB技术团队·2023-09-11 21:55

JVM性能调优

一、调优策略对于GC的性能主要有2个方面的指标：吞吐量throughput（工作时间不算gc的时间占总的时间比）和暂停pause（gc发生时app对外显示的无法响应）。1、调优的目的调优的最终目的当然增大吞吐量，减少暂停时间咯，映射到GC层面主要关心下面这两点：(1)将转移到老年代的对象数量降低到最小。(2)减少fullGC的执行时间。（尽量减少GC的次数）那什么情况对象会转移到老年代，主要有这四
Upaaui·2023-09-11 14:25

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读：当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位OLAP分析系统，提供实时与离线分析报表、智能营销与人群圈选等SaaS服务。本文将详细介绍有赞从Clickhouse至ApacheDoris的迁移规划和性能对比测试实践，分享如何基于ApacheDoris统一OLAP技术
·2023-09-11 11:19

六、基于多阶段构建减小镜像体积降低复杂度

上一篇：Docker必知必会系列（五）：Docker数据持久化存储与性能调优一、引言如何减小所构建镜像的体积最非常具有挑战性的事情。
悟尘80·2023-09-11 09:12

ClickHouse和Doris超大数据集存储

文章目录一.ClickHouse1.性能2.可靠性3.可扩展性4.支持SQL和复杂查询5.适用场景二.Doris1.性能2.可靠性3.易用性4.适用场景三.ClickHouse和Doris的比较1.架构
我是廖志伟·2023-09-10 09:04

OpenGL-结语

前言从这个系列的第一篇博客到现在也快写一年了，在第一篇文章中对OpenGL进行了整体介绍，后面的博客也陆陆续续按照OpenGL程序、数据、OpenGL图像渲染管道、计算着色器、帧缓存、高级渲染技术、光影艺术、性能调优这条路线对
RichardJieChen·2023-09-09 11:35

doris docker环境编译部署

1.准备dorisdocker环境xiuchenggong@xiuchengdeMacBook-Probin%dockerpullapache/doris:build-env-ldb-toolchain-latestbuild-env-ldb-toolchain-latest
gongxiucheng·2023-09-08 18:55

Java后端面试学习知识总结——JVM

JVM三大性能调优参数：
星如月勿忘初心·2023-09-08 07:14

数仓|Hive性能调优指北

但是在资源有限的情况下，我们需要关注Hive的性能调优，从而方便数据的快速产出。
大数据技术与数仓·2023-09-08 06:40

使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析

Flink-Doris-Connector1.4.0允许用户一步将包含数千个表的整个数据库（MySQL或Oracle）摄取到ApacheDoris（一种实时分析数据库）中。
碧茂大数据·2023-09-07 21:39

部门来了一位前阿里的大神…

一个好的系统性能调优不但给公司省钱，还提高
程序员二飞·2023-09-07 19:33

Mysql性能调优——1.深入理解Mysql索引数据结构和算法

本系列所说的Mysql性能调优，主要是针对开发者在实际环境中的sql调优，代码层面上的优化。不涉及到mysql底层代码的调优。
BigCool叉子·2023-09-07 18:10

D74 2组阿德doris+《活出生命的意义》读书笔记

“要像是在经历第二次生命，仿佛你已经获得重生；再不要像过去那样，一定要避免犯同样错误。”这是意义疗法的绝对命令，它强调了责任的重要性。作者的意义疗法和其他的心理治疗不同，它不愿意对患者进行价值评判，它试图让患者自己认识到自己的责任，只有患者自己能决定自己为什么负责，对什么负责和对谁负责。这种责任不在医生身上，而是在患者自己身上。意义疗法师的作用更像是一位眼科医生，旨在帮助人们自己去观察世界实际上是
阿德doris·2023-09-07 14:28

java 编程 7个简单的调优技巧

你的Java性能调优有救了！分享7个简单实用的Java性能调优技巧一、以编程方式连接字符串在Java中有很多不同的连接字符串的选项。
艾利克斯冰·2023-09-07 13:54

MySQL性能调优关注点和思路

一、MySQL基础知识1.1表结构(createtable)字段名：名称如果是关键字，需要用单引号(如'name'varchar(32))字段类型非空：notnull自增长：autoincrement默认值：'name'varchar(32)defaul'zhangsan'主键：primarykey（'id'）外键：foreignkey引擎：engine=lnnoDB#使用lnnoDB引擎MyIS
小赖同学啊·2023-09-07 12:52
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他