doris调优

Hive生产调优介绍

1.Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT*FROMemployees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是mi
tuoluzhe8521·2024-01-01 07:58

JVM调优

调优设置具体解析一.堆大小设置JVM中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。
魏宁_david·2024-01-01 05:36

TiDB SQL调优案例TiFlash

背景早上收到某系统的告警tidb节点挂掉无法访问，情况十万火急。登录中控机查了一下display信息，4个TiDB、Prometheus、Grafana全挂了，某台机器hang死无法连接，经过快速重启后集群恢复，经排查后是昨天上线的某个SQL导致频繁OOM。于是开始亡羊补牢，来一波近期慢SQL巡检#手动狗头#。。。随便找了一个出现频率比较高的慢SQL，经过优化后竟然性能提升了1500倍以上，感觉有
!chen·2024-01-01 01:13

Java程序员成神之路

栈、方法区、直接内存、堆和栈区别Java内存模型内存可见性、重排序、顺序一致性、volatile、锁、final垃圾回收内存分配策略、垃圾收集器（G1）、GC算法、GC参数、对象存活的判定JVM参数及调优
程序员xysam·2024-01-01 00:33

D.3 基于ERNIR3.0文本分类以CAIL2018-SMALL数据集罪名预测任务为例【多标签】

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-12-31 23:22

如何制定 Java 性能调优标准？

Java性能调优全攻略来啦！我有一个朋友，有一次他跟我说，他们公司的系统从来没有经过性能调优，功能测试完成后就上线了，线上也没有出现过什么性能问题呀，那为什么很多系统都要去做性能调优呢？
java菜·2023-12-31 22:38

（转）Java性能调优：JMC性能分析

Java性能调优作为大型分布式系统提供高性能服务的必修课，其重要性不言而喻。好的分析工具能起到事半功倍的效果，利用分析利器JMC、JFR，可以实现性能问题的准确定位。
_王子_·2023-12-31 21:57

【转载】深度学习—常见问题总结（调优方法）

https://www.cnblogs.com/eilearn/p/9044543.html1、为什么要用神经网络？对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多，学习参数过多，从而复杂度太高。在神经网络中引入激活函数一个重要的原因就是为了引入非线性。2、CNN基本问题层级结构：输入层->卷积层->激活层->池化层->卷积层->激活层->池化层->全连接层····
dopami·2023-12-31 19:52

一篇文章搞懂线程池

线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以处进行统一的分配，调优和监控。线程池的实现方式Runnable：实现Runnable接口的类将
荆敖晨·2023-12-31 19:43

【Apache Doris】自定义函数之 JAVA UDF 详解

【ApacheDoris】自定义函数之JAVAUDF详解一、背景说明二、原理简介三、环境信息3.1硬件信息3.2软件信息四、IDE准备五、JAVAUDF开发流程5.1源码准备5.1.1pom.xml5.1.2JAVA代码5.2mvn打包5.2.1clean5.2.2package5.3函数使用5.3.1upload5.3.2使用六、注意事项七、总结一、背景说明UDF主要适用于，用户需要的分析能力D
乙真仙人·2023-12-31 17:51

mysql压力测试原因与mysql压力测试的方法

通过模拟多个并发用户或高负载场景，可以发现数据库的瓶颈和性能问题，进而采取相应的措施进行调优。
不爱学习的啊Biao·2023-12-31 14:18

大数据Doris（四十五）：物化视图选择最优

文章目录物化视图选择最优物化视图选择最优下面详细解释一下第一步最优物化视图是被如何选择出来的。这里分为两个步骤：对候选集合进行一个过滤。只要是查询的结果能从物化视图数据计算（取部分行，部分列，或部分行列的聚合）出都可以留在候选集中，过滤完成后候选集合大小>=1。从候选集合中根据聚合程度，索引等条件选出一个最优的也就是查询花费最少物化视图。这里再举一个相对复杂的例子，来体现这个过程。
Lansonli·2023-12-31 14:18

56.常用shell之 free - 查看内存使用情况 的用法及衍生用法

这个命令对于监控系统资源和性能调优非常有用。
三水青一人尤·2023-12-31 13:09

优化你的Java代码：性能调优技巧

Java是一种高级编程语言，随着云计算、大数据、人工智能等新一代计算技术的普及和发展，Java编程在企业级应用和数据处理方面的重要性越来越突出。优化Java代码是提高程序性能、加快运行速度的关键所在。本文将带您了解几种Java优化的技巧。使用基本类型insteadof包装类型Java中的基本类型（如int、float等）和包装类型（如Integer、Float等）存在差异。基本类型的数据直接存储在
naer_chongya·2023-12-31 12:56

go操作doris踩坑记录

go操作doris踩坑记录1.doris无法用deletefrom删除整个表数据2.doris本身事务只支持insert、rollback、commitError1105(HY000):TException
清盏涂墨衣·2023-12-31 10:56

说说你是如何进行mysql调优的

适当的情况下利用数据冗余：为了提高查询效率允许反三范式的出现字段大小的优化说到调优，从我们mysql表的初期
宇泽希·2023-12-31 08:41

竞赛保研 基于机器学习与大数据的糖尿病预测

数据导入处理3数据可视化分析4特征选择4.1通过相关性进行筛选4.2多重共线性4.3RFE（递归特征消除法）4.4正则化5机器学习模型建立与评价5.1评价方式的选择5.2模型的建立与评价5.3模型参数调优
iuerfee·2023-12-31 06:05

MySQL show profile

是MySQL提供的可以用来分析当前会话中语句执行的资源消耗情况的工具，可以用于sql调优的测量。默认是处于关闭状态的，会保存最近15次的运行结果。
贪挽懒月·2023-12-31 06:16

Java面试知识点总结宝典助你通关！成功入职字节跳动

synchronized和ReentrantLock相关的底层实现线程池的底层实现以及常见的参数数据结构基本都问了一遍：链表、队列等Java内存模型：常问的JVM分代模型，以及JDK1.8后的区别，最后还问了JVM相关的调优参数分布式锁的实现比较技术一面题目自我介绍擅长哪方面的技术
阿里MySQL面经·2023-12-31 05:02

【遇见Doris】Apache Doris (incubating) 0.12.0版本预览

Doris线下沙龙完美收官！本次沙龙邀请了来自百度、美团、京东的技术大牛带来实战分享。了解更多详情请关注Doris官方公众号，嘉宾分享回顾会陆续放出。
ApacheDoris·2023-12-31 03:15

【遇见Doris】Apache Doris (incubating) 0.11.0新版本预览线下沙龙

此次Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。
ApacheDoris·2023-12-31 03:45

【遇见Doris】Apache Doris 在京东广告平台的应用

6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。
ApacheDoris·2023-12-31 03:44

【遇见Doris】Apache Doris Parquet文件读取的设计与实现

6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。
ApacheDoris·2023-12-31 03:44

Apache Doris在京东搜索实时OLAP中的应用实践

1、前言本文讨论了京东搜索在实时流量数据分析方面，利用ApacheFlink和ApacheDoris进行的探索和实践。流式计算在近些年的热度与日俱增，从GoogleDataflow论文的发表，到ApacheFlink计算引擎逐渐站到舞台中央，再到ApacheDruid等实时分析型数据库的广泛应用，流式计算引擎百花齐放。但不同的业务场景，面临着不同的问题，没有哪一种引擎是万能的。我们希望京东搜索业务
小晨说数据·2023-12-31 03:11

推荐：一个不错的介绍Apache Doris的PPT

原来ApacheDoris居然是百度开源出来的，不错。部分节选：完整下载地址网盘：链接:https://pan.baidu.com/s/18WR70R_f72GxCjh0lykStQ提取码:umd3复制这段内容后打开百度网盘手机App，操作更方便哦--来自百度网盘超级会员v7的分享
jackyrongvip·2023-12-31 03:40

ElasticSearch 性能调优

ElasticSearch性能调优“ELK”是ElasticSearch、Logstash、Kibana三门技术的简称。
风是外衣衣衣·2023-12-30 22:21

ElasticSearch读写底层原理及性能调优

##一，读写底层原理Elasticsearch写人数据的过程1）客户端选择一个node发送请求过去，这个node就是coordinatingnode（协调节点）2）coordinatingnode，对document进行路由，将请求转发给对应的node（有primaryshard）3）实际的node上的primaryshard处理请求，然后将数据同步到replicanode4）coordinati
Mumunu-·2023-12-30 22:19

希尔排序：排序算法中的调优大师

希尔排序：排序算法中的调优大师大家好，我是免费搭建查券返利机器人赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天，让我们一同探讨一个经典而高效的排序算法——希尔排序。
虫小宝·2023-12-30 20:06

Apache Doris (五十六）： Doris Join类型 - 四种Join对比

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频Doris支持两种物理算子，一类是HashJoin，另一类是NestLoopJoin。
IT贫道·2023-12-30 15:32

【用户增长】引言：浅析游戏运营用户增长概念

包含不同品类核心打法及长线运营思路l海外运营：海外市场分析、区域用户理解、发行流程介绍、发行案例复盘二、本地化l产品引入：产品筛选标准、产品引入流程及指导、产品分析及拆解、谈判及沟通技巧(合研/自研)l产品调优
数字化转型2025·2023-12-30 15:27

PTS 3.0：可观测加持的下一代性能测试服务

提到性能测试大家并不陌生，性能测试已成为评估系统能力、识别系统弱点、进行系统调优，验证系统稳定性等的重要手段。
阿里云云原生·2023-12-30 13:20

Flink实时电商数仓（九）

用户注册汇总表需求分析统计各窗口的注册用户数，写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入
十七✧ᐦ̤·2023-12-30 11:16

数据分析流程

数据分析的流程可以分为以下几个步骤：问题定义--数据挖掘--数据准备--模型化--数据认证--实施跟踪模型部分：探索--建立--评估--调优--应用理解业务问题：首先明确数据分析的目标和业务问题，确定需要解决的具体问题
Oo_Amy_oO·2023-12-30 09:12

想要学会JVM调优，先掌握JVM内存模型和JVM运行原理

1、前言今天将和你一起探讨Java虚拟机（JVM）的性能调优。JVM算是面试中的高频问题了，通常情况下总会有人问到：请你讲解下JVM的内存模型，JVM的性能调优做过？
cxzm_1024·2023-12-30 08:56

elasticsearch 索引数据多了怎么办，如何调优，部署

当Elasticsearch索引的数据量增加时，可能会遇到性能瓶颈，需要进行调优。
爱编程的小白L·2023-12-30 06:52

JVM+GC解析（前提知识串联）

前提准备JVMGC垃圾回收JVM虚拟机监控调优和故障处理Tomcat和微服务优化1、前提复习1.1、JVM内存结构1.1.1、JVM体系结构概览图中灰色部分为线程私有，几乎不存在垃圾回收橙色部分线程共有
张轶渤·2023-12-30 03:41

性能测试之Mysql数据库调优

一、前言性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存
测试老哥·2023-12-30 03:01

性能测试之Mysql数据库调优

一、前言性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存
软件测试果冻·2023-12-29 21:29

AI训练师常用的ChatGPT通用提示词模板

模型调优：如何优化模型的性能？模型部署：如何将训练好的模型部署到实际应用中？模型监控与维护：如何监控和维护模型的性能和稳定性？模型更新与升级：如何
BTCKing·2023-12-29 18:26

350道java面试题收集整理，包含了上百家企业近年的人才计划！

目录展示一、性能优化面试专栏1、tomcat性能优化整理1.1、你怎样给tomcat调优？1.2、如何加大comc
Java阿七·2023-12-29 18:41

Flink实时电商数仓之DWS层

org.apache.dorisflink-doris-connector-1.17com.janeluoikanalyzer测试代码如下：publicclassIkUtil{publicsta
十七✧ᐦ̤·2023-12-29 17:19

机器学习库Scikit-learn

3.2Scikit-learn概述3.3Scikit-learn主要用法3.3.1基本建模流程3.3.2数据预处理3.3.3监督学习算法3.3.4无监督学习算法3.3.5评价指标3.3.6交叉验证及超参数调优
风度78·2023-12-29 04:48

2022-02-24-Spark-44(性能调优通用调优)

1.应用开发的原则原则一：坐享其成我们应该尽可能地充分利用Spark为我们提供的“性能红利”，如钨丝计划、AQE、SQLfunctions等等。AQE可以让Spark在运行时的不同阶段，结合实时的运行时状态，周期性地动态调整前面的逻辑计划，然后根据再优化的逻辑计划，重新选定最优的物理计划，从而调整运行时后续阶段的执行方式。AQE功能默认是关闭的，如果我们想要充分利用自动分区合并、自动数据倾斜处理和
冰菓_lam·2023-12-29 03:14

Java基础-JVM调优-参数调优

Java工程师知识树/Java基础JVM参数配置如JAVA_OPTS="JAVA_OPTS-Xmx512m-Xms512m-Xmn170m-Xss128k-XX:NewRatio=4-XX:SurvivorRatio=4"例子讲解：1）-Xmx512m：设置Java虚拟机的堆最大可用内存大小，单位：兆；整个堆大小=年轻代+年老代+持久代。持久代一般固定65m。2）-Xms512m：设置Java虚拟
HughJin·2023-12-29 00:23

Hive和Spark生产集群搭建（spark on doris）

1.环境准备1.1版本选择序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005MySQL-8.0.31mysqlDataxDataxDataxDataxDataxDataxSpark-3.3.1SparkSparkSparkSparkSparkHive-3.1.3HiveHive1.2主要组件官网hive官网：https://hive.
tuoluzhe8521·2023-12-28 23:56

【转】idea设置JVM运行参数

对JVM运行参数进行修改是JVM性能调优的重要手段，下面介绍在应用程序开发过程中JVM参数设置的几种方式。
全栈测试笔记·2023-12-28 23:56

系列十四、SpringBoot + JVM参数配置实战调优

一、SpringBoot+JVM参数配置实战调优1.1、概述前面的系列文章大篇幅的讲述了JVM的内存结构以及各种参数，今天就使用SpringBoot项目实战演示一下，如何进行JVM参数调优，如果没有阅读过前面系列文章的朋友
YYAugenstern·2023-12-28 23:20

【已解决】TypeError: __init__() got an unexpected keyword argument ‘min_impurity_split‘

在此不加调优的指定随机森林的相关超参数防止过拟合：参数n_estimators：指定随机森林中决策树的数量为100；参数max_depth：指定决策树的最大深度为5；参数min_samples_leaf
ZERWW·2023-12-28 21:14

新特性解读 | binlog 压缩

作者：王福祥爱可生DBA团队成员，负责客户的数据库故障处理以及调优。擅长故障排查及性能优化。对数据库相关技术有浓厚的兴趣，喜欢分析各种逻辑。
爱可生开源社区·2023-12-28 21:25

Java开发框架和中间件面试题(10)

113.如何进行JVM性能调优？115.GC调优策略有哪些？116.介绍下单点登
龙贝子·2023-12-28 19:04
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他