hadoop配置调优

Hadoop3教程（二十八）：（生产调优篇）NN、DN的多目录配置及磁盘间数据均衡

文章目录（148）NN多目录配置（149）DataNode多目录配置及磁盘间数据平衡磁盘间数据均衡参考文献（148）NN多目录配置NN多目录的意思是，本地目录可以配置成多个，且每个目录存放内容相同，这样的目的是增加可靠性。比如说下图这样：但其实生产中不常用哈，生产中要增加NN的可靠性的话，一般会开启NN的高可用，即在不同节点上开启多个NN，靠zookeeper来协调。所以本节就了解一下即可。配置的
经年藏殊·2023-10-22 10:56

[翻译]理解Postgres的IOPS：为什么数据即使都在内存，IOPS也非常重要

本文讨论IOPS相关主题：IOPS是什么、如何影响PG、如何衡量它以及需要如何调优。1、PG的IOPS是什么从高层次看，一个IO操作要么是读数据（“
yzs87·2023-10-22 09:15

MySQL调优参数配置详解

一、mysql参数调优知识铺垫1、一些生产常用查询命令--查看数据库里正在执行的sql语句showprocesslist;--查看正在执行的完整sql语句，完整显示showfullprocesslist
行者张良·2023-10-22 08:12

JVM参数调优

一、案例实践64G物理内存服务器JVM参数配置建议如果你的服务器有64GB内存，你可以使用以下JVM参数来优化Java程序的性能：-Xms：设置Java堆的初始内存使用量。推荐将该参数设置为总内存的25%到50%。例如，可以设置为-Xms16g，表示Java堆初始使用16GB内存。-Xmx：设置Java堆的最大内存使用量。推荐将该参数设置为总内存的50%到80%。例如，可以设置为-Xmx48g，表
行者张良·2023-10-22 08:38

linux性能分析(四)如何学习linux性能优化

-->真正站在巨人的'肩膀'上性能调优的'目的'：不影响'系统稳定性'的资源'最大'利用化补充：性能分析不能'脱离环境'侃侃而谈,了解基本的'性能基线'切记:千万不要把性能'工具'当成学习的'全部',应消除干扰
wzj_110·2023-10-22 06:36

Hadoop3教程（三十一）：（生产调优篇）异构存储

文章目录（157）异构存储概述概述异构存储的shell操作（158）异构存储案例实操参考文献（157）异构存储概述概述异构存储，也叫做冷热数据分离。其中，经常使用的数据被叫做是热数据，不经常使用的数据被叫做冷数据。把冷热数据，分别存储在不同的存储介质里，从而达到对每个介质的利用率最高，从而实现整体最佳性能，或者说性价比更高（比如说高性能硬盘放经常使用的数据）。简单的说，就是这么一个问题：经常使用的
经年藏殊·2023-10-22 05:05

Hadoop3教程（三十二）：（生产调优篇）NameNode故障恢复与集群的安全模式

文章目录（159）NameNode故障处理（160）集群安全模式&磁盘修复集群安全模式磁盘修复等待安全模式参考文献（159）NameNode故障处理如果NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode？首先，我们可以通过以下代码来模拟故障：（1）kill-9NameNode进程[atguigu@hadoop102current]$kill-919886（2）删除NameNo
经年藏殊·2023-10-22 05:05

Hadoop3教程（三十四）：（生产调优篇）MapReduce生产经验汇总

文章目录（164）MR跑得慢的原因（165）MR常用调优参数Map阶段Reduce阶段（166）MR数据倾斜问题参考文献（164）MR跑得慢的原因MR程序执行效率的瓶颈，或者说当你觉得你的MR程序跑的比较慢的时候
经年藏殊·2023-10-22 05:05

系统调优几个维度考虑

前端：1、CDN前后分离:开发模式动静分离：动态资源和静态资源分开存储缺陷：更新需要刷新缓存后端：1、jvm调优，需要对jvm参数调优，减少gc，和STW次数；选择合适的垃圾回收器2、使用redis缓存
牛八里昂·2023-10-22 05:32

Hadoop3教程（三十三）：（生产调优篇）慢磁盘监控与小文件归档

文章目录（161）慢磁盘监控（162）小文件归档小文件过多的问题如何对小文件进行归档参考文献（161）慢磁盘监控慢磁盘，是指写入数据时特别慢的一类磁盘。这种磁盘并不少见，当机器运行久了，跑任务跑的多了，磁盘的寿命到一定程度的时候，磁盘的读写性能自然就会退化，严重时就会出现写数据延迟的问题。比如说，如果正常在HDFS上创建一个目录，只需要1s左右。但是你偶尔发现创建目录时超过了1分钟或者更久，但次数
经年藏殊·2023-10-22 05:29

JVM与性能调优

性能测试在了解性能调优之前，首先得知道什么是性能测试，我们的程序怎样的性能表现才需要进行性能调优一、性能测试概念1.概念用最低的资源换取最高的处理能力和低的响应时间，在一定环境下做性能需求2.问题：环境很难真实需求一般很模糊
crossyf·2023-10-22 03:51

JVM调优命令详解

目录image.png前置启动程序事先启动一个web应用程序，用jps查看其进程id，接着用各种jdk自带命令优化应用jvm内存模型jvm内存模型.pngJmap此命令可以用来查看内存信息，实例个数以及占用内存大小imagejmap‐histo14660#查看历史生成的实例jmap‐histo:live14660#查看当前存活的实例，执行过程中可能会触发一次fullgc打开log.txt，文件内容
米不开朗基罗·2023-10-22 00:46

【论文解读】The Power of Scale for Parameter-Efficient Prompt Tuning

一.介绍1.1promotetuning和prefixtuning的关系“前缀调优”的简化版1.2大致实现冻结了整个预训练模型，并且只允许每个下游任务附加k个可调令牌到输入文本。
weixin_50862344·2023-10-21 18:51

TOWARDS A UNIFIED VIEW OF PARAMETER-EFFICIENT TRANSFER LEARNING

关于参数有效迁移学习的统一观点摘要1引言2前言2.1Transformer结构综述2.2之前的参数高效调优方法综述3弥合差距-统一的视角3.1仔细观察PrefixTuning3.2统一框架3.3迁移的设计元素
UnknownBody·2023-10-21 18:44

【论文解读】Parameter-Efficient Transfer Learning for NLP

二.NLP的适配器调优2.1瓶颈设计上图显
weixin_50862344·2023-10-21 18:12

jvm 各个版本支持的参数

知道一些jvm调优参数，但是没有找到官网对应的文档，在网上的一些文章偶然发现，记录一下。
zlpzlpzyd·2023-10-21 17:27

ETCD 压缩调优配置

https://blog.csdn.net/su_ren/article/details/118560827
风亡小窝·2023-10-21 17:14

redis安装与调优部署文档(WinServer)

1.安装环境准备1.1部署规划软件安装路径E:\redisbin二进制路径etc配置路径log日志路径data数据路径端口规划63902.Redis安装部署2.1Redis部署下载Redis-x64-3.2.100安装包（一种是msi安装包，一种是zip压缩包）下载地址：https://github.com/microsoftarchive/redis/releases2.2.1.Mis安装包安
DomDanrtsey·2023-10-21 16:26

redis调优

设置最大内存如果不设置最大内存可能挥发生OOM，导致崩溃避免bigKey键名简短，同时键的内容尽量精简，最好10k以内设置请求超时时间//redis配置文件调整timeout150tcp-keepalive150(定时向client发送tcp_ack包来探测client是否存活的。默认不探测)//项目优化调整redis.timeout=10s减少持久化损耗如果redis仅用作cache，在业务允许
mbiscuit·2023-10-21 16:22

【面试必备】springboot配置redis持久化

性能调优影响MySQLServer性能的相关因素商业需求对性能的影响系统架构及实现对性能的影响Query语句对系统性能的影响Schema设计对系统的性能影响硬件环境对系统性能的影响MySQL数据库锁定机制
jixuczy·2023-10-21 15:50

Redis基础与性能调优

Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图、Hyperloglogs等。Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能力，并且支持副本集和通过RedisSentinel实现的高可用方案，同时还支持通过RedisCluster实现的数据自动分片能力。Redi
Mlxg2234·2023-10-21 15:50

Redis 高级特性与性能调优

一、数据持久化Redis提供了将数据定期自动持久化至硬盘的能力，包括RDB和AOF两种方案，两种方案分别有其长处和短板，可以配合起来同时运行，确保数据的稳定性。1、必须使用数据持久化吗？Redis的数据持久化机制是可以关闭的。如果你只把Redis作为缓存服务使用，Redis中存储的所有数据都不是该数据的主体而仅仅是同步过来的备份，那么可以关闭Redis的数据持久化机制。但通常来说，仍然建议至少开启
7*24 工作者·2023-10-21 15:50

redis调优策略

redis分为服务端和客户端，这篇就是从这两个方面说明:服务端:1.限制Redis内存大小需要使用maxmemory来设置Redis的最大内存，例如maxmemory1GB在64位操作系统中，Redis的内存大小是没有限制的，因为maxmemory配置项是被注释掉的，这样就会导致在Redis内存不足时，Redis会使用磁盘作为其虚拟内存，而当操作系统将Redis所用的内存分配至磁盘时，将会阻塞Re
Mr.老郭·2023-10-21 15:20

redis、redis集群、redis调优

转载自：https://blog.csdn.net/liqingtx/article/details/60330555这篇文章主要介绍了超强、超详细Redis入门教程,本文详细介绍了Redis数据库各个方面的知识,需要的朋友可以参考下【本教程目录】1.redis是什么2.redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis客户端7.redis
Awna·2023-10-21 15:19

redis持久化与调优

一、Redis高可用：在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999%等等）。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术），还需要考虑数据容量的扩展、数据安全不会丢失等。在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和Cluster集群1.
敢不敢跟我比划比划.·2023-10-21 15:14

mmdetection的configs中的各项参数具体解释

一、简介在使用mmdetection对模型进行调优的过程中总会遇到很多参数的问题，不知道参数在代码中是什么作用，会对训练产生怎样的影响，这里我以faster_rcnn_r50_fpn_1x.py和cascade_rcnn_r50
洪流之源·2023-10-21 15:01

OpenJDK 提案将为 Java 带来通用泛型

3、推荐一款可视化配置Nginx的神器4、一款性能调优利器—火焰图5、Redis实现限流的三种方式Infoworld消息指出，根据OpenJDK提案，Java将获得通用泛型（universalgenerics
Java之间·2023-10-21 14:25

性能测试面试题

并发1000时,cpu和内存使用率<70%)2.编写测试计划:(测试目的,明确质量目标,明确测试环境,测试阶段,测试范围,测试策略,测试时间安排)3.编写测试用例第二部:测试设计和开发4.测试脚本录制和调优
双_双·2023-10-21 11:04

Java日志——JVM探究

JVM的常用调优？内存快照如何抓取，怎么分析Dump文件？谈谈JVM中，类加载器的认识？
归酒·2023-10-21 10:13

Android性能优化篇：Android中如何避免创建不必要的对象

在编程开发中，内存的占用是我们经常要面对的现实，通常的内存调优的方向就是尽量减少内存的占用。这其中避免创建不必要的对象是一项重要的方面。
jia635·2023-10-21 10:59

一文了解mysql的并发控制原理

所以所以掌握Mysql的一些底层原理有助于我们更好地理解Mysql，对Mysql进行性能调优，从而开发高性能的后端服务。
爱喝马黛茶的安东尼·2023-10-21 08:23

Oracle性能调优实践中的几点心得

很多的时侯，做OracleDBA的我们，当应用管理员向我们通告现在应用很慢、数据库很慢的时侯，我们到数据库时做几个示例的Select也发现同样的问题时，有些时侯我们会无从下手，因为我们认为数据库的各种命种率都是满足Oracle文档的建议。实际上如今的优化己经向优化等待(waits)转型了，实际中性能优化最根本的出现点也都集中在IO，这是影响性能最主要的方面，由系统中的等待去发现Oracle库中的不
小小哭包·2023-10-21 08:06

Mysql 中的性能调优方法

Mysql性能调优方法可以从四个方面来说，分别是：表结构与索引SQL语句优化Mysql参数优化硬件及系统配置这四个方面的优化成本和优化效果是成反比的。
无语堵上西楼·2023-10-21 00:32

一文读懂“大语言模型”

本课程主要包括以下4方面的内容：大语言模型的定义描述大语言模型的用例解释提示词调优谷歌的GenAI开发工具介绍2、大语言模型介绍2.1大语言模型的定义大语言模型是深度学习的分支深度学习是机器学习的分支，
明明如月学长·2023-10-21 00:32

JVM——JVM概述以及双亲委派机制

JVM的常用调优参数有哪些？内存快照如何抓取？怎么分析Dump文件？谈谈JVM中，你对类加载器的认识？
苏三有春·2023-10-20 21:30

AI全栈大模型工程师(五)Prompt 的构成

文章目录这节课会带给你一、什么是提示工程（PromptEngineering）1.1、我们在「提示工程」上的优势1.2、使用Prompt的两种目的1.3、Prompt调优二、Prompt的构成2.1、设定一个业务场景来讲解上述知识
大模型Maynor·2023-10-20 21:15

性能测试基础知识

性能测试分类基准测试负载测试稳定性测试压力测试负载测试和压力测试的区别：并发测试应用场景性能测试指标响应时间并发用户数吞吐量性能计数器思考时间性能测试步骤1.性能测试需求分析2.性能测试计划和方案3.性能测试用例4.性能测试执行5.结果分析与调优
心皿月·2023-10-20 19:02

QEMU/KVM + Ceph Librbd 性能测试以及深度优化

虽然，过去很多人都在测试或者使用Ceph过程中进行调优设置以获取最佳性能，但到目前而言，还没有一个最优的最新数据。
新钛云服·2023-10-20 19:54

SQL Server调优系列基础篇（索引运算总结）

目录（零）前言（一）简介1、等于谓词：2、比较谓词：3、范围谓词：4、逻辑谓词：（二）动态索引查找（三）索引联合（四）结语（零）前言上几篇文章我们介绍了如何查看查询计划、常用运算符的介绍、并行运算的方式，有兴趣的可以点击查看。本篇将分析在SQLServer中，如何利用先有索引项进行查询性能优化，通过了解这些索引项的应用方式可以指导我们如何建立索引、调整我们的查询语句，达到性能优化的目的。闲言少叙，
zyypjc·2023-10-20 18:11

用ftp上传服务器文件大小,ftp上传服务器文件大小

ftp上传服务器文件大小内容精选换一换通过调优Nginx的配置文件，可以有效的提高Nginx服务的性能。配置说明如表1所示。
weixin_39803977·2023-10-20 17:21

kafka原理五之springboot 集成批量消费

类型接入使用注解方式获取消息头、消息体手动提交批量消费ConsumerRecord类接收String类接收使用注解方式获取消息头、消息体，则也是使用List来接收：并发消费配置类方式四、Kafka参数调优一
yangyanping20108·2023-10-20 14:25

Android性能调优工具Hugo

在进行Android性能调优、减少应用卡顿时，寻找可优化的code是一个必要的过程。
夜空中的风褛·2023-10-20 07:33

2021-arxiv-Prefix-Tuning- Optimizing Continuous Prompts for Generation

arxiv-Prefix-Tuning-OptimizingContinuousPromptsforGenerationPaper：https://arxiv.org/pdf/2101.00190.pdfCode：https://github.com/XiangLi1999/PrefixTuning前缀调优
发呆的比目鱼·2023-10-20 06:24

jvm调优参数

内存区域栈-Xss堆-Xms最小值-Xmx最大值-Xmn新生代最小-XX:newSize新生代最小值-XX:MaxNewSize新生代最大值永久代(元空间)-XX:PermSize-XX:MaxPermsize1.7及之前最小值和最大值-XX:MetaspaceSize-XX:MaxMetaspaceSize1.8及之后方法区移动至运行时常量池之外，即元空间直接内存不是虚拟机运行时数据区的一部分，
策马踏清风·2023-10-20 05:41

大模型掌握16000+真实世界API了，清华等机构ToolLLM的工具使用能力不输ChatGPT

在指令调优数据集ToolBench上对LLaMA进行微调，得到的ToolLLaMA与ChatGPT性能相当。
数据派THU·2023-10-20 00:31

JVM 基础、堆内存分析和垃圾回收算法

JVM的常用调优参数有哪些？内存快照如何抓取，怎么分析Dump文件？你知道吗？谈谈JVM中，你对类加载器的认识？这篇文章先大体梳理一下相
itzhouq的笔记·2023-10-19 22:24

jvm命令和可视化工具 调优

李克华云计算高级群:292870151195907286交流：Hadoop、NoSQL、分布式、lucene、solr、nutch虚拟机：系统虚拟机程序虚拟机系统虚拟机有：VMWarevisureBox程序虚拟机：JVMJVM：1.类加载子系统（类加载器）2.方法区3.java堆4.直接内存5.java栈6.本地方法栈7.垃圾回收系统8.PC寄存器9.执行引擎堆：存储问题栈：程序运行方法去：辅助堆
weixin_30834783·2023-10-19 19:50

展锐UDX710：PCIe2.0信号软件调优

首先要根据开机dmesg确定目前使用的dts文件，以下图为例：1.将pcie0节点下的startup属性内容改为如下：sprd,pcie-startup-syscons=,<&aon_apb_regs
Gabriel.Tian·2023-10-19 15:03

技术分享 | OceanBase 在 Ubuntu 平台部署

擅长MySQL、PostgreSQL、MongoDB等开源数据库相关的备份恢复、SQL调优、监控运维、高可用架构设计等。
爱可生开源社区·2023-10-19 11:22

JVM第十三讲：调试排错 - JVM 调优参数

调试排错-JVM调优参数本文是JVM第十三讲，调试排错-JVM调优参数。对JVM涉及的常见的调优参数和垃圾回收参数进行阐述。
程序员 jet_qi·2023-10-19 10:28
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他