hadoop配置调优

并发与性能调优（后续补充）

高并发情况下，我们系统是如何支撑大量的请求的?1、尽量使用缓存技术，包括用户缓存，信息缓存还有静态页面缓存，多花点内存来做缓存，可以大大减少与数据库的交互次数和tomcat执行次数，减少不变的数据重复在tomcat和数据库中获取的次数。2、同步转异步，对于一些不需要即时结果的操作，可以使用MQ消息机制，达到同步转异步的效果，如秒杀系统，正常流程:先点击秒杀，然后往服务器发送请求，在页面等待响应，这
未名湖畔种千玺·2023-08-01 13:19

Redis数据结构与参数调优

一、Redis基础入门1、Redis简介Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表、哈希、集合和有序集合5种。支持在服务器端计算集合的并、交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存
wespten·2023-08-01 13:37

MYsql监控：全局监控workbench + profiling（sql调优）

Mysql有很多监控工具，有免费的workbench、innotop、MonitoringTool；workbench比较简单，全局监控重点关注仪表盘，下面是转的关于仪表盘的一些描述；下面是关于仪表盘的描述，我就不再重复啰嗦了；转自https://www.jianshu.com/p/bb42f18ae5c3MySQLworkbench可以在图形化仪表盘中显示服务器性能统计信息。如果想要显示仪表盘，
colleen·2023-08-01 11:49

性能测试新手误区：找不到测试点，不知为何而测

半天时间填写测试方案，一天时间来准备测试环境，一天时间准备测试脚本，一到两天来完成各种测试用例，然后就是调优、问题复
测试-八戒·2023-08-01 04:53

浅谈性能测试中的基准测试

2、特质①、可重复性：可进行重复性的测试，这样做有利于比较每次的测试结果，得到性能结果的长期变化趋势，为系统调优和上线前的容量规划做参考。PS：这种特质是为了满足基准测试的日常轮询需要。②、可观测
程序员雷子·2023-08-01 02:13

Hugging Face PEFT 调优实战附代码

HuggingFacePEFT调优实战附代码PEFT调优大模型HuggingFacePEFT调优实战附代码使用HuggingFacePEFTLibrary先快速上手使用PEFTLoRA详解实际应用--Kaggle
瑶子君·2023-07-31 21:36

Pref安装 -- Linux下的系统性能调优工具

今天不知道什么原因，发现Jenkins访问特别慢，组内很多人都在抱怨，说打buildpackage已经等了一个多小时了，还没有结束。登录Jenkinsserver输入free-m，top等命令，从显示信息看还是一种无从下手的感觉。书到用时方恨少，第一次感觉自己对Performance相关的知识所知甚微，所以用了最古老的办法，重启Jenkinscontainer。（我们的Jenkins是以docke
小呆Chris·2023-07-31 21:35

【文件系统】使用iozone测试你的文件系统是否可靠

性能是评估一个文件系统的最为关键的维度，根据文件系统在不同场景下的性能表现，可以判断文件系统是否适合特定的应用场景，并为系统性能调优提供依据。
知否,知否·2023-07-31 16:54

【pytorch】深度学习模型调参策略（一）：选择架构，优化器及批大小

确定可行的批处理大小并估算训练吞吐量更改批处理大小通常需要重新调整大多数超参数模型调优的基本策略选择初始配置增量调整策略探索与利用指导假设已经完成了足够的问题形成、数据清洗等基本工作，因此花费时间在模型架构和训练配置上是有意义的
颢师傅·2023-07-31 15:50

Spark性能调优指南来了！

1、什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。SparkCore：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。SparkCore中还包含了对弹性分布式数据集(ResilientDistributedDataSet，简称RDD)的API定义。SparkSQL：是Spark用来操作结构化数据的程序包。通过SparkSQL，
笑看风云路·2023-07-31 15:44

spark、hive-数据倾斜

文章目录一、spark1.调优概述2.数据倾斜发生时的现象慢OOM3.数据倾斜发生的原理常见的进行shuffle（数据分发的规则）规则有那些？根据这五种方案，组合出一些解决数据倾斜的解决方案呢？
zdkdchao·2023-07-31 15:12

Spark系列之Spark的数据倾斜

title:Spark系列第九章Spark的数据倾斜9.1Spark调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。
落叶飘雪2014·2023-07-31 15:42

跟着狂神学JVM

2.永久区堆内存调优发生OOM时可以怎么做？使用Jprofiler工具分析OOM原因六、GC（分代收集算法）引用计数法复制算法标记清除标记
weixin_45662485·2023-07-31 14:28

性能测试：jstat -gcuti命令分析

jvm是否需要调优，我们该如何去分析？
chenchao628·2023-07-31 14:08

scikit-learn全解：掌握Python最强大的机器学习库

内容涵盖了如何安装和配置Scikit-learn，Scikit-learn的主要特性，如何进行数据预处理，如何使用监督学习和无监督学习算法，以及如何评估模型和进行参数调优。
TechLead KrisChang·2023-07-31 13:59

MySQL数据库调优（主要调优一些参数）

1、目的：通过根据服务器目前状况，修改Mysql的系统参数，达到合理利用服务器现有资源，最大合理的提高MySQL性能。2、服务器参数：32G内存、4个CPU,每个CPU8核。3、MySQL目前安装状况。MySQL目前安装，用的是MySQL默认的最大支持配置。拷贝的是my-huge.cnf.编码已修改为UTF-8.具体修改及安装MySQL,可以参考>帮助文档。4、修改MySQL配置打开MySQL配置
9ebfbd609d82·2023-07-31 11:39

Cilium系列-6-从地址伪装从IPtables切换为eBPF

Cilium系列文章前言将Kubernetes的CNI从其他组件切换为Cilium,已经可以有效地提升网络的性能.但是通过对Cilium不同模式的切换/功能的启用,可以进一步提升Cilium的网络性能.具体调优项包括不限于
东风微鸣·2023-07-31 10:37

Cilium系列-5-Cilium替换KubeProxy

Cilium系列文章前言将Kubernetes的CNI从其他组件切换为Cilium,已经可以有效地提升网络的性能.但是通过对Cilium不同模式的切换/功能的启用,可以进一步提升Cilium的网络性能.具体调优项包括不限于
东风微鸣·2023-07-31 10:07

Cilium系列-8-绕过 IPTables 连接跟踪

Cilium系列文章前言将Kubernetes的CNI从其他组件切换为Cilium,已经可以有效地提升网络的性能.但是通过对Cilium不同模式的切换/功能的启用,可以进一步提升Cilium的网络性能.具体调优项包括不限于
东风微鸣·2023-07-31 10:07

Cilium 系列-7-Cilium 的 NodePort 实现从 SNAT 改为 DSR

具体调优项包括不限于：启用本地路由(NativeRouting)完全替换KubeProxyIP地址伪装(Masquerading)切换为基于eBPF的模式KubernetesNodePort
东风微鸣·2023-07-31 10:37

2019年8月22日 星期四（怎样成为PHP大牛）

2、数据库方面，mysql，redis，memcache，mongodb等常见PHP有关的数据库通杀，性能调优方案信手拈来，大数据高并发处理方案如数家珍。3、编程能力上，除PHP外，还至少精通C语言。
Ataraxia_LIANG·2023-07-31 00:37

「Hive进阶篇」详解存储格式及压缩方式

一、前言hive优化除了有hql语句逻辑优化，hql参数调优等等，还有一个不起眼的细节容易被忽视掉，那便是hive数仓模型表的存储格式和压缩方式，hive底层数据是依托在hadoop，以HDFS文件存储在集群上的
大数据阶梯之路·2023-07-31 00:38

Java线程池详解 — 如何使用线程池，及其注意事项与调优！

服务端应用程序（如数据库和Web服务器）需要处理来自客户端的高并发、耗时较短的请求任务，所以频繁的创建处理这些请求的所需要的线程就是一个非常消耗资源的操作。常规的方法是针对一个新的请求创建一个新线程，虽然这种方法似乎易于实现，但它有重大缺点。为每个请求创建新线程将花费更多的时间，在创建和销毁线程时花费更多的系统资源。因此同时创建太多线程的JVM可能会导致系统内存不足，这就需要限制要创建的线程数，也
Java柚子·2023-07-30 16:15

Oracle架构实现原理

Oracle架构，讲述了OracleRDBMS的底层实现原理，是OracleDBA**调优和排错的基础理论。深入理解Oracle架构，能够让我们在Oracle的路上走的更远。
tao_wei162·2023-07-30 12:30

ceph集群中RBD的性能测试、性能调优

文章目录radosbenchrbdbench-write测试工具Fio测试cephrbd块设备的iops性能测试cephrbd块设备的带宽测试cephrbd块设备的延迟性能调优radosbench参考：
王哞哞哞哞·2023-07-30 11:06

编写高性能Java代码的最佳实践（上）

最后研究了JVM特定的调优技巧、数据库端的优化和架构方面的调整。以下是译文。介绍在这篇文章中，我们将讨论几个有助于提升Java应用程序性能的方法。我们
suxueJ·2023-07-30 09:35

Go-高质量编程与性能调优

高质量编程：什么是高质量：——编写代码能达到正确可靠，简洁清晰的目标各种边界条件是否考虑完备异常情况处理，稳定性保证易读易维护编程原则简单性消除“多余的复杂性”，以简单清晰的逻辑编写代码不理解的代码无法修复改进可读性代码是写给人看的，而不是机器编写可维护代码的第一步是确保代码可读生产力团队整体工作效率非常重要编写规范代码格式gofmt:go语言官方提供工具，自动格式化为官方统一风格goimport
DyingLive·2023-07-30 09:06

Tomcat性能优化方法JVM参数调优、禁用DNS查询、调整线程数

1、如何给Tomcat调优1）JVM参数调优-Xms表示JVM初始化堆的大小，Xmx表示JVM堆的最大值。这两个值的大小一般根据需要进行设置。
DKPT·2023-07-30 08:34

JVM类加载机制及类加载器双亲委派模型机制，垃圾回收算法，GC调优

1、描述一下JVM加载Class文件的原理机制?Java中的所有类，都需要由类加载器装载到JVM中才能运行。类加载器本身也是一个类，而它的工作就是把class文件从硬盘读取到内存中。在写程序的时候，我们几乎不需要关心类的加载，因为这些都是隐式装载的，除非我们有特殊的用法，像是反射，就需要显式的加载所需要的类。Java类的加载是动态的，它并不会一次性将所有类全部加载后再运行，而是保证程序运行的基础类
DKPT·2023-07-30 08:33

PostgreSQL配置参数调优

/CPU查看CPU型号/cat/proc/cpuinfo|grepname|cut-f2-d:|uniq-c/查看物理CPU个数/cat/proc/cpuinfo|grep“physicalid”|sort-u|wc-l/查看逻辑CPU个数/cat/proc/cpuinfo|grep“processor”|wc-l/查看CPU内核数/cat/proc/cpuinfo|grep“cpucores”|
BangNaa·2023-07-30 07:40

MySQL调优

零、MySQL调优事项目录一、性能监控1、使用showprofile查询剖析工具，可以指定具体的type2、使用showprocesslist查看连接的线程个数，来观察是否有大量线程处于不正常的状态或者其他不正常的特征二
无敌小田田·2023-07-30 05:56

2022-6-15晨间日记

今天是什么日子起床：7：00就寝：0：00天气：晴朗心情：较差纪念日：无任务清单昨日完成的任务，最重要的三件事：1.招人2.质量专项3.sph效果调优改进：伊拉克车牌问题需要解决方案习惯养成：多思考，多做周目标
NumLock·2023-07-29 23:58

数据库性能分析工具的使用

数据库性能分析工具的使用在数据库调优中，我们的目标就是相应时间更快，吞吐量更大。利用宏观监控工具和微观日志分析可以帮我们快速找到调优的思路和方式。
WalkingWithTheWind～·2023-07-29 20:13

数据库索引优化与查询优化——醍醐灌顶

索引优化与查询优化哪些维度可以进行数据库调优索引失效、没有充分利用到索引-一索引建立关联查询太多JOIN(设计缺陷或不得已的需求)--SQL优化服务器调优及各个参数设置(缓冲、线程数等)–调整my.cnf
WalkingWithTheWind～·2023-07-29 20:40

机器学习分布式框架ray tune笔记

RayTune作为Ray项目的一部分，它的设计目标是简化和自动化机器学习模型的超参数调优和分布式训练过程。RayTune简化了实验过程，使研究人员和数据科学家能够高效地搜索最佳超参数，以优化模型性能。
Aresiii·2023-07-29 13:06

JVM理论（七）性能监控与调优

概述性能优化的步骤性能监控：就是通过以非强行或入侵方式收集或查看应用程序运行状态,包括如下问题GC频繁CPU过载过高OOM内存泄漏死锁程序响应时间较长性能分析：通常在系统测试环境或者开发环境进行分析通过查看程序日志以及GC日志,或者运用命令行工具如jstack、jmap、jinfo等导出dump快照文件,利用内存分析工具分析文件使用阿里的arthas或者jprofiler、jconsole、jvi
奉先节度使·2023-07-29 13:14

LVS+Keepalived+Nginx+Tomcat+Redis主从+sentinel+MySQL主从复制，读写分离实现高可用负载均衡，动静分离和Session会话共享

随之也就出现了各种应用的瓶颈问题，既然问题出现了，我们就得想办法解决，一般的网站环境下，均会用到LAMP或者LNMP或者Tomcat等Web服务器，而对于我们网站环境的优化，除了对源代码优化，进行一些配置调优
途径日暮不赏丶·2023-07-29 12:18

Hadoop/Hive-学习笔记【中级篇】

目录参考文章hadoop配置文件详解core-site.xml篇hdfs-site.xml篇参考文章目的链接hadoop配置文件hadoop配置文件详解系列（一）-core-site.xml篇-程序员姜小白
R&Y·2023-07-29 12:16

JVM 垃圾回收原理

Java语言最重要的特性之一的自动垃圾回收机制，也是基于JVM实现的，而且在我们日常开发中经常会遇到内存溢出、内存泄漏、程序卡顿等问题，要针对这些问题进行排查和性能调优，就需要我们了解JVM的垃圾回收机制
黑夜戴墨镜·2023-07-29 08:32

3.Java面试题—JVM基础、内存管理、垃圾回收、JVM 调优

本文目录如下：七、JVM一、JVM基础什么是Java虚拟机?Java对象创建过程?对象有哪几种引用？二、内存管理说⼀下JVM的内存区域(堆和栈)？内存溢出和内存泄漏是什么意思？内存泄漏可能由哪些原因导致呢？Java堆的内存分区了解吗？对象什么时候会进⼊⽼年代？三、垃圾回收垃圾收集算法了解吗？什么是StopTheWorld?MinorGC、MajorGC、FullGC都是什么意思？MinorGC什么
页川叶川·2023-07-29 08:09

从官网认识 JDK，JRE，JVM 三者的关系

“设为星标”，就能第一时间收到更新推送啦~~~JVM是一些大厂面试必问点，要想解决OOM、性能调优方面的问题，掌握JVM知识必不可少，从今天开始，将为大家介绍JVM的常用知识。
追梦@Java·2023-07-29 07:47

数据库管理-第九十四期 19c OCM之路-第四堂（02）（20230725）

考点3：SQLstatementtuningSQL语句调优收集Schema统计信息execdbms_stats.gather_schems_stats('HR');开启制定表索引监控createindexsh_cust_ind
胖头鱼的鱼缸（尹海文）·2023-07-29 05:55

性能接近翻倍！利用 Boost 技术优化 SmartX 超融合信创平台承载达梦数据库性能详解

软硬件是否存在调优的空间？基于以上需求，SmartX方案中心围绕信创数据库产品（达梦DM8）在SmartX超融合信
志凌海纳SmartX·2023-07-29 01:30

深度学习调参指南

在本文中，我们将聚焦于超参数调优的过程，同时还会涉及一些深度学习其他方面的内容。
妹妹打羽毛球吗️·2023-07-28 22:32

推荐系统环境搭建

推荐系统环境搭建一、Hadoop伪分布式搭建1、环境配置1.1、配置jdk1.2、修改主机名2、安装Hadoop2.1、上传并解压Hadoop2.2、免密配置2.3、配置Hadoop配置文件2.4、启动伪集群二
zznnniuu·2023-07-28 16:08

快速玩转 Llama2！阿里云机器学习 PAI 推出最佳实践（二）——全参数微调训练

PAI-DSW是交互式建模平台，该实践适合需要定制化微调模型，并追求模型调优效果的开发者。
阿里云大数据AI技术·2023-07-28 14:47

制定机器学习规划路线：从入门到专业

入门基础了解机器学习概念学习编程和数学基础探索经典机器学习算法完成实践项目第二阶段：深入学习掌握深度学习基础学习深度学习框架探索最新研究进展完成高级项目第三阶段：专业实践深入研究特定领域参与开源项目或竞赛深度优化和调优关注伦理问题和社会影响结论第一阶段
小馒头学python·2023-07-28 13:14

【机器学习】分类算法 - 模型选择与调优GridSearchCV（网格搜索）

「作者主页」：士别三日wyx「作者简介」：CSDNtop100、阿里云博客专家、华为云享专家、网络安全领域优质创作者「推荐专栏」：零基础快速入门人工智能《机器学习入门到精通》模型选择与调优1、交叉验证2
士别三日wyx·2023-07-28 10:18

「JVM」性能调优工具

「JVM」性能调优工具一、jcmd1、jcmd能干嘛？2、与JVM相关的命令3、示例二、jmap1、jmap有什么用？2、jmap的命令大全3、示例三、jps1、jps有什么用？
技术路上的探险家·2023-07-28 09:48

MySQL 服务器的调优策略

点击上方↑“追梦Java”关注，一起追梦！在工作中，我们发现慢查询一般有2个途径，一个是被动的，一个是主动的。被动的是当业务人员反馈某个查询界面响应的时间特别长，你才去处理。主动的是通过通过分析慢查询日志来主动发现执行效率缓慢的sql语句，或者通过information_schema.processlist实时查询执行缓慢的sql。1分析慢查询日志1、分析慢查询日志的步骤1、通过命令查看数据库是否
追梦@Java·2023-07-28 08:48
上一页 57 58 59 60 61 62 63 64 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他