hadoop配置调优

实战：JVM调优命令&工具

1、查看堆内存每个对象的信息jmap-histo12719输出文件jmap-histo12719>./log.txtnum:序号instances:实例个数bytes:占用空间大小classname:类名称2、查看堆内存信息jmap-heap12719HeapConfiguration:分配的内存空间大小HeapUsage:使用的堆内存空间大小3、导出堆内存快照内存文件，用于使用javavisua
-半度·2023-08-23 13:55

当小白遇到FullGC | 京东云技术团队

TP99过高过程,介绍了一些排查时思路,线索以及工具的使用,希望能够帮助一些新手在排查问题没有很好的思路时,提供一些思路,让小白也能轻松解决FullGC问题,文中实际提到的参数配置不一定适合其他业务场景,在调优自己的项目时还是需要实际试验过才能得出最佳参数配置我也是小白
·2023-08-23 12:56

OceanBase：谁动了我得参数？

然后，将其与“默认值”或“DBA主动刷的调优参数”进行对比，若是“
·2023-08-23 12:24

当小白遇到FullGC | 京东云技术团队

TP99过高过程,介绍了一些排查时思路,线索以及工具的使用,希望能够帮助一些新手在排查问题没有很好的思路时,提供一些思路,让小白也能轻松解决FullGC问题,文中实际提到的参数配置不一定适合其他业务场景,在调优自己的项目时还是需要实际试验过才能得出最佳参数配置我也是小白
·2023-08-23 12:52

存储大师班 | 浅谈 RDMA 与无损网络

魏国武QingStor资深研发工程师近10年企业级软件开发经验，专注于大规模分布式存储研发，擅长集群性能调优、高可用研究及容灾。
QingStor分布式存储·2023-08-23 11:35

第10章 其他调优

10.1编译时计算如果程序中包含不依赖输入的计算，那么这些计算就可以提起在编译时计算而不是在运行时计算。C++14标准提供了constexpr函数，C++17标准通过了ifconstexpr提供编译时分支。10.2编译器内建函数可以强制编译器产生专门的汇编指令而不用编写底层的汇编语言，即编译器内建函数。一定要记住使用编译器内建函数的开发者必须自己处理安全方面的问题。10.3缓存预热一些应用负载中时
高性能计算工程师·2023-08-23 10:56

JVM调优总结 -Xms -Xmx -Xmn -Xss

Xms是指设定程序启动时占用内存大小。一般来讲，大点，程序会启动的快一点，但是也可能会导致机器暂时间变慢。Xmx是指设定程序运行期间最大可占用的内存大小。如果程序运行需要占用更多的内存，超出了这个设置值，就会抛出OutOfMemory异常。Xss是指设定每个线程的堆栈大小。这个就要依据你的程序，看一个线程大约需要占用多少内存，可能会有多少线程同时运行等。以上三个参数的设置都是默认以Byte为单位的
江南云朵·2023-08-23 09:05

java八股文面试[JVM]——JVM参数

参考：JVM学习笔记（一）_卷心菜不卷Iris的博客-CSDN博客堆参数调优入门jdk1.7：jdk1.8：面试题：给定-XmsXmx-Xmn问最大的eden区域是多少M。
小田田_XOW·2023-08-23 09:04

《深入理解JVM虚拟机》读书笔记（一）

此部分包括：Java内存区域与内存溢出异常垃圾收集器与内存分配策略虚拟机性能监控与故障处理工具调优案例分析与实战开记！！！
YummyKang2017·2023-08-23 04:41

[06][03][04] MySQL性能优化总结

我们在第一节课开始的时候讲了,这四节课的目标是为了让大家建立数据库的知识体系,和正确的调优的思路我们说到性能调优,大部分时候想要实现的目标是让我们的查询更快.一个查询的动作又是由很多个环节组成的,每个环节都会消耗时间
悠娜的奶爸·2023-08-22 20:32

第7章 CPU前端优化

接下来讨论如何使用CPU监控特性寻找CPU上运行的代码中可被调优的位置。标准的算法和数据结构在性能敏感型工作负载并不总能表现的很好。例如，在“扁平化”数据结构的冲击下，链表基本上快被放弃了。
高性能计算工程师·2023-08-22 19:10

“深入探索JVM内部机制：解密Java虚拟机“

我们将介绍JVM的架构、内存模型、垃圾收集器、即时编译器等关键组件，以及在代码级别上如何优化和调优JVM的性能。
爱编程的小土豆·2023-08-22 18:17

laravel很慢_记一次 Laravel 应用性能调优经历

在经历了调优过程踩的很多坑之后，我们最终完善并实施了初步的性能测试方案，通过真实的测试数据归纳出了Laravel开发过程中的一些实践技巧。
weixin_39629617·2023-08-22 08:55

【大牛系列教学】docker.service配置文件详情

synchronized和ReentrantLock相关的底层实现线程池的底层实现以及常见的参数数据结构基本都问了一遍：链表、队列等Java内存模型：常问的JVM分代模型，以及JDK1.8后的区别，最后还问了JVM相关的调优参数分布式锁的实现比较技术一面题目自我介绍擅长哪方面的技术
程序猿元元·2023-08-22 08:53

flink sql checkpoint 调优配置

-`execution.checkpointing.interval`:检查点之间的时间间隔（以毫秒为单位）。在此间隔内，系统将生成新的检查点SETexecution.checkpointing.interval=6000;-`execution.checkpointing.tolerable-failed-checkpoints`:允许的连续失败检查点的最大数量。如果连续失败的检查点数量超过此值
wangqiaowq·2023-08-22 07:50

idea里Jvm调优

文章目录1、目的2、怎么用3、Jvm调优常用参数1、目的使用较小的内存占用来获得较高的吞吐量或者较低的延迟。
weixin_44203609·2023-08-22 05:35

JVM调优

JVM调优面试真题：说一下JVM调优JVM调优问题一般分为四个步骤第一步：发现问题，即运用JVM监控工具监控服务器运行时情况，做好告警阈值，通过告警工具设置告警，方便及时介入问题保留现场。
青春不散场·2023-08-22 05:49

Mysql调优

Mysql调优注意1：互联网中的mysql查询，单表查询不超过100ms，大表查询不超过200ms,设置慢查询阈值一般是1000ms，即超过1000ms即需要慢查询优化注意2：单台mysql服务器的并发量最高
青春不散场·2023-08-22 05:49

JVM学习六

JVM学习六GC调优JVM常用命令行参数常见垃圾回收器组合参数设定GC日志详解JVM调优调优前的概念什么是调优调优规划和预调优优化环境GC调优JVM常用命令行参数参数查询（linux环境）：JVM的命令行参数参考
lsd&xql·2023-08-22 01:13

探索人工智能 | 模型训练 使用算法和数据对机器学习模型进行参数调整和优化

模型训练一般包含以下步骤：数据收集、数据预处理、模型选择、模型训练、模型评估、超参数调优、模型部署、持续优化。
阿Q说代码·2023-08-21 23:05

Hive的计算引擎，你知道哪几种？

作为大数据开发工程师来说，Hive数据库的开发还是比较重要的，所以我们需要知道hive数据库的计算引擎有哪些，这样在做hive调优的时候，也是有一定的辅助作用。
晓之以理的喵~~·2023-08-21 21:45

头疼！卷积神经网络是什么？CNN结构、训练与优化一文全解

深入分析了背景和重要性、定义与层次介绍、训练与优化，详细分析了其卷积层、激活函数、池化层、归一化层，最后列出其训练与优化的多项关键技术：训练集准备与增强、损失函数、优化器、学习率调整、正则化技巧与模型评估调优
·2023-08-21 10:18

Docker创建 LNMP 服务+Wordpress 网站平台

然后对此服务进行相关的性能调优和管理工作。
天天净做发财梦·2023-08-21 08:12

Spark调优

SparktSparktiaSparktiao#前言本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。
鬼古神月·2023-08-21 04:05

如何用低代码工具快速实现数据管理

最近开始系统化梳理低代码的功能，对功能进行调优，产品化，感兴趣的程序员伙伴可以看看。一点通低代码信息化定制平台-如何快速管理自定义数据
低代码平台开发·2023-08-21 04:18

MySQL

MySQL-架构MySQL-InnoDBMySQL-事务MySQL-索引MySQL-锁MySQL-调优MySQL-高可用集群具体内容详见：https://www.yuque.com/zhaoccf/kb
爱睡觉的Boy_ed44·2023-08-21 00:05

JVM调优

JVM内存结构image.pngimage.png每起一个线程，都会在栈内存中开辟一块专属于该线程的空间，该线程每调用一个方法就会启动一个栈帧方法区在JDK8中改名叫永久区，存放Class文件，静态变量，常量，常量池等。堆内存image.png大小比例：eden:s1:s2=8:1:1，new:old=1:3或者3:8这些比例可以配置的新创建（new）的对象如果特别大，则直接放入老年代区（tenu
万物归于简·2023-08-20 23:21

hadoop配置文件详解系列（二）-hdfs-site.xml篇

上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。属性名称属性值描述hadoop.hdfs.configuration.version1配置文件的版本dfs.namenode.rpc-address处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。dfs.n
码说AI·2023-08-20 21:10

Hadoop集群运维相关笔记 hdfs参数设置调优等

文章目录1.HDFS1.1DataNode服务经常僵死描述分析解决1.2DataNode因数据盘损坏重启失败描述分析解决1.3优化HadoopBalancer平衡的速度2.HBASE2.1master服务无法启动errororinterruptwhilesplittinglogs描述分析解决Ref本篇博客将持续更新一些遇到过的Hadoop大数据集群的问题，包括HBASEHDFS的常见问题及相关的解
小鹅鹅·2023-08-20 21:08

2023面试题之JVM，老大难JVM的前世今生

性能调优部分更偏向应用，重点突出实践能力。编译器优化和执行模式部分偏向于理论基础，重点掌握知识点。需了解内存模型各部分作用，保存哪些数据。类加载双亲委派加载机制，常用加载器分别加载哪种类型的类。
风月歌·2023-08-20 21:13

Mysql调优-随机消息使用临时表的优化

假如我们有一个单词表，用户每次访问首页时，都会随机滚动显示三个单词，发现随着单词表变大，选单词这个逻辑变得越来越慢，甚至影响到了首页得打开速度。那么使用了什么sql语句呢，为什么越来越慢呢？我们先来创建表，表名为words，字段只有主键id和word，没有二级索引，语句如下：CREATETABLE`words`(`id`int(11)NOTNULLAUTO_INCREMENT,`word`varc
渣渣洒泪成长记·2023-08-20 18:18

一文读懂 MySQL Explain 执行计划

Explain执行计划你一定得会看，不然你简历上就别去写什么你会SQL调优，不然面试官会觉得，Explain执行计划你都不会看，那你还SQL调啥优啊？SQL调你吧？？？
老周聊架构·2023-08-20 15:07

00_Redis面试题

针对Bigkey做过调优吗？惰性释放lazyfree了解过吗？Morekey问题，生产上r
coder_xiaoyou·2023-08-20 13:11

ES架构原理

ElasticStack指南，关注于Elasticsearch在日志和数据分析场景的应用，并不打算对底层的Lucene原理或者Java编程做详细的介绍，但是Elasticsearch层面上的一些架构设计，对我们做性能调优
allin8116·2023-08-20 11:30

记一次系统上线的JVM调优

前言开发了大半年的数据中台系统，近期在测试环境上线压测，监控JVM时发现GC频繁，开启GC日志后发现隔几秒就要做一次MinorGC（对新生代内存进行回收），并且堆内存不到十分之一的时候就进行GC（测试-Xmx设置为10g,使用不到1g就进行了gc），于是从两个方面进行系统的优化（代码层面和jvm启动参数）。1、代码层面观察jvm内存使用的时候，发现堆内存在5秒内就迅速上升1g，此时HTTP访问的人
南风过境jz·2023-08-20 09:08

【SOP】最佳实践之 TiDB 业务写变慢分析

但是有些情况下不一定很好排查，尤其涉及到内核调优等方向时，如果事先没有对各个组件的互访关系、引擎存储原理等有一定的
TiDB 社区干货传送门·2023-08-20 09:41

JVM学习笔记（一）

JVM的常用参数调优你知道哪些？内存快照抓取和MAT分析DUMP文件知道吗？谈谈JVM中，对类加载器你的认识？
卷心菜不卷Iris·2023-08-20 06:29

JVM——StringTable面试案例+垃圾回收+性能调优+直接内存

JVM——引言+JVM内存结构_北岭山脚鼠鼠的博客-CSDN博客书接上回内存结构——方法区。这里常量池是运行时常量池。方法区面试题intern()方法intern()方法用于在运行时将字符串添加到内部的字符串池stringtable中，并返回字符串池stringtable中的引用。返回值当调用intern()方法时，如果字符串池中已经存在相同内容的字符串，则返回字符串池中的引用；否则，将该字符串添
北岭山脚鼠鼠·2023-08-20 06:58

使用 Ploomber、Arima、Python 和 Slurm 进行时间序列预测

它包括建模的大多数基本步骤-获取数据清理、拟合、超参数调优、验证和可视化。作为捷径，我拿起笔记本并使用Soorgeon工具自动将笔记本模块化到Ploomber管道中。
ygtu2018·2023-08-20 06:27

Elasticsearch:集群关键指标及调优指南

1、CPU使用率CPU使用率是指在一段时间内CPU执行程序的百分比，它是衡量系统资源利用率的一种指标。1.1详细说明：在Elasticsearch中，高的CPU使用率通常意味着节点正在执行大量的计算任务，这可能是因为索引和搜索操作的负载较大，也可能是因为节点正在进行数据复制和分片重新平衡等任务。因此，高的CPU使用率通常是Elasticsearch性能瓶颈的一个指标。1.2注意：有以下一些情况可能
二狗plus·2023-08-20 05:33

【深度学习-图像识别】使用fastai对Caltech101数据集进行图像多分类（50行以内的代码就可达到很高准确率）

文章目录前言fastai介绍数据集介绍一、环境准备二、数据集处理1.数据目录结构2.导入依赖项2.读入数据3.模型构建3.1寻找合适的学习率3.2模型调优4.模型保存与应用总结人工智能-图像识别系列文章目录前言
AiFool·2023-08-19 18:24

Netty学习（四）

序列化与反序列化Serializer&AlgorithmConfigapplication.propertiesMessageCodecSharableMessage（抽象类）测试序列化测试反序列化测试1.2参数调优
ps酷教程·2023-08-19 17:59

iOS应用性能调优的4个建议和技巧

本文将分享一些iOS应用性能调优的4个建议和技巧。Tip#1:把图片资源压缩到最小。iOSapp通常都会使用图片资源，程序运行时会把这些图片从磁盘加载到内存，如果图片很大，加载速度就会很慢。
暗光的技术小站·2023-08-19 12:32

Redis第一讲：Redis知识体系详解+原理+应用+面试(P6精通)

本篇文章作为Redis第1讲，开篇会站在知识体系的视角，介绍总体知识点，包括入门、数据结构、监控、性能调优、项目实战、源码解析等。
程序员 jet_qi·2023-08-19 12:07

机器学习基础之《分类算法（3）—模型选择与调优》

作用是如何选择出最好的K值一、什么是交叉验证（crossvalidation）1、定义交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证把训练集本身再分2、分析我们之前知道数据分为训练集和测试集，但是为了让从训练得到模型结果更加准确。做以下处理：
csj50·2023-08-19 11:35

TOMCAT参数调优

Tomcat的缺省配置是不能稳定长期运行的，也就是不适合生产环境，它会死机，让你不断重新启动，甚至在午夜时分唤醒你。对于操作系统优化来说，是尽可能的增大可使用的内存容量、提高CPU的频率，保证文件系统的读写速率等。经过压力测试验证，在并发连接很多的情况下，CPU的处理能力越强，系统运行速度越快。Tomcat的优化不像其它软件那样，简简单单的修改几个参数就可以了，它的优化主要有三方面，分为系统优化，
KillCom·2023-08-19 11:52

JVM 优化

Tomcat首先跑在JVM之上的，因为它的启动其实也只是一个java命令行，首先我们需要对这个JAVA的启动命令行进行调优。
KillCom·2023-08-19 11:52

mysql 超大 sql 文件导入过程

问题最近遇到2个超大sql文件导入，好一通折腾文档在哪里调优参数太多，文档都看不过来找到这些参数也费劲,ubuntu在/etc/mysql/mysql.conf.d/mysqld.cnf中找到这个链接.
哈哈虎123·2023-08-19 10:45

【论文笔记】基于指令回译的语言模型自对齐-MetaAI

思路在这项工作中，我们通过开发迭代自训练算法来利用大量未标记的数据来创建高质量的指令调优数据集。该方法使用模型本身来增强和管理高质量的训练样例，以提高其自身的性能。
代码搬运工小菜狗·2023-08-19 09:10

【面试总结】八股①

目录数据库缓存穿透是什么常见的sql调优方法有哪些使用表的别名为什么能优化查询性能MySQL事务特性是哪些事务隔离级别有哪些Java基础StringBuffer和StringBuilder的区别String
Koma_zhe·2023-08-18 22:06
上一页 52 53 54 55 56 57 58 59 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他