hadoop配置调优

Java性能调优JVM内存区域模型和加载过程

1.方法区也称"永久代”、“非堆”，它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB，可以通过-XX:PermSize和-XX:MaxPermSize参数限制方法区的大小。运行时常量池：是方法区的一部分，Class文件中除了有类的版本、字段、方法、接口等描述信息外，还有一项信息是常量池，用于存放编译器生成的各种符号引用，这部分内容将在类
Java大宝宝·2023-09-07 02:49

Hadoop生态圈（八）- HDFS动态节点管理

目录前言1.背景2.动态扩容、节点上线2.1新机器基础环境准备2.1.1主机名、IP2.1.2Hosts映射2.1.3防火墙2.1.4SSH免密登录2.1.5JDK环境配置2.2Hadoop配置2.2.1DataNode
大Null·2023-09-07 00:22

HDFS 集群动态节点管理

目录一、动态扩容、节点上线1.1背景1.2扩容步骤1.2.1新机器基础环境准备1.2.2Hadoop配置1.2.3手动启动DataNode进程1.2.4Web页面查看情况1.2.5DataNode负载均衡服务二
Stars.Sky·2023-09-07 00:51

Nginx服务

目录一.Nginx概念二.Nginx安装2.1.Nginx编译三.Nginx使用四.Nginx与Apache对比五.Nginx服务调优一.Nginx概念Nginx功能介绍静态的web资源服务器html，
原神登陆广岛·2023-09-06 17:52

JVM快速入门篇

jvm的常见调优参数有哪些？内存快照如何抓取？怎么分析Dump文件？谈谈jvm中，类加载器你的认识？
烟雨平生9527·2023-09-06 16:59

焦点分享80

《建构解决之道》Ｐ327–331.SFS主要假设为：1.着重于受督者的合作行为、受督者为自己问题的专家、且有能力及资源为自己设定目标、强调优势、强调没有绝对的、正确的视框、相信改变是无可避免的且一直在发生的
DAN524·2023-09-06 15:22

JVM调优工具介绍

-XX:SurvivorRatio=6，设置的是Eden区与每一个Survivor区的比值，可以反推出占新生代的比值，Eden为6,两个Survivor为2,Eden占新生代的3/4,每个Survivor占1/8，两个占1/4.-Xms：最小堆内存，即虚拟机启动后分配的内存大小-Xmx：最大堆内存当最小堆内存满了，会尝试GC，如果GC之后还不能得到足够的内存，则会拓展堆内存，如果-Xmx设置过小则
Rcfee·2023-09-06 12:19

性能调优那些事儿

性能调优那些事儿问题性能优化是软件开发中最重要的活动，也是软件工程中的深水区，可以说也是衡量一个程序员能力高低的标准。
小龙的城堡·2023-09-06 06:52

GO语言学习记录 函数/报错/相关 & 性能调优 & 编码规范治理

1.常用//获取事件类型fmt.Println("atypebyreflect:",reflect.TypeOf(a))//获取当下时间time.Now().Format("2006-01-0215:04:05")//睡眠time.Sleep(2*time.Second)//遍历目录varfiles[]stringerr:=filepath.Walk(monitorPath,func(pathst
强仔fight·2023-09-06 05:03

hadoop配置环境变量

打开配置文件vim~/.bash_profile添加环境变量#hadoopexportHADOOP_HOME=/Users/shawn/Documents/hadoopexportHADOOP_INSTALL=$HADOOP_HOMEexportHADOOP_MAPRED_HOME=$HADOOP_HOMEexportHADOOP_COMMON_HOME=$HADOOP_HOMEexportHAD
潇豪·2023-09-06 04:23

面试系列 - JVM内存模型和调优详解

目录一、JVM内存模型1.程序计数器（ProgramCounterRegister）：2.Java虚拟机栈（JavaVirtualMachineStacks）：3.本地方法栈（NativeMethodStack）：5.方法区（MethodArea）：6.运行时常量池（RuntimeConstantPool）：7.直接内存（DirectMemory）：二、垃圾回收期CMS和G1区别1.工作原理：2.
境里婆娑·2023-09-06 03:29

云服务器搭建Hadoop集群

云服务器搭建Hadoop集群一、配置服务器1.创建普通用户2.安装Java环境3.安装hadoop4.网络配置5.hadoop配置6.执行分布式实例一、配置服务器1.创建普通用户说明：由于root环境下操作比较危险
Edge_Code·2023-09-06 03:16

mysql optimize trace_MySQL 调优 | OPTIMIZER_TRACE详解

TIPS本文基于MySQL8.0编写，理论支持MySQL5.6及更高版本。OPTIMIZER_TRACE是MySQL5.6引入的一项跟踪功能，它可以跟踪优化器做出的各种决策(比如访问表的方法、各种开销计算、各种转换等)，并将跟踪结果记录到INFORMATION_SCHEMA.OPTIMIZER_TRACE表中。此功能默认关闭，开启后，可分析如下语句：SELECTINSERTREPLACEUPDAT
残月灵火·2023-09-05 21:42

clickhouse调优配置

一、官方文档地址clickhouse的配置项主要在config.xml或users.xml中，基本上都在users.xml里config.xmlhttps://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/users.xmlhttps://clickhouse.tech/docs/en/ope
bigdata-rookie·2023-09-05 15:53

Java SpringBoot 项目构建 Docker 镜像调优实践

转自：JavaSpringBoot项目构建Docker镜像调优实践|小豆丁技术栈PS：已经在生产实践中验证，解决在生产环境下，网速带宽小，每次推拉镜像影响线上服务问题，按本文方式构建镜像，除了第一次拉取
zzhongcy·2023-09-05 14:18

Java线程池

为什么要有线程池线程池能够对线程进行统一分配，调优和监控:降低资源消耗(线程无限制地创建，然后使用完毕后销毁)提高响应速度(无须创建线程)提高线程的可管理性线程不安全示例如果多个线程对同一个共享数据进行访问而不采取同步操作的话
野鹤、·2023-09-05 14:28

k8s停止服务_使用 K8S 几年后，这些技术专家有话要说

K8S逐渐成为容器编排的标准，越来越多的实现方式和使用方式已经成为了标准化的流程，但是在应用容器化、DevOps、监控、性能调优、发布方式等方面仍存在一些技术难点。
weixin_39549110·2023-09-05 14:17

Linux的服务器日志分析及性能调优

作为网络安全和数据传输的重要环节，代理服务器在现代互联网中扮演着至关重要的角色。然而，在高负载情况下，代理服务器可能面临性能瓶颈和效率问题。本文将介绍如何利用Linux系统对代理服务器进行日志分析，并提供一些实用技巧来优化其性能。1.日志收集与分析通过合适地配置并启用相应的日志记录功能，可以获得有价值的信息以了解当前运行状态、访问模式等。同时使用强大工具（例如ELKStack）可帮助我们有效管理、
华科℡云·2023-09-05 12:06

MYSQL调优之思路----sql语句和索引调优

MySQL数据库性能优化包括综合多方面因素，应根据实际的业务情况制定科学、合理的调优方案进行测试调优文章目录MySQL性能优化1优化介绍1.2优化要考虑的问题2.1优化可能带来的问题2.2优化的需求2.3
风起洛阳@不良使·2023-09-05 09:54

百分百就业方案

三方认证登录、消息推送、IM实时通信、知识图（图数据库）、微信支付、ES、用户画像、智能推荐、实时网站数据监控；3、个人网站，博客内容知识体系准备（JVM、多线程、分布式事务、分布式锁、Redis、MySQL调优
大黑跟小白的日常·2023-09-05 07:04

MySQL性能分析工具的使用

1.数据库服务器的优化步骤当我们遇到数据库调优问题的时候，该如何思考呢？这里把思考的流程整理成下面这张图。整个流程划分成了观察（Showstatus）和行动（Action）两个部分。
东大资土是冠军·2023-09-05 05:31

Nginx参数调优

Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等建立测试基线我们使用HTTP负载能力测试工具ApacheBench,又称ab，为NGINX系统做流量测试
AZXG·2023-09-05 01:54

Java性能调优JVM内存区域模型和加载过程

1.方法区也称"永久代”、“非堆”，它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。默认最小值为16MB，最大值为64MB，可以通过-XX:PermSize和-XX:MaxPermSize参数限制方法区的大小。运行时常量池：是方法区的一部分，Class文件中除了有类的版本、字段、方法、接口等描述信息外，还有一项信息是常量池，用于存放编译器生成的各种符号引用，这部分内容将在类
Java耕耘者·2023-09-05 00:05

李清照

前期多写其悠闲生活，多描写爱情生活、自然景物，韵调优美，有“千古第一才女”之称。所作词，前期多写其悠闲生活，后期多悲叹身世，情调感伤。
964734b4b70a·2023-09-04 23:38

【性能调优】真实体验 “系统调用是重开销”

一、调优背景T
CSU_DEZ_THU·2023-09-04 23:12

Linux学习笔记（更新中~）

Linux1Introduce适用人群:运维工程师（系统运维、应用运维、DBA）开发工程师（内核/驱动开发、软件开发、嵌入式开发）架构师（进阶，性能调优、故障处理、…）应用场景:Web应用数据库大数据云计算物联网图标
CodeWithMe·2023-09-04 21:48

NLP：长文本场景下段落分割（文本分割、Text segmentation）算法实践----一种结合自适应滑窗的文本分割序列模型

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-09-04 17:47

mysql调优小计

1.选择最合适的字段属性：类型、⻓度、是否允许NULL等；尽量把字段设为notnull，⼀⾯查询时对⽐是否为null；2.要尽量避免全表扫描，⾸先应考虑在where及orderby涉及的列上建⽴索引。3.应尽量避免在where⼦句中对字段进⾏null值判断、使⽤!=或<>操作符，否则将导致引擎放弃使⽤索引⽽进⾏全表扫描4.应尽量避免在where⼦句中使⽤or来连接条件，如果⼀个字段有索引，⼀个字段
俺叫啥好嘞·2023-09-04 16:25

得物社区亿级ES数据搜索性能调优实践

1.背景2020年以来内容标注结果搜索就是社区中后台业务的核心高频使用场景之一，为了支撑复杂的后台搜索，我们将社区内容的关键信息额外存了一份到Elasticsearch中作为二级索引使用。随着标注业务的细分、迭代和时间的推移，这个索引的文档数和搜索的RT开始逐步上升。下面是这个索引当前的监控情况。本文介绍社区利用IndexSorting，将亿级文档搜索性能由最开始2000ms优化到50ms的过程。
·2023-09-04 13:22

G1 垃圾回收器简单调优

关于调优目标：延迟、吞吐量一、延迟，单次的延迟单次的延迟关系到服务的响应时延，比如，在要求接口响应不超过100ms的服务里，单次的延迟目标必然不能超过100ms。
windwant·2023-09-04 06:19

MySQL内容及原理记录

原理篇架构、索引、事务、锁、日志、性能调优高可用读写分离、分库分表、分布式ID、高可用、分布式数据库、分布式事务、分布式锁架构1执行一条SQL查询语句，期间发生了什么？
dannky_Z·2023-09-04 05:17

[15]es线程池的优化

本文集主要是总结自己在项目中使用ES的经验教训，包括各种实战和调优。查看当前线程状态curl-XGET'http://localhost:9200/_nodes/stats?
不怕天黑_0819·2023-09-04 03:29

Java程序员面试500强企业技术专家，却由于学历问题没有通过

基本要求：5年以上开发经验，3年以上leader经历，3个以上大型项目经验，熟悉设计模式，性能调优等。标题很俗气，估计大牛看了会不屑的说：厚积薄发
java路人甲乙丙丁·2023-09-03 23:49

500强企业专家级面试果然是噩梦级，吐血分享成功经验

基本要求：5年以上开发经验，3年以上leader经历，3个以上大型项目经验，熟悉设计模式，性能调优等。标题很俗气，估计大牛看了会不屑的说：厚积薄发就是最好的面试策略。
两个陌生人·2023-09-03 23:19

sql：SQL优化知识点记录（九）

（1）小表驱动大表对sql调优的分析：排序优化：数据库的连接方式，里面的数据尽量这样连接，尽量选择第一个方式，因为两个表的连接一共建立5次连接，第二个建立1000次连接，从小表驱动大表方式来说选择第一种
项目題供诗·2023-09-03 19:56

Opencv图像暗通道调优

基于雾天退化模型的去雾算法，Opencv图像暗通道调优，（清华版代码）对普通相片也有较好的调优效果，相片更通透。结合代码实际运行效果、算法理论模型、实际代码。
stonewu·2023-09-03 16:15

kafka配合ElasticStack技术栈的搭配使用

今日内容:-kafka生产环境调优;-kafka配合ElasticStack技术栈的搭配使用;-zookeeper集群部署;-zookeeper的ACL;-zookeeper的调优;-PB级别项目;-ES8
港南四大炮亡·2023-09-03 15:23

Nginx服务与调优

一、event模块:用于配置服务器的事件驱动机制的模块。它定义了Nginx如何处理并发连接和网络事件，以及如何与底层操作系统的事件机制交互。、1.最大并发连接数：worker_connections65536;2.选择事件驱动：nginx默认使用epoll时间驱动类型useepoll;##不写默认是epoll3.互斥锁：使用互斥锁来限制同时只有一个worker进程能够接受新的连接。在高并发环境中可
敢不敢跟我比划比划.·2023-09-03 14:38

互联网 Java 工程师面试题系列(Elasticsearch 面试题)

1、elasticsearch了解多少，说说你们公司es的集群架构，索引数据大小，分片有多少，以及一些调优手段。
眉目清俊·2023-09-03 12:33

Linux操作系统块设备参数调优

目录一、队列深度二、调度算法三、预读量四、I/O对齐一、队列深度队列深度决定了给块设备写I/O的最大并发数，对于Linux系统，默认值为128，一般情况下不建议用户修改此参数。用户可以使用cat命令查询当前块设备队列深度。linux-ob3a:~#cat/sys/block/sdc/queue/nr_requests128当对系统进行极限性能测试时，为了增大主机写I/O的压力及I/O在队列中被合并
咸鱼弟·2023-09-03 10:35

Redis之bigkey问题解读

bigkey引发的问题如何查找bigkeyredis-cli--bigkeysMEMORYUSAGEbigKey如何删除渐进式删除unlinkbigKey生产调优什么是bigkey？
一个风轻云淡·2023-09-03 10:52

11 - 深入了解NIO的优化实现原理

Tomcat中经常被提到的一个调优就是修改线程的I/O模型。
Q.E.D.·2023-09-03 08:37

【JAVA知识点小结】

开发知识点汇总限流算法固定窗口滑动窗口漏桶算法中间件限流令牌桶算法网关限流常见的web安全问题以及应对方式消息队列kafkaRocketMQ设计模式策略模式模板模式原型模式单例模式工厂模式JAVA数据结构与算法堆hashcode和equals泛型JVM调优辅助工具
FHLD666·2023-09-03 07:59

kafka的ISR工作机制原理

-zk单点部署-kafka单点部署-kafka的集群扩容-kafka集群架构-kafka的堆内存调优-kafka的集群宏观架构Q1:为什么需要配置"dvertised.listeners".因为没有配置主机名解析导致的问题
港南四大炮亡·2023-09-03 06:03

Android jvm内存模型,JVM内存模型

在工作中总会时不时与JVM打交道，尤其是在做性能调优或是看见OOM时，就需要对jvm启动参数做些调整，而我总是头疼于那些参数的含义，特记之。
津津小可爱·2023-09-03 05:32

JVM调优笔记：认识JVM内存模型（jdk1.8）

文章目录1、什么是JVM2、jdk、jre、jvm关系3、JVM执行过程4、JVM执行程序的过程5、JVM运行时数据区虚拟机栈（线程私有）本地方法栈（线程私有）程序计数器（线程私有）堆（线程共享）方法区（线程共享）6、内存分配参数大小分配比例分配7、垃圾回收算法与思想分类新生代串行收集器Serial老年代串行收集器SerialOld新生代并行收集器ParNew新生代并行回收收集器ParallelS
leo825...·2023-09-03 05:01

JVM调优参数大全

1.JVM调优常见参数分类标准参数(-):所有的JVM实现都必须实现这些参数的功能，而且向后兼容；非标准参数(-X):默认jvm实现这些参数的功能，但是并不保证所有jvm实现都满足，且不保证向后兼容非稳定参数
SimpleSimpleSimples·2023-09-03 03:49

JVM监控和调优常用命令jps|jstat|jinfo|jmap|jhat|jstack实战

1.JVM监控和调优的主要目的性能优化：通过JVM调优，可以提高Java应用程序的性能，减少响应时间，提高吞吐量，以更好地满足用户需求。性能优化可以加快应用程序的执行速度，减少延迟，提高用户体验。
SimpleSimpleSimples·2023-09-03 03:19

索引

索引索引是数据库调优的一个重要部分，提高查询效率，增删改将耗费大量资源CREATETABLET_INDEX(T_IDNUMBER,S_NAMEVARCHAR2(30),S_SUBVARCHAR2(30)
咔狼·2023-09-03 03:33

融邦JAVA面试题

(3)提高线程的可管理性：线程是稀缺资源，如果无限制的创建，不仅会销耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。
梦幻蔚蓝·2023-09-03 00:46
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他