hadoop配置调优

【Nginx20】Nginx学习：FastCGI模块（二）缓存配置

不过，FastCGI可不是一个小模块，还有很多的配置指令，要想深入，要想调优，这些指令还是多少要了解一下的。今天学习的内容基本上也都是可以设置在http、s
码农老张Zy·2023-08-26 04:45

HIVE 调优—— hive.fetch.task.conversion

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。启用MapReduceJob是会消耗系统开销的。对于这个问题，从Hive0.10.0版本开始，对于简单的不需要聚合的类似selectfromlimitn语句，不需要起MapReducejob，直接通过Fetchtask获取数据。比如：select*fromuser_table;在这种情况下，Hive可以简单地读取us
Q以梦为马·2023-08-26 04:09

c++性能测试工具——gperftools的应用

在此类的实际场景中，经常存在以下几个问题：1、服务端调优，需要找到性能瓶颈，而往往这种瓶颈并不是随时出现，而是随机出现的。2、问题异常的发现，比如偶尔会有突然的报警或者CPU内存等异常升高。
fpcc·2023-08-26 03:04

NameNode 处理线程配置（心跳并发）

在Hadoop配置文件hdfs-site.xml中添加如下配置项：默认为10线程dfs.namenode.handler.co
月亮给我抄代码·2023-08-25 22:46

Hadoop Yarn 核心调优参数

文章目录测试集群环境说明Yarn核心配置参数1.调度器选择2.ResourceManager调度器处理线程数量设置3.是否启用节点功能的自动检测设置4.是否将逻辑处理器当作物理核心处理器5.设置物理核心到虚拟核心的转换乘数6.设置NodeManager使用的内存量7.设置NodeManager节点虚拟核心数量8.设置每个容器的最小与最大内存9.设置每个容器的最小与最大虚拟CPU核心10.是否开启虚
月亮给我抄代码·2023-08-25 22:12

Arthas 线上定位工具简单使用 arthas安装 阿里性能调优工具使用

1.下面是arthas官网有非常详细的使用文档:简介|arthas2.官方推荐的下载，使用方式：#自己找个文件夹下载arthasjar包cd/home#下载curl-Ohttps://arthas.aliyun.com/arthas-boot.jar#运行java-jararthas-boot.jar3.选择监控的jar端口（输入数字即可）4.命令行输入：dashboard5.thread19查看
qq_33919114·2023-08-25 20:57

spark sql 数据倾斜--join 同时开窗去重的问题优化

sparksql数据倾斜–join同时开窗去重的问题优化文章目录sparksql数据倾斜--join同时开窗去重的问题优化结论1.原方案：join步骤时，同时开窗去重数据倾斜2.优化2.1参数调优2.2SQL
千山暮雪CN·2023-08-25 12:59

公司来了个大佬，把 FullGC 40 次/天优化为 10 天 1 次，太秀了～！

heapdump.cn/article/1859160通过这一个多月的努力，将FullGC从40次/天优化到近10天才触发一次，而且YoungGC的时间也减少了一半以上，这么大的优化，有必要记录一下中间的调优过程
·2023-08-25 12:11

Greenplum数据库快速调优

Greenplum数据库快速调优目录第一节集群规划中影响性能的原因1、架构设计2、服务器配置3、Segment实例数量第二节数据库性能优化内容1、内存管理2、资源队列的内存管理3、资源队列4、资源组5、
盒马coding·2023-08-25 10:53

配置门槛这么低,Fooocus你值得拥有!

不依赖云服务开源免费,代码开放自动化了许多内部优化,简化用户操作只需要关注提示和图像,实现人机交互安装简单,兼容性强硬件需求低,可以在普通笔记本上运行性能优异,速度很快内置一些其他工具无法实现的高级功能参数经过调优
winfredzhang·2023-08-25 10:52

Greenplum问题定位及性能调优

基于fdw的跨Greenplum集群数据库查询实现》，《基于Greenplum构建下一代数据分析平台》），今天，第三篇演讲内容是由Greenplum中文社区成员阿福带来的Greenplum问题定位与性能调优
Greenplum中文社区·2023-08-25 10:49

Greenplum-SQL调优

本文转载自：https://blog.csdn.net/u012948976/article/details/52695397数据库查询准备VACUUMvacuum只是简单的回收空间且令其可以再次使用，没有请求排它锁，仍旧可以对表读写vacuumfull执行更广泛的处理，包括跨块移动行，以便把表压缩至使用最少的磁盘块数目存储。相对vacuum要慢，而且会请求排它锁。定期执行：在日常维护中，需要对数
hmxz1024·2023-08-25 10:17

京东面试题：ElasticSearch深度分页解决方案

关注公众号：码猿技术专栏，回复关键词：1111获取阿里内部Java性能调优
·2023-08-25 08:25

接口性能测试避坑 Django+Nginx+uwsgi接口性能调优postman，Apifox，ab

使用Django开发了个接口供外部调用，Django的并发性能弱早有所闻，所以采用了Django+Nginx+uwsgi架构来提高并发量，来测试一下并发能力到底如何。服务器配置：CPU2，内存8G接口内容只有3句，暂不用sleep模拟接口的处理耗时：request_data={"code":"0","msg":"test"}logger.info(f'---------------')return
嗨客递锅·2023-08-25 03:28

Mysql数据库技术知识整理

Mysql的知识点目录重点：架构,引擎,索引，锁机制,事务机制,日志机制，集群,调优3、Mysql索引索引概念覆盖索引：条件列和结果列都在索引中索引下推：查询会先过滤条件列，然后回表查数据最左前缀匹配：
天道酬勤的博客·2023-08-25 00:04

基于贝叶斯优化混合核支持向量机的回归方法

手动调参少不了，机器学习算法如SVM就有gamma、kernel、ceof等超参数要调，而神经网络模型有learning_rate、optimizer、L1/L2normalization等更多超参数可以调优
机器鱼·2023-08-24 16:05

机器学习中XGBoost算法调参技巧

本文将详细解释XGBoost中十个最常用超参数的介绍，功能和值范围，及如何使用Optuna进行超参数调优。
Python数据开发·2023-08-24 13:50

新的开始 -- SQL调优

所以，作为一个合格的工程师，必须对SQL调优有一个深刻的认识，如何写出性能更高的SQL，如何在问题出现的时候解决问题成了当务之急。
北堂飘霜·2023-08-24 12:41

JVM 下篇：性能监控与调优

文章目录性能优化三部曲第1步(发现问题):性能监控何时需要性能监控第2步(排查问题):性能分析第3步(解决问题):性能调优性能评价/测试指标JVM监控及诊断工具命令行jpsjstatjinfojmap导出内存镜像文件显示堆内存相关信息其它作用
程序员的暴击·2023-08-24 10:09

OceanBase：谁动了我得参数？

然后，将其与“默认值”或“DBA主动刷的调优参数”进行对比，若是“
ActionTech·2023-08-24 08:41

LangChain+LLM做知识库时，参数如何调优(4)

目前很多企业都开始做知识库或客服。通过开源项目里的issue去看，碰到的问题也是大同小异。例如：[BUG]关于答案胡乱生成的问题·Issue#886·imClumsyPanda/langchain-ChatGLM(github.com)。如何文本分割的时候，按照每行进行分割？因为我的本地TXT文件知识库是按照Q，A的形式组织的。也就是文本切片的时候按照每行进行切片。·Issue#893·imClu
架构安利师·2023-08-24 08:01

LangChain+LLM做知识库时，参数如何调优(3)

如何文本分割的时候，按照每行进行分割？因为我的本地TXT文件知识库是按照Q，A的形式组织的。也就是文本切片的时候按照每行进行切片。·Issue#893·imClumsyPanda/langchain-ChatGLM(github.com)建议：其实FAQ最好的实现是不用大模型。只做AQ里的Q的文本切割（一般用\n对内容简单的split即可）、向量化，AQ成对存放在数据库里。这样达到的效果是：用户提
架构安利师·2023-08-24 08:31

Linux学习13-CentOS安装ab做压力测试

前言网站性能压力测试是服务器网站性能调优过程中必不可缺少的一，测试环境准备好了后，如何对网站做压力测试？
上海-悠悠·2023-08-24 07:35

JVM、JUC、网络、线程

JVM的常用调优参数有哪些?内存快照如何抓取，怎么分析Dump文件？
pybstudyjava·2023-08-24 02:53

Elasticsearch配置优化

以下的优化基础是安装的Elasticsearch版本为7.17.7，同时jdk版本为1.8.3211、jvm参数优化  这里说的jvm参数调优，是指elasticsearch安装目录下的jvm.options
沿途欣赏i·2023-08-24 02:14

TCP缓冲区参数调优

1、系统原值查询[lyb@adminautopush]$cat/proc/sys/net/core/rmem_max4194304[lyb@adminautopush]$cat/proc/sys/net/core/wmem_max1048576[lyb@adminautopush]$cat/proc/sys/net/ipv4/tcp_rmem4096873804194304[lyb@adminau
沿途欣赏i·2023-08-24 02:43

spark基于HNSW向量检索

talks.anghami.com/blazing-fast-approximate-nearest-neighbour-search-on-apache-spark-using-hnsw/HNSW参数调优文档
晚点吧·2023-08-24 02:04

记Oracle中regexp_substr的一次调优(速度提高99.5%)

项目中需要做一个船舶代理费的功能，针对代理的船进行收费，那么该功能的第一步便是选择进行代理费用信息的录入，在进行船舶选择的时候，发现加载相关船舶信息十分的慢，其主要在sql语句的执行，因为测试的时候数据较少，实际使用中，数据量较大。关于regexp_substr函数的使用可查看Oracle通过一个字段的值将一条记录拆分为多条记录需求和表结构船舶相关的信息在系统中有船舶动态表（CBDT），另外有一张
DuBetter·2023-08-24 00:43

JVM——垃圾回收器G1+垃圾回收调优

4.4G1（一个垃圾回收器）定义:取代了CMS垃圾回收器。和CMS一样时并发的。适用场景:物理上分区，逻辑上分代。相关JVM参数:-XX:+UseG1GC-XX:G1HeapRegionSize=size-XX:MaxGCPauseMillis=time1)G1垃圾回收阶段三个回收阶段，第一个是新生代回收，第二个是新生代+CM,第三个是混合回收。当老年代内存超过阈值，会在新生代垃圾回收时进行并发标
北岭山脚鼠鼠·2023-08-24 00:52

14.VisualVM使用详解、15.VisualVM堆查看器使用的内存不足、19.class文件--文件结构--魔数、20.文件结构--常量池、21.文件结构访问标志（2个字节）、22.类加载机制概

14.VisualVM使用详解15.VisualVM堆查看器使用的内存不足16.性能调优概述17.性能调优–案例118.性能调优—案例三19.class文件–文件结构–魔数20.文件结构–常量池21.文件结构访问标志
涂作权的博客·2023-08-23 23:47

从PCRE到Hyperscan

作者简介：昌昊，英特尔软件工程师，负责Hyperscan算法开发和性能调优相关工作。主要研究领域包括自动机与正则表达式匹配等。
明翼·2023-08-23 22:40

详细了解G1、了解G1、G1垃圾收集器详解、G1垃圾回收器简单调优

4.详细了解G1：4.1.一：什么是垃圾回收4.2.了解G14.3.G1YongGC4.4.G1MixGC4.5.三色标记算法4.6.调优实践5.G1垃圾收集器详解5.1.G1垃圾收集器5.2.G1的堆内存划分
涂作权的博客·2023-08-23 20:12

机器学习算法的选择和优化技巧

文章目录机器学习算法的选择1.问题类型：2.数据规模：3.特征空间：4.数据质量：机器学习算法的优化技巧1.特征工程：2.超参数调优：3.集成方法：4.模型调优：代码示例：超参数调优拓展：深度学习中的优化技巧结论欢迎来到
IT·陈寒·2023-08-23 19:21

单机百万连接调优解决思路

目录1.单机百万连接调优解决思路1.1.突破局部文件句柄限制1.2.突破全局文件句柄限制1.单机百万连接调优解决思路1.1.突破局部文件句柄限制首先在服务端输入命令,看一下单个进程所能支持的最大句柄数。
云满笔记·2023-08-23 19:41

新特性解读 | MySQL 8.0 窗口函数一次疑问解答

擅长MySQL、PostgreSQL、MongoDB等开源数据库相关的备份恢复、SQL调优、监控运维、高可用架构设计等。
ActionTech·2023-08-23 16:28

性能调优篇 一、Jvm监控及诊断工具-命令行篇

目录一、概述1、简单命令行工具二、jps：查看正在运行的Java程序1、是什么？2、测试3、基本语法三、jstat：查看jvm统计信息一、概述性能诊断是软件工程师1、简单命令行工具二、jps：查看正在运行的Java程序1、是什么？JavaProcessStatus：用于查询正在运行的Java虚拟机进程2、测试3、基本语法1）options如何将信息输出到同级文件中：语法：命令>文件名称例如：jps
小晨想好好学习·2023-08-23 16:48

PaddleRS 1.0.0版本安装

PaddleRS致力于帮助遥感领域科研从业者快速完成算法的研发、验证和调优。同时，PaddleRS也期望助力投身于产业实践的开发者，便捷地实现从数据预处理到模型部署的全流程遥感深度学习应用。
hsg77·2023-08-23 13:06

实战：JVM调优命令&工具

1、查看堆内存每个对象的信息jmap-histo12719输出文件jmap-histo12719>./log.txtnum:序号instances:实例个数bytes:占用空间大小classname:类名称2、查看堆内存信息jmap-heap12719HeapConfiguration:分配的内存空间大小HeapUsage:使用的堆内存空间大小3、导出堆内存快照内存文件，用于使用javavisua
-半度·2023-08-23 13:55

当小白遇到FullGC | 京东云技术团队

TP99过高过程,介绍了一些排查时思路,线索以及工具的使用,希望能够帮助一些新手在排查问题没有很好的思路时,提供一些思路,让小白也能轻松解决FullGC问题,文中实际提到的参数配置不一定适合其他业务场景,在调优自己的项目时还是需要实际试验过才能得出最佳参数配置我也是小白
·2023-08-23 12:56

OceanBase：谁动了我得参数？

然后，将其与“默认值”或“DBA主动刷的调优参数”进行对比，若是“
·2023-08-23 12:24

当小白遇到FullGC | 京东云技术团队

TP99过高过程,介绍了一些排查时思路,线索以及工具的使用,希望能够帮助一些新手在排查问题没有很好的思路时,提供一些思路,让小白也能轻松解决FullGC问题,文中实际提到的参数配置不一定适合其他业务场景,在调优自己的项目时还是需要实际试验过才能得出最佳参数配置我也是小白
·2023-08-23 12:52

存储大师班 | 浅谈 RDMA 与无损网络

魏国武QingStor资深研发工程师近10年企业级软件开发经验，专注于大规模分布式存储研发，擅长集群性能调优、高可用研究及容灾。
QingStor分布式存储·2023-08-23 11:35

第10章 其他调优

10.1编译时计算如果程序中包含不依赖输入的计算，那么这些计算就可以提起在编译时计算而不是在运行时计算。C++14标准提供了constexpr函数，C++17标准通过了ifconstexpr提供编译时分支。10.2编译器内建函数可以强制编译器产生专门的汇编指令而不用编写底层的汇编语言，即编译器内建函数。一定要记住使用编译器内建函数的开发者必须自己处理安全方面的问题。10.3缓存预热一些应用负载中时
高性能计算工程师·2023-08-23 10:56

JVM调优总结 -Xms -Xmx -Xmn -Xss

Xms是指设定程序启动时占用内存大小。一般来讲，大点，程序会启动的快一点，但是也可能会导致机器暂时间变慢。Xmx是指设定程序运行期间最大可占用的内存大小。如果程序运行需要占用更多的内存，超出了这个设置值，就会抛出OutOfMemory异常。Xss是指设定每个线程的堆栈大小。这个就要依据你的程序，看一个线程大约需要占用多少内存，可能会有多少线程同时运行等。以上三个参数的设置都是默认以Byte为单位的
江南云朵·2023-08-23 09:05

java八股文面试[JVM]——JVM参数

参考：JVM学习笔记（一）_卷心菜不卷Iris的博客-CSDN博客堆参数调优入门jdk1.7：jdk1.8：面试题：给定-XmsXmx-Xmn问最大的eden区域是多少M。
小田田_XOW·2023-08-23 09:04

《深入理解JVM虚拟机》读书笔记（一）

此部分包括：Java内存区域与内存溢出异常垃圾收集器与内存分配策略虚拟机性能监控与故障处理工具调优案例分析与实战开记！！！
YummyKang2017·2023-08-23 04:41

[06][03][04] MySQL性能优化总结

我们在第一节课开始的时候讲了,这四节课的目标是为了让大家建立数据库的知识体系,和正确的调优的思路我们说到性能调优,大部分时候想要实现的目标是让我们的查询更快.一个查询的动作又是由很多个环节组成的,每个环节都会消耗时间
悠娜的奶爸·2023-08-22 20:32

第7章 CPU前端优化

接下来讨论如何使用CPU监控特性寻找CPU上运行的代码中可被调优的位置。标准的算法和数据结构在性能敏感型工作负载并不总能表现的很好。例如，在“扁平化”数据结构的冲击下，链表基本上快被放弃了。
高性能计算工程师·2023-08-22 19:10

“深入探索JVM内部机制：解密Java虚拟机“

我们将介绍JVM的架构、内存模型、垃圾收集器、即时编译器等关键组件，以及在代码级别上如何优化和调优JVM的性能。
爱编程的小土豆·2023-08-22 18:17

laravel很慢_记一次 Laravel 应用性能调优经历

在经历了调优过程踩的很多坑之后，我们最终完善并实施了初步的性能测试方案，通过真实的测试数据归纳出了Laravel开发过程中的一些实践技巧。
weixin_39629617·2023-08-22 08:55
上一页 51 52 53 54 55 56 57 58 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他