hadoop配置调优

文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《计及源荷不确定性的综合能源系统日前-日内协调优化调度》

具体已有的论文与论文源程序可翻阅本博主的专栏栏目《论文与完整程序》这个标题指的是一个综合能源系统（包括多种能源资源和负荷需求），在考虑到源（能源供给）和荷（能源需求）的不确定性的情况下，进行日前和日内的协调优化调度
电网论文源程序·2024-01-04 07:11

50 个 Redis 必备知识总结

本文包括：30个Redis基础知识；10个Redis架构和运维必懂的知识；Redis调优、监控知识和10个具体应用难点。30个Redis基础知识1、Redis支持哪几种数据类型？
一棵树～·2024-01-04 00:22

增量预训练经验积累（2）

1、并行策略选择1.1并行方式验证和调优这个和集群很相关例如我目前在16台A800集群（每台机器8张80G显卡）上测的最佳3D并行策略的具体partition配置就和L40s集群不一样（和集群有关，和具体的模型也有关
GUANYX~·2024-01-03 22:24

JVM常用参数配置

jvm实际可配参数已经有1000多个了，其中GC和内存配置就多达600多个，你可以看出JVM问题排查和性能调优重点领域还是GC和内存。
程序无涯海·2024-01-03 21:08

一文说清Elasticsearch的核心概念

核心概念集群（Cluster）分片（Shards）副本（Replicas）映射（Mapping）ES的基本使用安装使用集群健康状态ES机制原理写索引原理存储原理性能优化存储设备内部索引优化调整配置参数JVM调优本文小结概述本篇主要是做一个总结
wh柒八九·2024-01-03 16:51

单机Nginx性能优化

静态文件的缓存优化了网页加载，超时机制会让Client与Server的响应不会长时间阻塞，GZIP压缩提升IO效率、减少我们发送的数据量，限流来预防DOS攻击，TCP参数调优提升传输效率。
JacksonY·2024-01-03 15:52

linux参数调优

查看文件句柄数ulimit-a临时修改文件句柄数（退出shell将重置）ulimit-n65535永久修改文件句柄数使用root账号vi/etc/security/limits.conf末尾新增以下内容*softnofile65535*hardnofile65535*softnproc65535*hardnproc65535修改用户可用最大进程数使用root账号vi/etc/security/li
芸尚非·2024-01-03 13:44

MicroPython性能调优

MicroPython开发高性能代码一般遵循以下阶段：设计时就要考虑性能优化代码及性能调试性能调优的步骤：确定代码中最慢的部分提高Python代码执行效率使用本机代码发射器使用viper代码发射器针对硬件进行优化在设计时就考虑性能问题性能问题应该一开始就应该考虑
原子星·2024-01-03 09:14

聊一下JVM调优

闲聊一下：这个JVM相信大家都了解过但是很少用这个东西但是面试一些高级架构师又是必问的一些问题之前一直不了解这个东西感觉就是面试造火箭实际拧螺丝用于筛选人才毕业这么多年也是很少接触这些就大学的时候学过简单了解过一些底层，找工作面试倒是背过一些相关的甲骨文。项目背景：先简单说一下写这个的原因，我目前做的这个项目有一个备份还原的功能，备份就是把整个数据库备份一下还原就是执行一下这个sql文件，其实这个
Owen_Number_One·2024-01-03 08:10

独一无二的「MySQL调优金字塔」相信也许你拥有了它，你就很可能拥有了全世界。

开发俏皮话【让我996不算啥，我只怕测试也996给我提bug！】技术金字塔本篇文章会按照自上而下以及自下而上的两种方向去“游览”【MySQL技术金字塔】，两个方向分别是从成本出发的（潜台词就是便宜越好，照顾公司成本哦！），本章内容，可能有点多，希望大家慢慢消化，实在不行来片“吗丁啉”，哈哈，开玩笑了！技术梗概主要技术分布为6大部分，如下图金子图所示：image研发成本角度从软件的【研发成本】的角度
洛神灬殇·2024-01-03 06:25

JVM的垃圾回收机制详解和调优

JVM的垃圾回收机制详解和调优1.JVM的gc概述gc即垃圾收集机制是指jvm用于释放那些不再使用的对象所占用的内存。java语言并不要求jvm有gc，也没有规定gc如何工作。
裘马轻狂大帅·2024-01-03 03:20

Spark源码——Shuffle过程

shuffle很重要，调优的重点、性能的杀手未优化的shuffle：(图片来源：北风网）未优化的shuffle有两个特点：spark早期版本中，shuffleMapTask将所有数据写入bucket缓存后
阿松0311·2024-01-03 02:59

Shuffle Read Time调优

先看第一张Spark任务执行时间轴的图：红色部分是任务反序列化时间，黄色部分是shuffleread时间，绿色是实际计算任务执行时间，这里我们先不讨论任务反序列化时间长，下一篇文章说任务反序列化时间长怎么解决1、首先shufflereadtime是什么？shuffle发生在宽依赖，如repartition、groupBy、reduceByKey等宽依赖算子操作中，在这些操作中会对Dataset数据
初心江湖路·2024-01-03 02:59

JVM老年代内存优化

参考：老年代持续增长，无法触发mixedgc的解决方案_java老年代一直增长-CSDN博客java老年代越来越大jvm老年代爆满_mob64ca13f63f2c的技术博客_51CTO博客【JVM调优】
jey_4·2024-01-03 00:51

Linux Page Cache调优在Kafka中的应用

本文首发于vivo互联网技术微信公众号链接：https://mp.weixin.qq.com/s/MaeXn-kmgLUah78brglFkg作者：YangYijun本文主要描述LinuxPageCache优化的背景、PageCache的基本概念、列举之前针对Kafka的IO性能瓶颈采取的一些解决方案、如何进行PageCache相关参数调整以及性能优化前后效果对比。一、优化背景当业务快速增长，每天
vivo互联网技术·2024-01-02 22:05

11-交叉验证与网格搜索对k-近邻算法调优

交叉验证目的：为了让被评估的模型更加准确可信数据分类训练集和测试集，再将训练集分为训练和验证集。eg：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试（每次换一组作为验证集，将之前的验证当作之后的一个训练集），每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。从而，所有数据都即作为过训练集，也作为过验证集。交叉验证一般是和网格搜索一起使用的网格搜索也
jxvl假装·2024-01-02 21:33

地震去噪新探索（二）——无监督卷积神经网络调优实战

01屡败屡战的调优之旅卷积神经网络不是更能学习到特征细节，性能更好吗？为啥我做出来
科技州与数据州·2024-01-02 19:12

Docker 实践之旅：项目迁移与高效部署

迁移关键服务5.2定制化打包与快速部署6项目实践收获6.1简化了部署流程6.2节约了部署成本7克服难点和经验分享7.1版本兼容性问题7.2网络配置与通信问题7.3Dockerfile编写难题7.4资源限制和性能调优
cooldream2009·2024-01-02 19:10

【JVM】一文掌握JVM垃圾回收机制

JVM调优是一个听起来很可怕，实际上很简单的事。
Henry游戏开发·2024-01-02 18:48

JVM调优之探索CMS和G1的物理内存归还机制

前言：公司有一个资产统计系统，使用频率很低，但是要求在使用时查询速度快，因此想到做一些缓存放在内存中，在长时间没有使用，就持久化到磁盘中，并对垃圾进行回收，归还物理内存给操作系统，从而节省宝贵资源给其它业务系统。当我做好缓存时，却发现了一个棘手的问题，通过程序释放资源并通知GC回收资源后，堆内存的已用内存减少了，空闲内存增加了，可是进程占用系统内存却没有减少。查阅了很多资料，也尝试过很多次，都没有
熊峰的博客·2024-01-02 17:57

每日一诗

流过乱石时水声喧腾，而流经松林时却没有声息与松林相映色调优美。水波荡漾，浮着菱角和荇菜，清澈的溪水侧映着芦苇。我的心一向闲静，就像这淡泊的溪水
迷路她·2024-01-02 13:42

跟着腾讯T4学架构：微服务+MySQL+Nginx+Redis+容器化+虚拟机

第1章走近Java第2章Java内存区域与内存溢出异常第3章垃圾收集器与内存分配策略第4章虚拟机性能监控与故障处理工具第5章调优案例分析与实战第6章类文件结构第7章虚拟机类加载机制第8章虚拟机字节码执行引擎第
写代码的珏秒秒·2024-01-02 13:33

腾讯 CSIG 社招 2023 一年工作经验 Java转GO（一、二）面

（线程池优化，批处理优化、设计模式优化、性能测试、压力测试、GC优化）线程池怎么调优的？线程池如何分配线程？如果有50000数据需要批处理，你是怎么分配线程的？
鬼客·2024-01-02 13:56

show engine innodb status解读

它输出就是一个单独的字符串，没有行和列，内容分为很多小段，每一段对应innodb存储引擎不同部分的信息，其中有一些信息对于innodb开发者来说非常有用，但是，许多信息，如果你尝试去理解，并且应用到高性能innodb调优的时候
果冉多·2024-01-02 13:11

【Hadoop】集群配置之主要配置文件（hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml...）

Hadoop配置文件模板core-site.xmlhadoop-env.shhdfs-site.xmlyarn-env-shyarn-site.xmlmapred-site.xmlslavesHadoop
不怕娜·2024-01-02 10:27

深入浅出内存管理：空间分配及逃逸分析

1.引言内存管理，是开发者在程序编写和调优的过程中不可绕开的话题，也是走向资深程序员必须要了解的计算机知识。
xin猿意码·2024-01-02 06:46

性能测试总结-Jmeter代码使用

时间计划，人力投入等3.测试数据准备，测试账号（预估并发量），设计测试脚本（参数化，表达式，断言，控制器）4.运行测试脚本，数据监听（响应时间，tps，活动线程），结果分析（判断性能瓶颈）5：基本性能瓶颈做调优
落落521520·2024-01-01 23:54

『互联网架构』软件架构-解密电商系统-秒杀消息队列异步下单（79）

原文链接地址：『互联网架构』软件架构-解密电商系统-秒杀消息队列异步下单（79）上几次主要说了高并发大流量项目所涉及到的技术点和技术方案，调优需要注意的一些参数，秒杀订单接口缓存的概念，通过redis的方式
IT人故事会·2024-01-01 22:38

Docker容器中配置和启用Java Flight Recorder（JFR）

1.简介和背景在Java应用程序性能调优中，JavaFlightRecorder（JFR）是一个非常强大的工具。它能够实时收集Java应用程序的运行数据，提供有关性能问题的深入见解。
ivwdcwso·2024-01-01 16:42

京东空调优惠券在哪领？京东优惠券平台哪个好？京东超市优惠券哪里领？

京东空调优惠券在哪领？京东优惠券平台哪个好？京东超市优惠券哪里领？京东官方优惠券返利:京东官方优惠券返利，京东内部优惠券如今，越来越多的人选择通过互联网购物。
柚子导师·2024-01-01 08:11

Hive生产调优介绍

1.Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT*FROMemployees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是mi
tuoluzhe8521·2024-01-01 07:58

JVM调优

调优设置具体解析一.堆大小设置JVM中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。
魏宁_david·2024-01-01 05:36

TiDB SQL调优案例TiFlash

背景早上收到某系统的告警tidb节点挂掉无法访问，情况十万火急。登录中控机查了一下display信息，4个TiDB、Prometheus、Grafana全挂了，某台机器hang死无法连接，经过快速重启后集群恢复，经排查后是昨天上线的某个SQL导致频繁OOM。于是开始亡羊补牢，来一波近期慢SQL巡检#手动狗头#。。。随便找了一个出现频率比较高的慢SQL，经过优化后竟然性能提升了1500倍以上，感觉有
!chen·2024-01-01 01:13

Java程序员成神之路

栈、方法区、直接内存、堆和栈区别Java内存模型内存可见性、重排序、顺序一致性、volatile、锁、final垃圾回收内存分配策略、垃圾收集器（G1）、GC算法、GC参数、对象存活的判定JVM参数及调优
程序员xysam·2024-01-01 00:33

D.3 基于ERNIR3.0文本分类以CAIL2018-SMALL数据集罪名预测任务为例【多标签】

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-12-31 23:22

如何制定 Java 性能调优标准？

Java性能调优全攻略来啦！我有一个朋友，有一次他跟我说，他们公司的系统从来没有经过性能调优，功能测试完成后就上线了，线上也没有出现过什么性能问题呀，那为什么很多系统都要去做性能调优呢？
java菜·2023-12-31 22:38

（转）Java性能调优：JMC性能分析

Java性能调优作为大型分布式系统提供高性能服务的必修课，其重要性不言而喻。好的分析工具能起到事半功倍的效果，利用分析利器JMC、JFR，可以实现性能问题的准确定位。
_王子_·2023-12-31 21:57

【转载】深度学习—常见问题总结（调优方法）

https://www.cnblogs.com/eilearn/p/9044543.html1、为什么要用神经网络？对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多，学习参数过多，从而复杂度太高。在神经网络中引入激活函数一个重要的原因就是为了引入非线性。2、CNN基本问题层级结构：输入层->卷积层->激活层->池化层->卷积层->激活层->池化层->全连接层····
dopami·2023-12-31 19:52

一篇文章搞懂线程池

线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以处进行统一的分配，调优和监控。线程池的实现方式Runnable：实现Runnable接口的类将
荆敖晨·2023-12-31 19:43

mysql压力测试原因与mysql压力测试的方法

通过模拟多个并发用户或高负载场景，可以发现数据库的瓶颈和性能问题，进而采取相应的措施进行调优。
不爱学习的啊Biao·2023-12-31 14:18

56.常用shell之 free - 查看内存使用情况 的用法及衍生用法

这个命令对于监控系统资源和性能调优非常有用。
三水青一人尤·2023-12-31 13:09

优化你的Java代码：性能调优技巧

Java是一种高级编程语言，随着云计算、大数据、人工智能等新一代计算技术的普及和发展，Java编程在企业级应用和数据处理方面的重要性越来越突出。优化Java代码是提高程序性能、加快运行速度的关键所在。本文将带您了解几种Java优化的技巧。使用基本类型insteadof包装类型Java中的基本类型（如int、float等）和包装类型（如Integer、Float等）存在差异。基本类型的数据直接存储在
naer_chongya·2023-12-31 12:56

说说你是如何进行mysql调优的

适当的情况下利用数据冗余：为了提高查询效率允许反三范式的出现字段大小的优化说到调优，从我们mysql表的初期
宇泽希·2023-12-31 08:41

竞赛保研 基于机器学习与大数据的糖尿病预测

数据导入处理3数据可视化分析4特征选择4.1通过相关性进行筛选4.2多重共线性4.3RFE（递归特征消除法）4.4正则化5机器学习模型建立与评价5.1评价方式的选择5.2模型的建立与评价5.3模型参数调优
iuerfee·2023-12-31 06:05

MySQL show profile

是MySQL提供的可以用来分析当前会话中语句执行的资源消耗情况的工具，可以用于sql调优的测量。默认是处于关闭状态的，会保存最近15次的运行结果。
贪挽懒月·2023-12-31 06:16

Java面试知识点总结宝典助你通关！成功入职字节跳动

synchronized和ReentrantLock相关的底层实现线程池的底层实现以及常见的参数数据结构基本都问了一遍：链表、队列等Java内存模型：常问的JVM分代模型，以及JDK1.8后的区别，最后还问了JVM相关的调优参数分布式锁的实现比较技术一面题目自我介绍擅长哪方面的技术
阿里MySQL面经·2023-12-31 05:02

ElasticSearch 性能调优

ElasticSearch性能调优“ELK”是ElasticSearch、Logstash、Kibana三门技术的简称。
风是外衣衣衣·2023-12-30 22:21

ElasticSearch读写底层原理及性能调优

##一，读写底层原理Elasticsearch写人数据的过程1）客户端选择一个node发送请求过去，这个node就是coordinatingnode（协调节点）2）coordinatingnode，对document进行路由，将请求转发给对应的node（有primaryshard）3）实际的node上的primaryshard处理请求，然后将数据同步到replicanode4）coordinati
Mumunu-·2023-12-30 22:19

希尔排序：排序算法中的调优大师

希尔排序：排序算法中的调优大师大家好，我是免费搭建查券返利机器人赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天，让我们一同探讨一个经典而高效的排序算法——希尔排序。
虫小宝·2023-12-30 20:06

【用户增长】引言：浅析游戏运营用户增长概念

包含不同品类核心打法及长线运营思路l海外运营：海外市场分析、区域用户理解、发行流程介绍、发行案例复盘二、本地化l产品引入：产品筛选标准、产品引入流程及指导、产品分析及拆解、谈判及沟通技巧(合研/自研)l产品调优
数字化转型2025·2023-12-30 15:27
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他