调优

spark参数调优

目录1小文件优化2、数据量优化2.1谓词下推-输入数据2.2膨胀数据优化-中间数据3、计算逻辑优化3.1创建临时表3.2join优化3.3并行度优化4、数据倾斜优化1小文件优化添加链接描述2、数据量优化2.1谓词下推-输入数据谓词下推就是将查询的过滤条件尽可能下沉到数据源，减少对无关数据的读入。Spark在生成执行计划时会进行谓词下推的优化，对于内连接而言，过滤条件写在join中或者join后并没
wuli玉shell·2023-10-13 14:53

搜索接口搜索“苏州协同创新智能科技时”超时调优

搜索接口搜索“苏州协同创新智能科技时”超时调优背景测试说搜索接口查询搜索“苏州协同创新智能科技时”，报红超时，去kibana捞日志请求出现异常,10940,异常信息：org.apache.catalina.connector.ClientAbortException
峰子大疯子·2023-10-13 13:32

【CANN训练营】Ascend算子开发入门笔记

CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范，最大化匹配用户开发习惯；通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力AI开发者低成本完成算子开发和模型调优部署
JeffDingAI·2023-10-13 13:32

Linux系统管理指南：用户权限、进程管理和网络配置精解

文件压缩和解压缩2.4文件搜索和查找2.5文件传输和共享Linux网络管理3.1网络配置和管理3.2网络连接测试3.3远程管理和访问3.4防火墙管理3.5网络服务管理Linux系统管理4.1系统监控和性能调优
大师兄6668·2023-10-13 12:37

Spark性能优化-资源调优

Spark性能优化分为四个方面：1、开发调优2、资源调优3、数据倾斜调优4、shuffle调优资源调优num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行
Edison_Tu·2023-10-13 10:44

Java架构师数据库设计

目录1导学2数据库设计3数据库设计的基本步骤3.1优秀的数据库设计的基本原则3.1数据库冗余设计4数据库表逻辑关系设计4.1MySQL设计表结构工具4.2数据库建模工具5数据库表结构设计5.1MySQL调优
赵广陆·2023-10-13 08:20

机器学习-概述与贝叶斯算法

K折交叉验证：解决数据量不够大问题，解决参数调优问题。深度学习不用做特征工程，传统机器学习要。损失函数，优化算法。评价指标、混淆矩阵、准确率、精确率、召回率、F1score。
小蒋的技术栈记录·2023-10-13 06:06

mysql8.0参数优化_Mysql 8.0 参数调优

max_connections允许客户端并发连接的最大数量max_connect_errors如果客户端尝试连接的错误数量超过这个参数设置的值interactive_timeout：Mysql关闭交互连接前的等待时间，单位是秒，默认是8小时，建议不要将该参数设置超过24小时，即86400wait_timeout：Mysql关闭非交互连接前的等待时间，单位是秒，默认是8小时，建议不要将该参数设置超过
姜L·2023-10-13 02:19

JVM调优之JVM垃圾收集器

JVM垃圾收集器前言：我们在jvm调优时，主要目的就是让程序能够稳定的运行，减少卡顿，提升用户体验。
枫林啊·2023-10-13 02:27

Docker项目部署lnmp+wordpress

然后对此服务进行相关的性能调优和管理工作。
浮生无·2023-10-13 00:02

一文理清Apache Spark内存管理脉络

理解Spark内存管理的基本原理，有助于更好地开发Spark应用程序和进行性能调优。
weixin_34228387·2023-10-12 23:07

一文带你理清Spark Core调优的方方面面

前言本文的注意事项观看本文前，可以先百度搜索一下Spark程序的十大开发原则看看哦文章虽然很长，可并不是什么枯燥乏味的内容，而且都是面试时的干货（我觉得）可以结合PC端的目录食用，可以直接跳转到你想要的那部分内容图非常的重要，是文章中最有价值的部分。如果不是很重要的图一般不会亲手画，特别是本文2.2.6的图非常重要此文会很大程度上借鉴美团的文章分享内容和Spark官方资料去进行说明，也会结合笔者自
ZYQZXF·2023-10-12 23:58

Apollo课程学习6——控制

Apollo课程学习6——控制学习前言控制概述一、控制的输入输出二、控制模块三、控制的作用四、控制的性能要求基于模型的控制方法一、建模二、系统辨识三、控制器设计1、滤波器设计2、控制器设计四、参数调优1
Albert·2023-10-12 23:15

Golang性能分析工具PProf的使用

用法性能分析基础数据的获取有三种方式：runtime/pprof包net/http/pprof包gotest时添加收集参数性能调优的两个方向:CPU和内存gotoolpprofcpu.pprofgotoolpprofmem.pprofruntime
kuokay·2023-10-12 22:11

【golang】9、pprof 监控与性能调优

文章目录一、程序性能调优二、[runtime/pprof](https://pkg.go.dev/runtime/pprof#Profile)2.1gotestbenchmark的pprof2.2代码的
呆呆的猫·2023-10-12 22:07

go cpu、内存监控、性能分析：PProf

PProfPProf是什么PProf是golang官方提供的性能调优分析工具，用于分析和优化Go程序的性能。PProf通过收集和分析程序的运行时数据来生成性能分析报告。
yzh_1346983557·2023-10-12 22:35

F.3【性能优化模型压缩】在数据增强、蒸馏剪枝下ERNIE3.0分类模型性能提升

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-10-12 21:13

wifi高通驱动之WCNSS_qcom_cfg.ini以及MCS、空间流数的学习和记录

一、WCNSS_qcom_cfg.ini这个文件说是可以调优wifi的带宽，还有MIMO技术AndroidWi-FiMIMO/SISO设置方法（基于高通平台）_广凯的博客-CSDN博客不是太了解，先记录一下
追梦-北极星·2023-10-12 18:44

node.js知识系列（5）-每天了解一点

23.Express.js的ORM经验24.错误处理中间件和HTTP状态码25.事件循环（EventLoop）在异步编程中的作用26.Node.js缓存机制27.Node.js全局对象28.性能分析和调优经验
云边散步·2023-10-12 18:53

神经网络调优 --- batch_size

batchsize和收敛速度/性能的关系一般来说，在合理的范围之内，越大的batch_size使下降方向越准确，震荡越小；小的bath_size引入的随机性更大，单次epoch耗时更久，且震荡大难以收敛，但大的batchsize容易收敛到sharpminimum，而小的batchsize收敛到flatminimum（相当于引入了更多噪声），后者具有更好的泛化能力如果增加了学习率，那么batchsi
Ctrlturtle·2023-10-12 17:32

HBase写性能调优

HBase服务器端优化Region是否太少？优化原理：当前集群中表的Region个数如果小于RegionServer个数，即Num(RegionofTable)
掩流年·2023-10-12 14:37

JVM原理以及性能调优

GC和GCTuningGC的基础知识1.什么是垃圾C语言申请内存：mallocfreeC++：newdeletec/C++手动回收内存Java:new？自动内存回收，编程上简单，系统不容易出错，手动释放内存，容易出两种类型的问题：忘记回收多次回收没有任何引用指向的一个对象或者多个对象（循环引用）2.如何定位垃圾引用计数（ReferenceCount）根可达算法(RootSearching)3.常见
陈先森mansplain·2023-10-12 12:01

一、JVM （Java虚拟机） 入门 （1）

2.1、程序调优2.2、排查程序运行问题2.3、掌握了程序执行的根本和原理2.4、规避写代码时候的一些错误2.5、应付面试2.6、掌握了其他语言的通用机制三、怎么有效的学习JVM？
Daniel521-Spark·2023-10-12 11:45

Netty深入浅出Java网络编程学习笔记（三） 优化篇

目录五、优化1、拓展序列化算法序列化接口枚举实现类修改原编解码器2、参数调优CONNECT_TIMEOUT_MILLIS使用源码分析SO_BACKLOG三次握手与连接队列作用默认值TCP_NODELAYSO_SNDBUF
学徒630·2023-10-12 08:29

spark调优指南 面试专用

1、性能调优一、分配哪些资源executor的数量每个excutor所能分配地cpu数量每个excutor所分配的内存量driver端分配的内存数量二、在哪里分配这些资源在生产环凌晨中，提交spark作业时
半_调_子·2023-10-12 07:42

Java性能优化大纲

前言Java性能调优对于每一个奋战在开发一线的技术人来说，都是老生常谈的问题了。特别当“糙快猛"的开发模式大行其道时，随着系统访问量的增加、代码的臃肿，各种性能问题便会层出不穷。
captainLii·2023-10-12 06:15

面试这样回答Java调优，至少加1000块！！！

点击上方"编程技术圈"关注,星标或置顶一起成长后台回复“大礼包”有惊喜礼包！每日英文Whentheworldsays,"GiveUp!"Hopewhispers,"Tryitonemoretime".当全世界都要我放弃，还是期待有人轻语一声：再试一次。每日掏心话生活中很多东西都是只有一次的，可能跟生命只有一次有关，所以每一次都是那么地至关重要。责编：乐乐 | 来自：ibm.com/develope
程序员小乐·2023-10-12 04:19

深度学习之 9 前馈神经网络2：实现前馈神经网络，模型调优

上一篇我们了解了前馈神经网络的基础概念知识之后，本文来实现前馈神经网络。本文是接着上一篇深度学习之9前馈神经网络基本概念_水w的博客-CSDN博客目录手动实现前馈神经网络（1）数据集介绍➢Fashion-MNIST数据集下载➢批量读取数据，采用torch.utils.data.DataLoader读取小批量数据（2）模型设计（包含一个隐藏层）（3）代码实现➢模型参数定义及初始化➢定义激活函数，我们
水w·2023-10-12 03:41

mysql 性能拐点_性能压测及分析调优实践

【关键导读】文中结合一次重保活动的性能压测需求，详解了整体的性能测试策略及性能分析思路，并在实施过程中有效利用了NPT性能测试平台完成了压测场景设计、执行、业务指标监控、性能指标分析，结合监控找出了性能瓶颈并给出了相应的性能优化解决方案0.背景说明A业务有大促活动，对B业务有依赖，要求B业务对于X场景能够持续稳定支撑1.4wTPS5min，如此要对B业务进行性能压测，完成对应的性能需求。1.性能测
weixin_39569747·2023-10-11 19:15

蚂蚁集团技术专家山丘：性能优化常见压测模型及优缺点

参与支付宝支付链路核心系统，设计、调优应用系统关键能力，高效、稳定保障系统平稳支撑大促。曾历经多年双十一大促，对于性能调优、构建高可用系统有丰富的实战经验。
中生代技术·2023-10-11 19:07

JVM虚拟机面试指南：7个底层原理与性能优化你必须要懂！

每次面试之前都要重新背一遍JVM的一些原理概念性的东西，然而面试官却经常问你在实际项目中如何调优JVM参数，如何解决GC，OOM等问题，一脸懵圈！很多人都是为了面试才接触Java虚拟机。
架构文摘·2023-10-11 17:50

MySQL最全整理！JVM虚拟机原理深入解析

资料一：《MySql学习导图》《MySql核心笔记》《MySql性能调优笔记》由于篇幅有限，相关资料主要以图片的形式展示给大家总结我个人认为，如果你想靠着背面试题来获得心仪的offer，用癞蛤蟆想吃天鹅肉形容完全不过分
Redis知识大全·2023-10-11 17:18

Java后端模拟面试 题集③

1.自我介绍2.JVM调优你具体做了什么3.分布式场景怎么做任务的，SpringTask在分布式场景能用吗，如果我就是要用SpringTask呢4.SpringCloud的全局过滤器与局部过滤器怎么配置
zrc007007·2023-10-11 16:39

TCP/IP(六)TCP的连接管理(三)半连接

一半连接和全连接内容参考小林coding说明：普通'中小'厂不会问的这么'深',这么'细',但是当'性能调优'阶段必须掌握'原理'①内容提纲②概念说明：'半连接'只是一个'中间'状态②图谱二半连接①查看
wzj_110·2023-10-11 14:49

阿里双十一交易核心链路产品--RocketMQ 底层原理及性能调优实战

目录基础入门消息中间件(MQ)的定义为什么要用消息中间件？应用解耦流量削峰数据分发RocketMQ产品发展RocketMQ版本发展阿里内部项目的使用展望未来RocketMQ的物理架构核心概念NameServer生产者(Producer)消费者(Consumer)消息(Message)主机(Broker)物理架构中的整体运转RocketMQ的概念模型核心概念分组(Group)主题(Topic)标签(
Java大厂面试君·2023-10-11 14:10

中间件-Kafka学习笔记

目录Kafka概述Kafka安装Linux集群版Kafka命令行操作Kafka生产者Kafka消费者KafkaAPI操作ProducerAPIConsumerAPIKafka监控Kafka调优Kafka
笑一笑、·2023-10-11 07:05

设计模式总结干货2

性能调优、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级架构进阶群：180705916，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家另外还可以通过反射简洁生产过程
高级java架构师·2023-10-11 06:51

Linux性能优化从入门到实战：16 文件系统篇：总结磁盘I/O指标/工具、问题定位和调优...

（1）磁盘I/O性能指标文件系统和磁盘I/O指标对应的工具文件系统和磁盘I/O工具对应的指标（2）磁盘I/O问题定位分析思路（3）I/O性能优化思路Step1：首先采用I/O基准测试工具得到文件系统或磁盘I/O的极限性能，作为优化的目标。Step2：从应用程序、文件系统以及磁盘角度，分别对I/O性能进行优化。1文件系统或磁盘I/O的基准测试工具：fio(FlexibleI/OTester)#Ubu
ak18888·2023-10-11 04:31

HBase生产调优建议（读写分离、RSgroup、流量控制）

HBase生产环境中的实践，包括资源隔离、参数配置、性能优化等方面，部分内容参考《HBase原理与实践》（非常建议大家好好读一读，一定会大有收获），以及笔者的实战经验。HBase业务资源隔离1.读写分离场景RegionServer默认情况下只提供一个请求队列给所有业务使用，导致部分延迟较高的请求影响其他对延迟敏感的业务。针对这种情况，HBase提供了读写队列隔离方案。我们知道，HBase有三种典型
奋斗者ing·2023-10-11 03:40

性能优化-中间件tomcat调优

Tomcat作用主要有三个：管理Servlet应用的生命周期。Tomcat可以管理和控制Servlet应用程序的启动、停止、暂停和恢复等生命周期过程，确保Servlet应用的稳定运行和有序管理。把客户端请求的url映射到对应的servlet。Tomcat作为一个Web服务器，可以将客户端发送的HTTP请求URL映射到相应的Servlet程序，从而将请求转发给Servlet进行处理。与Servlet
东方不败之鸭梨的测试笔记·2023-10-10 23:41

Tomcat 线程模型&性能调优

LinuxI/O模型详解I/O要解决什么问题I/O：在计算机内存与外部设备之间拷贝数据的过程。程序通过CPU向外部设备发出读指令，数据从外部设备拷贝至内存需要一段时间，这段时间CPU就没事情做了，程序就会两种选择：让出CPU资源，让其干其他事情继续让CPU不停地查询数据是否拷贝完成到底采取何种选择就是I/O模型需要解决的事情了。以网络数据读取为例来分析，会涉及两个对象，一个是调用这个I/O操作的用
xwj1992930·2023-10-10 20:11

JVM调优实战及常量池详解

阿里巴巴Arthas详解Arthas是Alibaba在2018年9月开源的Java诊断工具。支持JDK6+，采用命令行交互模式，可以方便的定位和诊断线上程序运行问题。Arthas官方文档十分详细，详见：https://alibaba.github.io/arthasArthas使用场景得益于Arthas强大且丰富的功能，让Arthas能做的事情超乎想象。下面仅仅列举几项常见的使用情况，更多的使用场
xwj1992930·2023-10-10 20:41

tomcat9调优3：Tomcat类加载机制及其热部署热加载原理剖析

文章目录Tomcat类加载机制及其热部署热加载原理剖析Tomcat类加载机制Tomcat热加载和热部署Tomcat类加载机制及其热部署热加载原理剖析Tomcat类加载机制Java中有3个类加载器，另外你也可以自定义类加载器BootstrapClassLoader是启动类加载器，由C语言实现，用来加载JVM启动时所需要的核心类，比如rt.jar。ExtClassLoader是扩展类加载器，用来加载\
天黑请闭眼丶风·2023-10-10 19:23

Roberta: Bert调优

最近要开始使用Transformer去做一些事情了，特地把与此相关的知识点记录下来，构建相关的、完整的知识结构体系。以下是要写的文章，文章大部分都发布在公众号【雨石记】上，欢迎关注公众号获取最新文章。Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Bert与模型压缩Bert与模型蒸馏：PKD和DistillBertALBert:轻量
张雨石·2023-10-10 19:40

spark 常用配置参数调优

spark参数调优(spark.sql.hive.metastore.version,1.2.1)三.ERROR问题1：ERRORYarnScheduler:Lostexecutor53onnode100p32
kieron_wei·2023-10-10 17:40

ConPET: Continual Parameter-Efficient Tuning for Large Language Models

ConPET:大型语言模型的连续参数高效调优摘要1引言2相关工作3提出的方法4实验5结论与未来工作摘要持续学习需要不断调整模型以适应新出现的任务，同时尽量减少对旧任务的灾难性遗忘。
UnknownBody·2023-10-10 12:14

MySQL性能调优

Java全栈，计算机系列（火速更新中）格言：种一棵树最好的时间是十年前，其次是现在动动小手，点个关注不迷路，感谢宝子们一键三连目录课程名：数据库内容/作用：知识点/设计/实验/作业/练习学习：MySQL性能调优
程序员老茶·2023-10-10 09:53

explain ref_explain的属性详解与提速百倍的优化示例

EXPLAIN命令虽然没有提供任何优化建议，但它能够提供重要的信息有助于调优决策。EXPLAIN只能解释SELECT操作，其他操作要重写为SELECT后查看执行计划。
weixin_39704314·2023-10-10 03:31

我记得

我记得当我看到你第一遍第二遍练习《听我说，谢谢你》时，看着你满脸的笑容和协调优美的动作，我的心里温暖而感动，似乎歌词是为我而唱舞蹈是为我而跳；当你继续边唱边跳有时还有错误动作而你自觉因为错误給自己增加一次练习时
芷萱5030·2023-10-10 02:47

7.MySQL的性能优化

我们说到性能调优，大部分时候想要实现的目标是让我们的查询更快。一个查询的动作又是由很多个环节组成的，每个环节都会消耗时间，我在mysql专题讲SQL语句的执行流程的时候已经分析过了。
三个石头_260a·2023-10-10 02:12
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他