hadoop配置调优

MySQL调优

MySQL调优金字塔很明显从图上可以看出，越往上走，难度越来越高，收益却是越来越小的。
zy_crazy_code·2023-06-19 10:27

大数据基础

、HTML、CSS、JavaScript操作系统：Linux编程语言：Java：IO模型、网络编程、多线程、内存管理机制等基础知识|熟悉缓存、消息队列、索引查询|高并发、高负载、高可用系统的设计开发及调优
彼得潘多·2023-06-19 09:02

JMH实战

引言性能调优一直是工作中很重要的必会技能，如何知晓自己写代码的优劣呢？当然是看代码运行时间，时间越短，说明代码越优。
demon7552003·2023-06-19 07:02

Go代码调优利器-火焰图

转自：https://lihaoquan.me/2017/1/1/Profiling-and-Optimizing-Go-using-go-torch.htmlGo代码调优利器-火焰图go调优前言作为DevOps
云逸_·2023-06-19 07:20

全国大数据与计算智能挑战赛：面向低资源的命名实体识别基线方案，排名13/64，组织单位：国防科技大学系统工程学院（大数据与决策实验室）

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-06-18 23:56

计算机存储层次简析

介绍完这几个常见的存储层级组件之后会介绍关于转译后备缓冲区，页面缓存，缓冲区缓存和Linux一些不常见也几乎不使用的调优参数。存储组件介绍首先我们来看看不同存储层次的介绍，包括上面
·2023-06-18 23:35

京东太狠：100W数据去重，用distinct还是group by，说说理由？

背景说明：Mysql调优，是大家日常常见的调优工作。所以，Mysql调优是一个非常、非常核心的面试知识点。在40岁老架构师尼恩的读者社群(50+)中，其相关面试题是一个非常、非常高频的交流话题。
40岁资深老架构师尼恩·2023-06-18 20:50

MySQL数据库调优————JOIN优化

JOIN的种类LEFTJOINSELECTFROMTable_AALEFTJOINTable_BBONA.Key=B.Key求的是A所有的数据以及A与B的交集RIGHTJOINSELECTFROMTable_AARIGHTJOINTable_BBONA.Key=B.Key求的是B所有的数据以及A和B的交集INNERJOINSELECTFROMTable_AAINNERJOINTable_BBONA
努力的小强·2023-06-18 18:58

Nginx调优

Nginx调优Nginx进程[root@wzy~]#psaux|grepnginx|grep-v"grep"其中，master是监控进程，也叫主进程，worker是工作进程，还有cache相关进程，关系如图
张狂年少·2023-06-18 18:21

【八】spring boot集成数据库连接池druid

springboot集成数据库连接池druid最近在进行程序优化的过程中发现程序瓶颈在数据库连接这块，于是开始研究怎么对数据库连接池参数进行调优，在这个过程中发现很多人使用druid很不规范，经常会出现导入的包和配置参数不对应的情况
张狂年少·2023-06-18 18:48

性能测试基础笔试题

1.性能测试应用领域有哪些能力验证：乙方通过性能测试向甲方证明自己所陈述的能力，出具报告瓶颈分析：能力验证过程中发现性能瓶颈，找到性能问题性能调优：针对发现的性能瓶颈和问题做调优容量规划：着眼于未来。
虚幻如影·2023-06-18 17:19

Tomcat的优化

优化主要包括三方面，分别为操作系统优化（内核参数优化），Tomcat配置文件参数优化，Java虚拟机（JVM）调优。Tomca
guyunbingyb·2023-06-18 15:48

“中国法研杯”司法人工智能挑战赛：基于UTC的多标签/层次分类小样本文本应用，Macro F1提升13%+

“中国法研杯”司法人工智能挑战赛：基于UTC的多标签/层次分类小样本文本应用，MacroF1提升13%+相关文章推荐：小样本文本分类应用：基于UTC的医疗意图多分类，训练调优部署一条龙：本项目主要完成基于
·2023-06-18 13:33

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

然而，随着系统的复杂性增加，用户在日常使用中往往需要面临诸如复杂的数据开发报错分析、任务运行报错处理、任务运行调优等疑难问题。然而，由于错误日志分析透出和全链路异常诊断能力方面存在一定的不足
Apache Flink·2023-06-18 12:08

一个程序员的成长之路

基本类型与包装类equals与==的区别集合比较与常用集合原理反射机制与真实使用场景动态代理与使用范例异常类加载机制与热加载实现与反编译内存模型与threadLocal与syncronizejvm的GC与调优处理
weixin_35713159·2023-06-18 09:52

【JVM】优化参数+优化工具

【JVM】优化参数+优化工具（一）上线前评估的时候JVM设置合适的参数【1】JVM参数【2】典型JVM参数配置参考【3】内存结构分析（二）什么时候需要JVM调优？具体的指标？
孫治AllenSun·2023-06-18 09:09

JVM底层原理分析 + 性能调优

基本概念——JVM位置JVM运行在操作系统之上的，与硬件没有直接的交互——体系结构1.类装载器ClassLoader负责加载class文件，class文件在文件开头有特定的文件标示（cafebabe），将class文件字节码内容加载到内存中，并将这些内容转换成方法区中的运行时数据结构并且ClassLoader只负责class文件的加载，至于它是否可以运行，则由ExecutionEngine决定并不
程序少年不秃头·2023-06-18 09:38

VisualVM安装VisualGC插件

VisualVM安装VisualGC插件前言在我们安装的JDK中，提供了一个很棒的JVM调优工具，也就是JavaVisualVM，通过它我们能够看到很多关于我们Java程序的信息，比如查看Eden，SurvivorFrom
zikLDream·2023-06-18 09:36

JVM参数配置位置+JVM参数详细配置+Visual GC 插件安装及使用，jvm分析

调优的目的是什么呢？1.就是让系统更加的丝滑，让用户体验变得更好。2.提升系统的性能，提高效率，充分利用jvm内存。
MyBlogHiHi·2023-06-18 09:03

mysql学习经验&学习资料下载

首先概览下mysql的知识体系：基础：sql语句表结构设计调优：索引、慢查询优化配置参数调优核心原理：InnoDb存储引擎（包括隔离级别
wanlerong·2023-06-18 08:57

65-MySQL其它调优策略-优化MySQL服务器

一、优化服务器硬件服务器的硬件性能直接决定着MySQL数据库的性能。硬件的性能瓶颈直接决定MySQL数据库的运行速度和效率。针对性能瓶颈提高硬件配置，可以提高MySQL数据库查询、更新的速度1.1、配置较大的内存足够大的内存是提高MySQL数据库性能的方法之一。内存的速度比磁盘I/O块得多，可以通过增加系统的缓冲区容量使数据在内存中停留的时间更长，以减少磁盘I/O1.2、配置高速磁盘系统用来减少读
紫荆秋雪_文·2023-06-18 08:45

瑞萨e2studio(24)----电容触摸配置(1)

瑞萨e2studio.24--电容触摸配置1概述视频教学csdn课程样品申请完整代码下载硬件准备新建工程工程模板保存工程路径芯片配置工程模板选择时钟配置添加TOUCH驱动配置CapTouch开启调优界面启动
记帖·2023-06-18 08:47

Hadoop的shuffle过程及调优

MapReduce中的Shuffle发生在map输出到reduce输入的过程，它的中文解释是“洗牌”，顾名思义该过程涉及数据的重新分配，主要分为两部分：map任务输出的数据分组、排序，写入本地磁盘。reduce任务拉取排序。由于该过程涉及排序、磁盘IO、以及网络IO等消耗资源和CPU比较大的操作，因此该过程是重点优化的一个地方，因此也是大数据面试中经常会被重点考察的地方。本文力求通俗、简单地将Sh
RainTicking·2023-06-18 06:30

使用Filebeat和AWS CloudWatch Logs将EC2上的Tomcat的access_log传送到ELasticsearch中并使用ILM完成日志的自动管理

日志数据配置ILM性能调优配置Filebat的内部队列大小如何验证queue.mem是合理且正确的？配置output部分的worker和bulk_max_size测试结果
JackSparrow414·2023-06-18 04:23

怎么入手性能测试，重点以及各项流程

之前在性能测试学习路线里，提到过《软件性能测试、分析与调优实践之路》这本书。昨天看到之前自己记的读书笔记，整理一下发出来，希望对读者有所帮助。
测试猿廖廖·2023-06-18 03:06

服务日志性能调优，由log引出的巨坑

只有被线上服务问题毒打过的人才明白日志有多重要！谁赞成，谁反对？如果你深有同感，那恭喜你是个社会人了：）日志对程序的重要性不言而喻，轻巧、简单、无需费脑，程序代码中随处可见，帮助我们排查定位一个有一个问题问题。但看似不起眼的日志，却隐藏着各式各样的“坑”，如果使用不当，不仅不能帮助我们，反而会成为服务“杀手”。如果你想学习jmeter性能测试，我这边给你推荐一套视频，这个视频可以说是B站播放全网第
测试猿廖廖·2023-06-18 03:05

怎么入手性能测试，重点以及各项流程

之前在性能测试学习路线里，提到过《软件性能测试、分析与调优实践之路》这本书。昨天看到之前自己记的读书笔记，整理一下发出来，希望对读者有所帮助。
测试猿廖廖·2023-06-18 03:35

深度学习基础入门篇[8]：：计算机视觉与卷积神经网络、卷积模型CNN综述、池化讲解、CNN参数计算

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-18 02:52

mysql调优

索引的本质说明：索引是帮助Mysql高效获取数据的排好序的数据结构索引数据结构.二叉树.红黑树.Hash表.B-Tree.B+Tree1.二叉树数据结构说明：特性：右边的子元素大于父元素，左边的子元素小于父元素。但是，注意mysql底层并不是用二叉树存储。2.红黑树数据结构说明：本质是一种平衡二叉树，比二叉树效率快很多。缺点：当存储大量数据时，树的高度没法控制3.Hash表说明：不管数据库表的数据
·2023-06-18 01:36

Mysql调优

schema与数据类型优化整数类型：可以使用的几种整数类型：TINYINT，SMALLINT，MEDIUMINT，INT，BIGINT分别使用8，16，24，32，64位存储空间。尽量使用满足需求的最小数据类型。整型比字符操作代价更低，因为字符集和校对规则是字符比较比整型比较更复杂。字符和字符串类型char是定长，varchar是可变长度，varhcar虽然比char节省空间，但是如果一个varc
·2023-06-18 01:36

AI算法创新赛-人车目标检测竞赛总结05

队伍：AI00000431.算法方案由于赛题同时要求速度和精度，所以我们优先考虑小模型，在保证模型速度的同时通过模型调优稳定提升模型精度。
算能开发者社区·2023-06-18 01:24

AI算法创新赛-人车目标检测竞赛总结03

团队由三人组成，队长何正海主要负责整体方案设计与模型的量化工作，余洋主要负责模型训练与调优，段富治主要负责数据分析与处理。摘要基于TPU平台对真实场景下采集的行人和车辆图片进行目标检测与识别。
算能开发者社区·2023-06-18 01:54

记一次 Istio 调优 Part 2 —— 饥饿的线程与 SO_REUSEPORT

Gravity-Glue-6-Credit-Michael-Grab-900x580.jpg图片来自：https://getboulder.com/boulder-artist-rocks-the-world/引话说，在很长一段时间，程序员依赖了摩尔定律。而在它到头之前，程序员找到了另一个救命稻草：并行/并发/最终一致。而到了今天，不是CloudNative/MicroService都不好意思打招
MarkZhu·2023-06-18 01:52

MySql Explain 调优踩坑

事件背景生产环境发现有查询超时，通过异常日志获取查询sql并进行排查，explain后发现该sql使用了filesort，导致查询效率问题查询sql&索引情况查询sqlselect*fromtablewherecolumn1='xxx'andcolumn2in('a','b','c')orderbyidasclimit100现有索引主键索引联合索引column1，column3优化过程经过expl
·2023-06-18 01:02

Doris开发手记4：倍速性能提升，向量化导入的性能调优实践

正好有Doris社区的小伙伴吐槽向量化的导入性能表现并不是很理想，就借这个机会对之前开发的向量化导入的工作进行了性能调优，取得了不错的优化效果。
LeeHappen·2023-06-18 01:23

JVM基础总结

线程共享堆内存溢出【OutOfMemoryError：Javaheapspace】堆内存诊断五、方法区【MethodArea】线程共享运行时常量池StringTable特性【面试常考】StringTable性能调优直接内存直
Bwy_1004·2023-06-17 23:08

2023中国高校计算机大数据挑战赛：论文学科分类baseline|清华主办

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能·2023-06-17 23:08

深度学习应用篇-计算机视觉-语义分割综述[5]：FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-17 23:36

Java虚拟机（JVM）调优

对Java虚拟机（JVM）进行调优可以提高Java应用程序的性能和吞吐量。以下是一些常见的JVM调优技巧：堆内存设置：通过调整堆内存的大小来优化JVM性能。
Nancy_0802·2023-06-17 20:41

mysql数据库调优 面试_面试-MySQL篇：数据库调优

今天谈谈MySQL的调优问题，比较偏项目实战。
weixin_39564831·2023-06-17 14:02

MySQL调优系列（七）——分区分表

一、分区表是什么，用在哪分区表是什么呢？我们举个场景：数据量非常非常大的时候，一张表存储了上亿条数据，而且只有一部分数据或者是最近的数据经常使用（热点数据）。这个时候，同一张表的数据在物理层面都是存放在一起的，管理上十分不方便。分区则可以将一张表从物理层面根据一定的规则将数据划分为多个分区，多个分区可以单独管理，甚至存放在不同的磁盘/文件系统上，提升效率。简单来说，分而治之。而且其和分库分表不同，
李王家的翠花·2023-06-17 14:00

大厂面试题：如何对你的项目进行JVM调优

大家好，我是路人zhang，这是Java虚拟机面试八股文的最后一篇了，这两天会整理到面试手册的PDF中，应群友要求，下一篇是Spring面试八股文，在公众号路人zhang后台回复面试手册，可获得精心整理的PDF版，大家多帮忙转发下鸭程序员面试手册在线版：www.mianshi.online推荐阅读：JVM面试八股文第三弹（完结）Java虚拟机面试八股文第二弹面试八股文系列程序人生系列文章目录：虚拟
路人zhang·2023-06-17 12:43

presto内存管理及调优

2019独角兽企业重金招聘Python工程师标准>>>内存池Presto有三种内存池，分别为GENERAL_POOL、RESERVED_POOL、SYSTEM_POOL。这三个内存池占用的内存大小是由下面算法进行分配的：builder.put(RESERVED_POOL,newMemoryPool(RESERVED_POOL,config.getMaxQueryMemoryPerNode()));
weixin_34132768·2023-06-17 12:42

离线计算调优手册

前序目前离线计算主要分为两块：hive和spark，该手册将围绕这两部分展开说明。随着技术不断迭代升级，结合不同业务、不同场景，手册的适用性可能发生变化，因此下面介绍的优化手段可作为参考，并不是一成不变的。1离线计算HiveHive的简单定义（来自Hive官网）：TheApacheHive(TM)datawarehousesoftwarefacilitatesreading,writing,and
脸ル粉嘟嘟·2023-06-17 12:37

什么是Azure Data Lake

对数据库运维调优，排错，有独到能力。备注：Blog具有时效性，内容随着更新会发现变化，目前时间是2017年5月12日在Azure.com已经推出了DataLake，就是数据湖，数据湖是什么呢？
阿特·2023-06-17 11:04

深度学习基础入门篇-序列模型[11]：循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数
汀、人工智能·2023-06-17 10:37

TDEngine3.x数据查询及插入调优

一、数据库创建vgroups配置如果不了解vgroup概念，建议到官网查看：TDEngine官网-数据模型和整体架构  从服务端配置的角度，要根据系统中磁盘的数量，磁盘的I/O能力，以及处理器能力在创建数据库时设置适当的vgroups数量以充分发挥系统性能。如果vgroups过少，则系统性能无法发挥；如果vgroups过多，会造成无谓的资源竞争。常规推荐vgroups数量为CPU核数的2倍，但仍然
黎陌MLing·2023-06-17 08:18

JVM调优工具及其相关配置

1.查看JVM配置及其应用使用情况1.1在启动应用中进行测试1jsp命令的使用1.jsp查看当前启动的程序2.查看相关堆中对象的使用情况jmap-histo16700>./log.txtnum：序号instances：实例数量bytes：占用空间大小classname：类名称，[Cisachar[]，[Sisashort[]，[Iisaint[]，[Bisabyte[]，-[[Iisaint[][
nickel369·2023-06-17 07:01

Spark on Yarn环境搭建

解压文件修改文件名配置环境变量修改hadoop配置文件/opt/hadoop/etc/hadoop/yarn-site.xml修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR
open_test01·2023-06-17 05:00

zookeeper 集群模式下 配置优化

场景：在项目中需要对kafka集群调优Kafka将元数据信息保存在Zookeeper中官网又一个非常醒目的标题：优化参数默认情况下数据快照和日志都放在myid同级目录下，建议使用dataLogDir来存放日志数据不要和快照数据放在一起
IT_ZhiCunGaoYuan·2023-06-17 03:39
上一页 64 65 66 67 68 69 70 71 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他