zookeeper调优

Sqoop的安装与配置

Sqoop安装准备安装Sqoop的前提是已经具备Java和Hadoop、Hive、ZooKeeper、HBase的环境安装步骤上传安装包sqoop-1.4.6-cdh5.14.2.tar.gz到虚拟机中解压
菜鸟也学大数据·2023-10-23 00:56

Zookeeper通知机制为啥用watch？他是怎样设计的

一前言Zookeeper是一个广受大家喜爱的框架，他能搞定分布式锁，也能实现服务之间更好的调用，而他是通过通知机制来实现的，那么他是怎么实现的呢？
进击的三文鱼·2023-10-22 21:56

JUC学习笔记（四）—线程池

3、提高线程的可管理性：线程是稀缺资源，如果无限制地创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一分配、调优和监控。线程池的类图为：
Monica2333·2023-10-22 21:32

ReentrantLock与synchronized区别之比较（面试）

备注：ReentrantLock和synchronized关键字在服务部署多个副本时，无法在多个副本之间实现分布式锁，这时建议使用Redis或者Zookeeper提供分布式锁，其中redis使用redi
russle·2023-10-22 20:23

# zookeeper # 环境（集群）搭建

jdk1.8及以上）假设有三台机器，ip分别为，并且三台机器上都有用户‘user’机器IP地址机器1192.168.0.101机器2192.168.0.102机器3192.168.0.103一、下载与解压zookeeper
MrSaint王·2023-10-22 20:47

【2023 · CANN训练营第一季】——Ascend C算子开发入门——第三次课

Python的DSL和TIK方式，AscendC使用C/C++作为前端语言的算子开发工具，通过四层接口抽象、并行编程范式、孪生调试等技术，极大提高了算子的开发效率，助力AI开发者低成本完成算子开发和模型调优部署
大姚_54022960·2023-10-22 18:42

3天上手Ascend C编程 | Day3 Ascend C算子调试调优方法

CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，最大化匹配用户开发习惯；通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力AI开发者低成本完成算子开发和模型调优部署
昇腾CANN·2023-10-22 18:35

【原创】企业级Linux环境部署（很全、很细）

关于本文本文着重详细说明在linux（centos6）中安装tomcat、nginx、zookeeper等必备组件，为读者们提供“测试环境搭建”的学习教程；其中centos6安装过程在本文省略，可点击查看这个链接的
zsyzcsan·2023-10-22 16:13

2023CANN训练营第二季——Ascend C算子开发（入门）——基础概念

CANN针对算子开发场景推出的编程语言，原生支持C和C++标准规范，最大化匹配用户开发习惯;通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力AI开发者低成本完成算子开发和模型调优部署
STRUGGLE_xlf·2023-10-22 16:12

k8s-实战——zookeeper的部署

文章目录ZooKeeper简介zkyaml文件pvc.yaml创建PVCzk.yaml创建zk集群服务zk集群检查检查zk集群状态问题记录解决方式ZooKeeper简介ApacheZooKeeper是一个分布式的开源协调服务
北城 半夏·2023-10-22 16:39

kafka环境安装

kafka的安装及启动安装kafka之前需要先安装以下依赖环境：JDK8ZooKeeperLinux环境下安装JDK：下载并安装。
米兰老鼠·2023-10-22 15:42

Windows环境下安装调试Kafka + ZooKeeper以及报错记录

下载我下载的是ZooKeeper3.5.7和最新的Kafka2.13-2.4.1安装ZooKeeper1.解压ZooKeeper压缩包并放在系统盘的某个位置，我这里是放在D盘的根目录下；2.新增一个系统变量
小单是个程序媛·2023-10-22 15:41

kafka安装与配置（Windows）

Zookeeper：一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务。
随心•YOUNG·2023-10-22 15:10

NPU上PyTorch模型调优问题案例

在昇腾AI处理器上训练PyTorch框架模型时，可能由于算子在CPU上的下发速度、动态shape等问题，导致性能降低，那么本期就分享几个关于PyTorch模型调优的典型案例，给出调优思路及具体的调优方法
昇腾CANN·2023-10-22 13:21

如何将PyTorch模型迁移到昇腾平台

首先，我们了解下模型迁移的全流程：通过上图可以看出，模型迁移包括“脚本迁移–>模型训练–>精度调优–>性能调优–>模型固化”几个流程，其中：“脚本迁移”是对PyTorch训练脚本进行少量修改，使其可以运行在昇腾
昇腾CANN·2023-10-22 13:51

Hadoop3教程（二十九）：（生产调优篇）集群扩容及缩容（白名单与黑名单）

文章目录（150）添加白名单（151）服役新服务器（152）服务器间数据均衡（153）黑名单退役服务器参考文献这一章还算是比较重要的。（150）添加白名单白名单：在白名单里的主机IP地址，就可以用来存储数据以及互相之间的通信等。一般企业都会配置集群白名单，防止黑客攻击。相应的，集群里也有黑名单，下几节会讲。配置白名单步骤如下，仅做了解，所以直接复制的教程内容：1）在NameNode节点的/opt/
经年藏殊·2023-10-22 10:31

Hadoop3教程（三十）：（生产调优篇）纠删码

文章目录（155）纠删码原理纠删码原理纠删码相关命令纠删码策略解释（156）纠删码案例实操参考文献（155）纠删码原理纠删码原理默认情况下，一个文件在HDFS里会保留3个副本，以此提高数据的可靠性（容灾），但也带来了2倍的存储上的冗余开销。于是Hadoop3.x引入了纠删码，采用计算的方式来提高数据的可靠性，可以节省50%左右的存储空间。如上图（黄色部分），默认情况下，对于一个300M大小的文件，
经年藏殊·2023-10-22 10:31

Hadoop3教程（二十八）：（生产调优篇）NN、DN的多目录配置及磁盘间数据均衡

比如说下图这样：但其实生产中不常用哈，生产中要增加NN的可靠性的话，一般会开启NN的高可用，即在不同节点上开启多个NN，靠zookeeper来协调。所以本节就了解一下即可。配置的
经年藏殊·2023-10-22 10:56

[翻译]理解Postgres的IOPS：为什么数据即使都在内存，IOPS也非常重要

本文讨论IOPS相关主题：IOPS是什么、如何影响PG、如何衡量它以及需要如何调优。1、PG的IOPS是什么从高层次看，一个IO操作要么是读数据（“
yzs87·2023-10-22 09:15

（八）zk客户端连接关闭服务器，查看znode

二、查看znode在此处敲入help可以查看这里都有哪些命令：可以看到这里初始化之后的树形结构：zookeeper是一个父节点，quato是一个子节点，再下面就为空没有了。三、关闭客户端连接
阿静我牙疼·2023-10-22 09:40

MySQL调优参数配置详解

一、mysql参数调优知识铺垫1、一些生产常用查询命令--查看数据库里正在执行的sql语句showprocesslist;--查看正在执行的完整sql语句，完整显示showfullprocesslist
行者张良·2023-10-22 08:12

JVM参数调优

一、案例实践64G物理内存服务器JVM参数配置建议如果你的服务器有64GB内存，你可以使用以下JVM参数来优化Java程序的性能：-Xms：设置Java堆的初始内存使用量。推荐将该参数设置为总内存的25%到50%。例如，可以设置为-Xms16g，表示Java堆初始使用16GB内存。-Xmx：设置Java堆的最大内存使用量。推荐将该参数设置为总内存的50%到80%。例如，可以设置为-Xmx48g，表
行者张良·2023-10-22 08:38

聊聊分布式架构10——Zookeeper入门详解

目录01ZooKeeper的ZAB协议ZAB协议概念ZAB协议基本模式消息广播崩溃恢复选举出新的Leader服务器数据同步02Zookeeper的核心ZooKeeper的核心特点ZooKeeper的核心组件选举算法概述服务器启动时的
Elaine202391·2023-10-22 08:37

SpringCloud学习笔记（上）：服务注册与发现：Eureka、Zookeeper、Consul+负载均衡服务调用：Ribbon

壹、零基础一、微服务架构零基础理论入门SpringCloud=分布式微服务架构的一站式解决方案，是多种微服务架构落地技术的集合体，俗称微服务全家桶。二、从2.2.x和H版开始说起springboot版本选择：git源码地址：https://github.com/spring-projects/spring-boot/releases/SpringBoot2.0新特性：https://github.
吾浴西风·2023-10-22 07:17

实现Traefik工具Dashboard远程访问：搭建便捷的远程管理平台

它支持多种后端(Docker,Swarm,Mesos/Marathon,Consul,Etcd,Zookeeper
无证驾驶梁嗖嗖·2023-10-22 06:48

linux性能分析(四)如何学习linux性能优化

-->真正站在巨人的'肩膀'上性能调优的'目的'：不影响'系统稳定性'的资源'最大'利用化补充：性能分析不能'脱离环境'侃侃而谈,了解基本的'性能基线'切记:千万不要把性能'工具'当成学习的'全部',应消除干扰
wzj_110·2023-10-22 06:36

Filebeat+Kafka+ELK

目录1Kafka架构深入1.1Kafka工作流程及文件存储机制1.2数据可靠性保证2.1部署Zookeeper+Kafka集群2.2部署Filebeat1Kafka架构深入1.1Kafka工作流程及文件存储机制
尔尔辞暮·2023-10-22 06:25

Hadoop3教程（三十一）：（生产调优篇）异构存储

文章目录（157）异构存储概述概述异构存储的shell操作（158）异构存储案例实操参考文献（157）异构存储概述概述异构存储，也叫做冷热数据分离。其中，经常使用的数据被叫做是热数据，不经常使用的数据被叫做冷数据。把冷热数据，分别存储在不同的存储介质里，从而达到对每个介质的利用率最高，从而实现整体最佳性能，或者说性价比更高（比如说高性能硬盘放经常使用的数据）。简单的说，就是这么一个问题：经常使用的
经年藏殊·2023-10-22 05:05

Hadoop3教程（三十二）：（生产调优篇）NameNode故障恢复与集群的安全模式

文章目录（159）NameNode故障处理（160）集群安全模式&磁盘修复集群安全模式磁盘修复等待安全模式参考文献（159）NameNode故障处理如果NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode？首先，我们可以通过以下代码来模拟故障：（1）kill-9NameNode进程[atguigu@hadoop102current]$kill-919886（2）删除NameNo
经年藏殊·2023-10-22 05:05

Hadoop3教程（三十四）：（生产调优篇）MapReduce生产经验汇总

文章目录（164）MR跑得慢的原因（165）MR常用调优参数Map阶段Reduce阶段（166）MR数据倾斜问题参考文献（164）MR跑得慢的原因MR程序执行效率的瓶颈，或者说当你觉得你的MR程序跑的比较慢的时候
经年藏殊·2023-10-22 05:05

系统调优几个维度考虑

前端：1、CDN前后分离:开发模式动静分离：动态资源和静态资源分开存储缺陷：更新需要刷新缓存后端：1、jvm调优，需要对jvm参数调优，减少gc，和STW次数；选择合适的垃圾回收器2、使用redis缓存
牛八里昂·2023-10-22 05:32

Hadoop3教程（三十三）：（生产调优篇）慢磁盘监控与小文件归档

文章目录（161）慢磁盘监控（162）小文件归档小文件过多的问题如何对小文件进行归档参考文献（161）慢磁盘监控慢磁盘，是指写入数据时特别慢的一类磁盘。这种磁盘并不少见，当机器运行久了，跑任务跑的多了，磁盘的寿命到一定程度的时候，磁盘的读写性能自然就会退化，严重时就会出现写数据延迟的问题。比如说，如果正常在HDFS上创建一个目录，只需要1s左右。但是你偶尔发现创建目录时超过了1分钟或者更久，但次数
经年藏殊·2023-10-22 05:29

springmvc+mybatis+dubbo+zookeeper分布式架构 整合 - maven构建ant-framework框架的pom.xml文件配置...

ant-framework是ant分布式框架的基础核心框架，其中包括CRUD，MVC等一系列基类和模板。另外定义了spring，mybatis，wink等底层框架扩展项目，具体内容包括：其中ant-framework是ant分布式框架的基础核心框架，其中包括CRUD，MVC等一系列基类和模板。另外定义了spring，mybatis，wink等底层框架扩展项目，具体内容包括：1.annotation
weixin_33913377·2023-10-22 04:29

JVM与性能调优

性能测试在了解性能调优之前，首先得知道什么是性能测试，我们的程序怎样的性能表现才需要进行性能调优一、性能测试概念1.概念用最低的资源换取最高的处理能力和低的响应时间，在一定环境下做性能需求2.问题：环境很难真实需求一般很模糊
crossyf·2023-10-22 03:51

配置中心

它是基于Zookeeper来实现配置变更后实时通知和生效的。lSpring
苏兮墨·2023-10-22 03:29

Hadoop集群主节点迁移

主要目的是实现异地容灾主要迁移的服务有：•namenode（journalnodezkfc）•resourcemanager•hiveserver2•hivemetastore•hive元数据库mysql•zookeeper
卢说·2023-10-22 01:08

ZooKeeper+HBase分布式集群环境搭建

安装版本：hadoop-2.10.1、zookeeper-3.4.12、hbase-2.3.1一、zookeeper集群搭建与配置1.下载zookeeper安装包2.解压移动zookeeper3.修改配置文件
马龙强_·2023-10-22 01:37

Docker 常用操作

检索镜像dockersearchzookeeper摘取镜像dockerpullzookeeper运行容器dockerrun-d--namezookeeper-p2181:2181-v$PWD/data/
我是顾子晨·2023-10-22 00:44

JVM调优命令详解

目录image.png前置启动程序事先启动一个web应用程序，用jps查看其进程id，接着用各种jdk自带命令优化应用jvm内存模型jvm内存模型.pngJmap此命令可以用来查看内存信息，实例个数以及占用内存大小imagejmap‐histo14660#查看历史生成的实例jmap‐histo:live14660#查看当前存活的实例，执行过程中可能会触发一次fullgc打开log.txt，文件内容
米不开朗基罗·2023-10-22 00:46

【论文解读】The Power of Scale for Parameter-Efficient Prompt Tuning

一.介绍1.1promotetuning和prefixtuning的关系“前缀调优”的简化版1.2大致实现冻结了整个预训练模型，并且只允许每个下游任务附加k个可调令牌到输入文本。
weixin_50862344·2023-10-21 18:51

部署与管理ZooKeeper(转)

本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点
HKaye·2023-10-21 18:15

TOWARDS A UNIFIED VIEW OF PARAMETER-EFFICIENT TRANSFER LEARNING

关于参数有效迁移学习的统一观点摘要1引言2前言2.1Transformer结构综述2.2之前的参数高效调优方法综述3弥合差距-统一的视角3.1仔细观察PrefixTuning3.2统一框架3.3迁移的设计元素
UnknownBody·2023-10-21 18:44

【论文解读】Parameter-Efficient Transfer Learning for NLP

二.NLP的适配器调优2.1瓶颈设计上图显
weixin_50862344·2023-10-21 18:12

jvm 各个版本支持的参数

知道一些jvm调优参数，但是没有找到官网对应的文档，在网上的一些文章偶然发现，记录一下。
zlpzlpzyd·2023-10-21 17:27

ETCD 压缩调优配置

https://blog.csdn.net/su_ren/article/details/118560827
风亡小窝·2023-10-21 17:14

redis安装与调优部署文档(WinServer)

1.安装环境准备1.1部署规划软件安装路径E:\redisbin二进制路径etc配置路径log日志路径data数据路径端口规划63902.Redis安装部署2.1Redis部署下载Redis-x64-3.2.100安装包（一种是msi安装包，一种是zip压缩包）下载地址：https://github.com/microsoftarchive/redis/releases2.2.1.Mis安装包安
DomDanrtsey·2023-10-21 16:26

redis调优

设置最大内存如果不设置最大内存可能挥发生OOM，导致崩溃避免bigKey键名简短，同时键的内容尽量精简，最好10k以内设置请求超时时间//redis配置文件调整timeout150tcp-keepalive150(定时向client发送tcp_ack包来探测client是否存活的。默认不探测)//项目优化调整redis.timeout=10s减少持久化损耗如果redis仅用作cache，在业务允许
mbiscuit·2023-10-21 16:22

【面试必备】springboot配置redis持久化

性能调优影响MySQLServer性能的相关因素商业需求对性能的影响系统架构及实现对性能的影响Query语句对系统性能的影响Schema设计对系统的性能影响硬件环境对系统性能的影响MySQL数据库锁定机制
jixuczy·2023-10-21 15:50

Redis基础与性能调优

Redis是一个开源的，基于内存的结构化数据存储媒介，可以作为数据库、缓存服务或消息服务使用。Redis支持多种数据结构，包括字符串、哈希表、链表、集合、有序集合、位图、Hyperloglogs等。Redis具备LRU淘汰、事务实现、以及不同级别的硬盘持久化等能力，并且支持副本集和通过RedisSentinel实现的高可用方案，同时还支持通过RedisCluster实现的数据自动分片能力。Redi
Mlxg2234·2023-10-21 15:50

Redis 高级特性与性能调优

一、数据持久化Redis提供了将数据定期自动持久化至硬盘的能力，包括RDB和AOF两种方案，两种方案分别有其长处和短板，可以配合起来同时运行，确保数据的稳定性。1、必须使用数据持久化吗？Redis的数据持久化机制是可以关闭的。如果你只把Redis作为缓存服务使用，Redis中存储的所有数据都不是该数据的主体而仅仅是同步过来的备份，那么可以关闭Redis的数据持久化机制。但通常来说，仍然建议至少开启
7*24 工作者·2023-10-21 15:50
上一页 83 84 85 86 87 88 89 90 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他