YARN高可用

2-1 使用kubeasz部署k8s集群

文章目录简介部署结构安装kubeasz创建集群集群配置集群免密登录config配置部署集群节点添加与删除简介kubeasz项目致力于提供快速部署高可用k8s集群的工具,同时也努力成为k8s实践、使用的参考书
来自南半球的大伟·2024-02-19 20:08

[Flink04] Flink部署实践

Flink部署支持三种模式：本地部署、Standalone部署、FlinkonYarn部署。
YoungerChina·2024-02-19 20:49

Redis快速的原因

高可用：主从复制、哨兵机制高可扩展：数据分片Redis快速的原因之高效的数据结构String–>SDS简单动态字符串List-->双向链表、压缩列表H
天上飞的云传奇·2024-02-19 16:55

Kubernetes 企业集群建设规划

由此，跨区域和多集群实现了高可用性。DevOps支持KubeSphere提供了基于Jenkins的可视化CI/
富士康质检员张全蛋·2024-02-19 16:51

面试：Redis如何保证高可用

Redis如何保证高可用1.Redis本身决定的1.1.基于单线程的IO多路复用~解释：快的原因主要是IO多路复用什么是IO多路？
十一号的传奇·2024-02-19 16:17

error An unexpected error occurred: “https://registry.npm.taobao.org

背景：想使用yarn命令结果报错问题原因：原来证书到期了http://registry.npm.taobao.org/把这个放到浏览器搜索的时候自动换成https://registry.npmmirror.com
동경·2024-02-19 15:00

JeecgBoot集成TiDB，打造高效可靠的数据存储解决方案

研发的开源分布式关系型数据库，同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用
·2024-02-19 15:56

Sentinel 新版本发布，提升配置灵活性以及可观测配套

是阿里巴巴集团开源的，面向分布式、多语言异构化服务架构的流量治理组件，承接了阿里巴巴近15年的双十一大促流量的核心场景，例如秒杀、冷启动、消息削峰填谷、集群流量控制、实时熔断下游不可用服务等，是保障微服务高可用的利器
·2024-02-19 15:56

全栈笔记_浏览器扩展篇（插件开发 - 发送axios请求）

axios简介是一个基于promise的HTTP库兼容浏览器和node.js环境，在浏览器中会创建XMLHttpRequests请求，在node.js中会创建http请求axios请求封装安装依赖：yarnaddaxios
weiweivita·2024-02-19 15:54

中间件-Nginx学习笔记

目录nginx简介Linux安装Nginxnginx常用命令nginx.conf配置文件nginx反向代理nginx负载均衡nginx动静分离nginx搭建高可用集群高可用配置（主从配置）高可用主从配置文件详解
笑一笑、·2024-02-19 14:52

Nginx笔记大全

如动静分离、资源压缩、缓存配置、IP黑名单、高可用保障等高级特性nginx优点速度更快、并发更高：采用了多进程和I/O多路复用（epoll）的底层实现。配
rainbowcheng·2024-02-19 14:50

RabbitMQ节点故障的容错方案

RabbitMQ节点故障的容错方案1.broker启动加载逻辑1.1日志文件1.2broker启动流程1.2.1整体流程1.2.2数据恢复流程2.队列高可用2.1选主逻辑2.1.1从节点晋升策略2.1.2
李姓门徒·2024-02-19 14:38

RabbitMQ的高可用机制

RabbitMQ通过多种机制提供高可用性(HA)支持，以确保消息系统的稳定性和可靠性。下面将详细介绍这些机制，并提供代码示例。
辞暮尔尔-烟火年年·2024-02-19 14:37

防火墙HA详解

防火墙HA的实现方式通常包括以下几个步骤：1.设备冗余：使用两台或多台防火墙设备，通过HA技术将它们连接在一起，形成一个高可用的防火墙集群。
是毛毛吧·2024-02-19 14:20

Flink 1.10 细粒度资源管理解析

相信不少读者在开发Flink应用时或多或少会遇到在内存调优方面的问题，比如在我们生产环境中遇到最多的TaskManager在容器化环境下占用超出容器限制的内存而被YARN/Mesoskill掉[1]，再比如使用
阿里云技术·2024-02-19 14:15

Flink_Flink 1.10 细粒度资源管理解析

article/details/106066579相信不少读者在开发Flink应用时或多或少会遇到在内存调优方面的问题，比如在我们生产环境中遇到最多的TaskManager在容器化环境下占用超出容器限制的内存而被YARN
高达一号·2024-02-19 14:14

Flink运行模式

4.Yarn模式把Flink应用提交给Yarn的ResourceManagerFlink会根据运行在JobManger上的job的需要的sl
zyi·2024-02-19 13:16

[Flink02] Flink架构和原理

1、运行模式Flink有多种运行模式，可以运行在一台机器上，称为本地（单机）模式；也可以使用YARN作为底层资源调度系统以分布式的方式在集群中运行，称为FlinkOnYARN模式；还可以使用Flink自带的资源调度系统
YoungerChina·2024-02-19 13:32

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:35

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:31

解决node-sass: Command failed 问题

从github下载的vue源码，yarn安装报错，爬了下百度，试了好几种方法都没成功，最后ChatGPT帮我解决了ChatGPT回答，一语命中，好用`node-sass是一个将Sass编译为CSS的Node.js
大吉大利都吃鸡·2024-02-19 12:52

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager的启动过程，NodeManager是管理整个集群资源的直接角色，因此我们有必要细致的分析下NodeManager都做了什么，一般Hadoop源码中各个角色启动时都是在serviceInit()
隔着天花板看星星·2024-02-19 11:00

Hadoop搭建之 start-yarn.sh 报错

查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode然后尝试开启YARN
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

问题日志如下：resourcemanager_log2017-09-2003:54:24,165INFOorg.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

一、上下文中讲节点资源监控服务（NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util;importjava.io.BufferedReader;importjava.io.FileInputSt
隔着天花板看星星·2024-02-19 11:48

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

MySQL之MHA高可用配置及故障切换

MHA（MasterHighAvailability）是一个用于管理MySQL复制集群的高可用解决方案。MHA可以自动处理主服务器（Master）的故障并进行故障切换，同时还可以最小化复制延迟。
·2024-02-19 10:33

大厂的供应链采购系统设计

负责：中央/分销预订系统性能优化活动&优惠券等营销中台建设交易平台及数据中台等架构和开发设计目前主攻降低软件复杂性设计、构建高可用系统方向。
·2024-02-19 10:16

[AIGC] Kafka 的 Rebalance 机制：保证分区的可靠性和高可用性

在分布式系统中，Kafka是一种流处理平台，具有高吞吐量、低延迟和可扩展性等特点。在Kafka中，消费者组是一组消费者的集合，它们共同消费一个topic的所有分区。在消费者组中，每个分区只能由一个消费者消费，这个消费者被称为leader，其他消费者被称为follower。在Kafka中，Rebalance是一个重要的概念，它用于在消费者组中分配分区。当有新的消费者加入消费者组，或者消费者组中的消费
程序员三木·2024-02-15 10:55

Node.js开发-包管理工具

包管理工具1)概念2)npm3)配置命令别名1)概念管理『包』的应用软件，可以对「包」进行下载安装，更新，删除，上传等操作借助包管理工具，可以快速开发项目，提升开发效率下面列举了前端常用的包管理工具npmyarncnpm2
中二Espresso·2024-02-15 10:54

配置hive on spark

HDFS：hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs
空白格2519·2024-02-15 10:51

Redis缓存穿透和缓存雪崩以及解决方案

Redis缓存穿透和缓存雪崩以及解决方案缓存穿透解决方案布隆过滤缓存空对象比较缓存雪崩解决方案保证缓存层服务高可用性依赖隔离组件为后端限流并降级数据预热缓存并发分布式锁缓存穿透缓存穿透是指查询一个一定不存在的数据
安晓生·2024-02-15 08:02

运维工程师的转型与升级：解析35岁半衰期现象及其应对策略

目录什么是运维工程师1.系统维护：2.故障排除：3.安全管理：4.性能优化：5.自动化流程：6.云计算服务：运维工程师需要学什么Linux系统知识：网络基础知识：企业级负载集群：高可用集群：运维监控：脚本编程
Srlua·2024-02-15 02:11

TiDB分布式关系型数据库简介

1.关于TiDBTiDB是由PingCAP公司开源的一款分布式关系型数据库，它支持水平扩展、强一致性和高可用性。TiDB兼容MySQL协议，可以无缝替代MySQL，特别适合处理大规模数据的场景。
翔云123456·2024-02-15 01:11

大数据集群环境启动总结

：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode：hadoop-daemon.shstartdatanode在主节点上使用以下命令启动YARNResourceManager
我还不够强·2024-02-14 23:04

聊聊PowerJob Server的高可用

序本文主要研究一下PowerJobServer的高可用PowerJobSpringWorkertech/powerjob/worker/PowerJobSpringWorker.javapublicclassPowerJobSpringWorkerimplementsApplicationContextAware
·2024-02-14 23:51

使用 OpenStreetMap 数据搭建离线地图服务

QuickStart环境准备GitNode.jsyarn准备好环境帮在Shell中运行以下命令，快速启动一个离线地图服务gitclonehttps://gitee.com/jingsam/foxgis-server-lite.gitmap-servercdmap-serveryarninstallnpmstart
_delong·2024-02-14 21:00

Redis的哨兵系统

哨兵系统能够在Redis实例出现问题时自动进行故障转移，确保系统的高可用性。其工作原理如下：监控（Monitoring）:哨兵会不断地检查你的主节点和从节点是否运行正常。
Persistence is gold·2024-02-14 20:29

2020-08-05 Yarn 和 NPM 国内快速镜像（淘宝镜像）

npmconfigsetregistryhttps://registry.npm.taobao.org/设置为官方镜像npmconfigsetregistryhttps://registry.npmjs.org/YARN
大木博士丶·2024-02-14 18:31

企业级利器，阿里云 NVMe 盘和共享存储

7x24高可用是怎样炼成的？现实世界中单点故障是常态，确保故障下业务连续性是高可用系统的核心能力，那么在金融、保险、政务等关键应用中，如何保证业务7*24高可用？
阿里云技术·2024-02-14 18:50

LVS/DR&LVS高可用集群

一、基本知识HeartbeatHeartbeat项目是Linux-HA工程的一个组成部分，其与lvs在本质上无关。Heartbeat提供了2个核心的功能正是lvs所需要的，心跳监测部分和资源接管，心跳监测可以通过网络链路和串口进行，而且支持冗余链路，安装了Heartbeat的两台机器会通过心跳检测互相检测对方的状态，当检测到对方失效的时候会调用资源接管来做接管服务器，保证高可靠性。在一个高可靠的l
Hannah_zh·2024-02-14 18:39

【Vue】工程化开发&脚手架Vue CLI

，晒太阳工程化开发&脚手架VueCLI基本介绍VueCli是Vue官方提供的一个全局命令工具可以帮助我们快速创建一个开发Vue项目的标准化基础架子【集成了webpack配置】使用步骤：全局安装（一次）yarnglobaladd
五敷有你·2024-02-14 18:08

在Ubuntu 14.04上使用Consul服务发现系统的介绍

简介Consul是一个分布式、高可用、数据中心感知的服务发现和配置系统。它可以用来呈现服务和节点，提供灵活和强大的接口，使客户端始终能够获取其所属基础设施的最新视图。
白如意i·2024-02-14 17:30

步骤7：增加前端启动命令，简化流程

我们分析一下：前端代码改动后我们会进行下面几步操作：gitpull拉取最新代码yarnbuild或者npmrunbuild，进行打包停止原来的nginx容器，启动新的nginx容器（除了第一次启动时外，
木头就是我呀·2024-02-14 16:43

Flink教程

将应用分配给JM1.2任务提交流程image.pngyarn模式image.png1.3任务调度原理image.png1.4并行度与slot一个特定算子
July2333·2024-02-14 15:20
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他