hadoop2+集群+yarn

PostgreSQL的一主一从集群搭建部署 (同步)

一、实验环境虚拟机名IP身份简称keep-postgres12-node1192.168.122.87主节点node1keep-postgres12-node2192.168.122.89备节点node2二、安装数据库源码包方式（主）1、创建用户[root@keep-postgres12-node1~]#groupaddpostgres[root@keep-postgres12-node1~]#u
keep__go·2025-01-30 23:00

Java面试题-rabbitmq-001

为什么使用集群RabbitMQ节点不完全拷贝特性集群节点类型单节点系统必须是磁盘节点?RabbitMQ要求集群中至少有一个磁盘节点?mq的缺点
码者人生·2025-01-30 21:14

一个真正可用的docker-compse部署 单机版kafka 版本2.x

确保ZooKeeper集群与Kafka版本兼容。如果你计划使用KRaft模式替换传统的ZooKeeper模式，请确保你已经了解新模式的要求和配置。
garen_dimon·2025-01-30 14:40

HDFS安全模式

当hdfs集群启动的时候，由于要做很多的事情，这期间集群进入了安全模式离开安全模式的条件：NameNode启动后会进入一个称为安全模式的特殊状态。处于安全模式的NameNode对于客户端来说是只读的。
哒啵Q297·2025-01-30 13:03

React使用less语法

1.安装yarnaddlessless-loaderornpmilessless-loader2.打开webpack配置文件创建项目的时候我们是看不到webpack文件的需要暴露出来yarnejectornpmruneject3
世间万物皆对象·2025-01-30 12:26

企业技术架构图

简单说明：1.中间件基础运行环境是经过统一规划的以WebLogic、JBOSS为主的集群环境2.企业集成平台是以基础业务应用为基础服务于上层平台和基础业务应用的高度集成平台3.数据中心是企业公共数据的集中管理比如用户数据
iteye_14949·2025-01-30 11:47

TypeScript 学习 - 创建一个项目

创建一个项目实际使用中,使用yarncreatereact-app比npxcreate-react-app更顺利一些.使用yarncreatereact-appts-react-app--templatetypescript
草明·2025-01-30 10:08

Kafka原理总结

成为了一个高性能的发布与订阅消息系统一：概念理解Broker部署Kafka进程的服务被称之为Broker，Broker会接收Producer的消息，持久化到本地，然后Comsumer通Pull的形式进行消息拉取，通常使用集群的形式进行部署
DEMOAHUI·2025-01-30 10:08

python 分布式集群_Python搭建Spark分布式集群环境

本文没有使用一台电脑上构建多个虚拟机的方法来模拟集群，而是使用三台电脑来搭建一个小型分布式集群环境安装。
小国阁下·2025-01-30 05:32

spark集群完全分布式搭建

1.spark的运行架构（主从模式）主节点：master-----资源管理调度和任务的分配---------类似yarn从节点：worker-----执行具体的计算任务整体运行架构：编写spark运行程序用户将应用程序提交给
。 。，。，。·2025-01-30 05:59

Apache STORM工作原理详解

ApacheStorm是一个分布式实时计算系统，允许用户在集群上运行流式数据处理应用程序。
Neil Parker·2025-01-30 01:05

一图看懂 HBase 架构（全面详细）

操作HBase工作机制及读写流程HBase架构HBase前言HBase简介什么是HBaseHBase特点NoSQL与RDBMS对比HBase生态圈技术HBase架构Client客户端ZooKeeper集群协调一致性服务
BigData_Hubert·2025-01-30 01:00

AI 集群：Exo 项目详解

引言随着人工智能技术的迅猛发展，越来越多的人希望在家中运行自己的AI集群。传统的AI集群通常需要昂贵的硬件和复杂的配置，但Exo项目正是为了解决这个问题而诞生的。
ivwdcwso·2025-01-30 00:57

Mooncake：面向大语言模型服务的以 KVCache 为中心的架构

它采用以KVCache为中心的分解架构，将预填充和解码集群分离。它还利用GPU集群未充分利用的CPU、DRAM和SSD资源来实现KVCache的分解缓存。
步子哥·2025-01-29 22:42

Couchbase UI: Dashboard

1.首页（Overview）功能：提供集群的整体健康状态和性能摘要集群状态节点健康状况：绿色（正常）、黄色（警告）、红色（问题）。节点数量和服务分布（如数据、索引、查询、分析等服务）。
PersistDZ·2025-01-29 21:01

[HBase]二 HBase原生Shell命令大全

HBase原生Shell命令汇总1.General组51.1.查看集群状态：status51.2.查看表的操作方法：table_help51.3.查看HBase的版本信息：version51.4.查看当前用户
墨尔本、晴·2025-01-29 21:30

Hadoop3.3.4伪分布式环境搭建

准备1.下载Hadoop2.配置环境变量3.配置免密二、Hadoop配置1.hadoop-env.sh2.hdfs-site.xml3.core-site.xml4.mapred-site.xml5.yarn-site.xml
凡许真·2025-01-29 21:28

华为OD机试 - API集群负载统计（Python/JS/C/C++ 2024 D卷 100分）

一、题目描述某个产品的RESTfulAPI集合部署在服务器集群的多个节点上，
哪 吒·2025-01-29 13:20

ceph新增节点，OSD设备，标签管理（二）

一、访问客户端集群方式方式一:使用cephadmshell交互式配置[root@ceph141~]#cephadmshell#注意，此命令会启动一个新的容器，运行玩后会退出！
淡黄的Cherry·2025-01-29 11:29

基于Blackwell架构的GPU，用七十二个GPU拼接成性能强大的计算集群，其性能比上一代提升三倍，GPU已成为AI时代的基础设施，可实现各种大模型的训练

英伟达在2024年3月发布了基于Blackwell架构的GPU，这一新一代GPU在性能上相比上一代Hopper架构有显著提升。具体来说，Blackwell架构的GPU拥有2080亿个晶体管，采用台积电4纳米工艺制造，其AI性能达到了20petaflops，是前代H100GPU的五倍。Blackwell架构通过多芯片封装技术（MCM），将两个GPU集成在一起，从而解决了内存局部性和缓存问题，提高了计
百态老人·2025-01-29 08:03

Yarn vs npm：你了解了吗

奠定基础回到过去，一个简单的文本编辑器就足以让开发人员创建和管理他们的大部分项目。但从那时起，Web发生了翻天覆地的变化。如今，即使是一个相当简单的项目也很常见，拥有数百或数千个脚本，具有复杂的嵌套依赖项，如果没有某种自动化工具，这些脚本根本无法管理。这就是管理器发挥作用的地方。包管理器是一种以多种方式自动处理项目依赖关系的工具。例如，在包管理器的帮助下，我们可以安装、卸载、更新和升级包，配置项目
那只斑马不睡觉·2025-01-29 07:49

npm cnpm pnpm npx yarn的区别

npm、cnpm、pnpm、npx、yarn这几个工具都与Node.js项目的包管理和命令执行相关，它们的区别具体如下：本质与功能定位npm：是Node.js官方的包管理工具，提供了安装、卸载、更新、发布等全方位的包管理功能
chenNorth。·2025-01-29 07:49

主流包管理工具npm、yarn、cnpm、pnpm之间的区别与联系——原理篇(1)

大多数npm库都严重依赖于其他npm库，这会导致嵌套依赖关系，并增加无法匹配相应版本的几率。虽然可以通过npmconfigsetsave-exacttrue命令关闭在版本号前面使用^的默认行为，但这个只会影响顶级依赖关系。由于每个依赖的库都有自己的package.json文件，而在它们自己的依赖关系前面可能会有^符号，所以无法通过package.json文件为嵌套依赖的内容提供保证。为了解决这个问
2401_84091580·2025-01-29 07:16

主流包管理工具npm、yarn、cnpm、pnpm之间的区别与联系——原理篇

}解析，^字符，告诉npm，安装主版本等于4的任意一个版本即可现在运行npm进行安装，npm将安装lodash的主版本为4的最新版，可能是[email protected]（@是npm约定用来确定包名的指定版本的）理论上，次版本号的变化并不会影响向后兼容性。因此，安装最新版的依赖库应该是能正常工作的，而且能引入自4.17.4版本以后的重要错误和安全方面的修复。但是，即使不同的开发人员使用了相同的packa
2401_84091628·2025-01-29 07:16

mysql有rac吗_现在的国产数据库有类似于oracle Rac 的功能吗？

有的，优炫软件今年就在软博会重磅推出了UXDBSuperRAC(超级实时应用集群)，发布了优炫数据库UXDB新版本。
weixin_39623050·2025-01-29 06:43

解锁Zustand的潜力：轻量级状态管理的无限可能

安装zustandyarnaddzustand创建store使用creat来创建一个新的storeimport{create}from'zustand'import{AsyncData}from'..
LLlan_lan·2025-01-29 06:39

阿里巴巴超大规模 Kubernetes 基础设施运维体系介绍

简介：ASI作为阿里集团、阿里云基础设施底座，为越来越多的云产品提供更多专业服务，托管底层K8s集群，屏蔽复杂的K8s门槛、透明几乎所有的基础设施复杂度，并用专业的产品技术能力兜底稳定性，让云产品只需要负责自己的业务
阿里云云栖号·2025-01-29 06:37

【elasticsearch】tasks 查看任务

detailed=true&actions=*reindex例如，返回：节点信息(nodes)&任务信息(tasks)某个任务正在执行一个跨集群的reindex操作，数据从远程集群的source_index
infiniteWei·2025-01-29 04:23

【赵渝强老师】K8s的DaemonSets控制器

如果有新的Node节点加入集群，DaemonSet也会自动给新加入的节点增加一个Pod的副本；反之，当有Node节点从集群中移除时，DaemonSet也可以保证将这些Pod自动回收。
赵渝强老师·2025-01-29 02:34

6.《DevOps》系列K8S部署CICD流水线之K8S通过Yaml部署动态Jenkins-slave,以及Jenkins平台基于Gitlab实现SSO授权认证

120G192.168.1.102k8s-node28核、16G、120G192.168.1.103nfs2核、4G、500G操作系统：Rocky9.3jenkins版本：2.477原理JenkinsMaster接到构建任务后会动态在集群中的一
洋葱_学习过程·2025-01-29 01:25

一线大厂的 MQ 组件实现思路和架构设计思路

首先来看看一线大厂的架构图一线大厂的架构图如上图所示，中间是我们的MQ集群架构，在上层利用keepalived和HA-Proxy，最下面是两个大的MQ集群做一个高可用。
java领域·2025-01-29 00:17

npm、cnpm、pnpm、yarn包管理工具别傻傻分不清楚了

干啥的：nodejs的包管理工具。用于自动化处理包的安装、更新、配置和管理。它们之间的主要区别在于它们各自的实现方式、性能优化、以及一些特有的功能。怎么用：1、npm1.1、描述NodePackageManager默认包管理器从npm公共仓库中安装、共享和分发代码包npm在项目中创建一个node_modules文件夹，其中包含所有的依赖项。每个项目的依赖都是独立安装的，这可能会导致重复的包和较大的
青苔猿猿·2025-01-28 22:35

npm、cnpm、pnpm、yarn的区别

npm,cnpm,pnpm,和yarn都是JavaScript的包管理工具，用于自动化处理包的安装、更新、配置和管理。它们之间的主要区别在于它们各自的实现方式、性能优化、以及一些特有的功能。
迷途小码农零零发·2025-01-28 22:05

包管理器-npm、yarn、cnpm、pnpm的比较

1.npm(nodepackagemanage)1.1本地安装使用命令：npminstall包名或npmi包名本地安装的包出现在当前目录下的node_module目录中如果本地安装的包带有CLI，npm会将它的CLI脚本放置到node_modules/.bin下，使用npx命令即可调用。1.2全局安装全局安装的包放置在一个特殊的全局目录。使用命令npminstall--global包名或npmi-
小禄不迷路·2025-01-28 22:02

Yarn安装和使用

安装npminstall-gyarnYarn的官网Home|Yarn-JavaScript软件包管理器|Yarn中文文档-Yarn中文网部分命令yarninit-初始化某个项目yarninstall/link
米粒宝的爸爸·2025-01-28 21:57

k8s（kubernetes）常见故障处理总结——详细文档

运维过程中大部分常见的故障,提供相应的排查思路，笔记详细，仅供参考本人会经常更新运维相关技术文档，如有兴趣，可以关注我博客，欢迎互动分享k8s其他相关详细资料下载地址：kubeadm初始化高可用k8s1.20.4集群网盘地址
运维实战课程·2025-01-28 20:17

【微服务与分布式实践】探索 Eureka

当节点在短时间内丢失过多的心跳时，那么这个节点就会进入自我保护模式，以防止因网络问题导致的服务注册失败高可用：注册中心集群模式、互相注册、服务同步AP（保证可用性，放弃数据一致性）服务注册服务心跳续约、
Forest 森林·2025-01-28 20:12

分布式微服务系统架构第88集：kafka集群

使用集群最大的好处是可以跨服务器进行负载均衡，再则就是可以使用复制功能来避免因单点故障造成的数据丢失。在维护Kafka或底层系统时，使用集群可以确保为客户端提供高可用性。
掘金-我是哪吒·2025-01-28 18:27

kuberay 安装和使用

KubeRay是一个基于Kubernetes的项目，旨在简化在Kubernetes上部署和管理Ray集群的过程。
CHEN_RUI_2200·2025-01-28 14:27

图文详解 MapReduce on YARN

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文权威版本——《Hadoop权威指南第3版》1.作业提交MRrunJob从RM获取新的作业ID作业客户端检査作业的输出说明，计算输入分片并将作业资源(包括作业JAR、配置和分片信息)复制到HDFS。通过调用R
Shockang·2025-01-28 13:20

深入MapReduce——从MRv1到Yarn

引入我们前面篇章有提到，和MapReduce的论文不太一样。在Hadoop1.0实现里，每一个MapReduce的任务并没有一个独立的master进程，而是直接让调度系统承担了所有的worker的master的角色，这就是Hadoop1.0里的JobTracker。在Hadoop1.0里，MapReduce论文里面的worker就是TaskTracker，用来执行map和reduce的任务。而分配
黄雪超·2025-01-28 12:49

RDD 算子全面解析：从基础到进阶与面试要点

Spark的介绍与搭建：从理论到实践_spark环境搭建-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交
天冬忘忧·2025-01-28 12:16

【elasticsearch】如何更新许可证（License）

在Elasticsearch中，**许可证（License）**用于控制集群的功能和权限。
risc123456·2025-01-28 11:04

【MQ】如何保证消息队列的高可用？

RocketMQNameServer集群部署Broker做了集群部署主从模式类型：同步复制、异步复制主节点返回消息给客户端的时候是否需要同步从节点Dledger：要求至少消息复制到半数以上的节点之后，才给客户端返回写入成功
Forest 森林·2025-01-28 09:24

日志收集Day008

1.zk集群优化修改zookeeper的堆内存大小，一般情况下，生产环境给到2G足以，如果规模较大可以适当调大到4G。
ccnnlxc·2025-01-28 07:16

大数据小白系列——YARN(1)

这是大数据小白系列，YARN的第一篇，准确的说是介绍YARN的“前身”，即MapReduce第一版(下称MRv1)中的资源管理系统。
weixin_44386638·2025-01-28 07:13

redis分布式锁与redsync库源码分析

一.redlock算法单点场景首先来看单redis实例的场景，这是集群模式的基础。
阿鹏哥哥01·2025-01-28 07:13

Hadoop学习笔记 --- YARN执行流程与工作原理

一、YARN简述首先介绍一下YARN在Hadoop2.0版本引进的资源管理系统，直接从MapReduceV1演化而来(由于引擎的功能缺陷)；原因是将MapReduce1中的JobTracker的资源管理和作业调度两个功能分开
杨鑫newlfe·2025-01-28 07:42

【深入浅出 Yarn 架构与实现】1-1 设计理念与基本架构

一、Yarn产生的背景Hadoop2之前是由HDFS和MR组成的，HDFS负责存储，MR负责计算。一）MRv1的问题耦合度高：MR中的jobTracker同时负责资源管理和作业控制两个功能，互相制约。
大数据王小皮·2025-01-28 07:12

【Yarn】Yarn 架构体系、通讯协议、yarn交互流程

文章目录1.概述2.ResourceManager3.NodeManager4.ApplicationMaster5.Container容器6.通讯协议7.yarn交互流程7.1YARN上应用类型7.2
九师兄·2025-01-28 07:41
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他