hadoop2+集群+yarn 第47页

Hadoop集群部署流程

前置要求需要3台虚拟机，系统为Centos7，分别host命名为node1，node2，node3，密码均为root请确保这三台虚拟机已经完成了JDK、SSH免密、关闭防火墙、配置主机名映射等前置操作在3台虚拟机的/etc/hosts文件中，填入如下内容：（同时这也是三台虚拟机的ip地址）192.168.88.131node1192.168.88.132node2192.168.88.133nod

正在绘制中·2024-01-28 02:09

Kafka的安装部署、基本操作、集群环境

1、Kafka的安装部署下载kafkakafka_2.11-2.0.0.tgz安装过程安装过程非常简单，只需要解压就行，因为这个是编译好之后的可执行程序tar-zxvfkafka_2.11-2.0.0.tgz解压配置zookeeper因为kafka依赖于zookeeper来做master选举一起其他数据的维护，所以需要先启动zookeeper节点kafka内置了zookeeper的服务，所以在bi

有梦想的虫子_2018·2024-01-28 01:46

【Java面试】redis

Redis中设置过期时间主要通过以下四种方式Reids三种不同删除策略Redis集群Redis集群的主从复制模型是怎样的？Redis集群会有写操作丢失吗？为什么？Redis集群之间是如何复制的？

网络冒险家·2024-01-28 01:54

ELK Stack 7.3.0构建多系统多用户安全认证日志平台（二）

Elasticsearch集群搭建，操作系统Linuxcentos7三台机器：192.168.137.55192.168.137.56192.168.137.571、192.168.137.55这台机器

程序员之成长路·2024-01-28 00:56

vue关于Chrome浏览器的devtools插件安装

常规版github下载devtools的zip，解压后打开shell执行yarninstall和yarnrunbuild修改配置文件打开浏览器调试详细教程如何安装vue.jsdevtools？

星星也会数人类嘛·2024-01-28 00:19

BGP最通俗易懂的讲解——路由反射器防环机制

：OriginatorID与ClusterList一、OriginatorID该属性属于BGP的可选非过渡属性；OriginatorID由RR产生，使用的RouterID的值标识路由的发送者，用于防止集群内产生路由环路

网络攻城狮_·2024-01-28 00:24

记录kubesphere的安装与使用

首先附上kubesphere的官网，https://kubesphere.com.cn/首先确保你安装好了k8s集群，并且要安装好helm和tiller，当然在新版的k8s中已经没有了tiller，但是现在企业上用的版本是

graceful coding·2024-01-27 23:13

kubesphere_kubesphere安装使用体验

最近又出来个kubesphere的工具用来管理k8s，今天特意来安装体验下；先放上安装效果图，UI界面还是很清爽的：当前环境：k8s集群已经安装完成，用kubesphere管理现有的k8s集群；k8s版本为

026后勤处·2024-01-27 23:42

使用Kubesphere 安装kubernetes集群

设置环境变量[root@master01~]#exportKKZONE=cn下载kubeKey[root@master01~]#curl-sfLhttps://get-kk.kubesphere.io|VERSION=v1.2.1sh-kk赋权[root@master01~]#chmod+xkk生成config[root@master01~]#./kkcreateconfig--with-kube

瓦哥架构实战·2024-01-27 23:42

kubesphere安装

官网地址2.1一、入门操作kubernetes集群1、部署一个tomcatkubectlcreatedeploymenttomcat6--image=tomcat:6.0.53-jre8kubectlgetall

Java日拱一卒坚持不懈·2024-01-27 23:12

K8S,KubeSphere安装与卸载

K8S,KubeSphere单机与集群安装与卸载安装Docker安装K8S安装Helm安装OpenEBS安装(推荐Helm安装)KubeSphere安装卸载K8S卸载Helm卸载KubeSphere卸

IT小分享·2024-01-27 23:40

kubesphere的安装与使用

kubesphere的安装与使用kubesphere是什么安装kubesphere1.安装的kubesphere版本与k8s版本是否可以相对应2.集群中是否有默认StorageClass3.安装kubespherekubesphere

想个名字蒸难·2024-01-27 23:09

Vite是什么？怎么用Vite来创建一个前端项目?

能够显著提升前端开发体验，主要有以下特点：使用原生ESM文件，无需打包轻量快速的热加载优化构建，可选单页应用或者库模式，配置构建灵活的API常用框架项目模板搭建第一个Vite项目，我这里使用NPM搭建，可选的有Yarn

83Dillon·2024-01-27 23:37

使用vite构建一个vue项目

一、安装1、使用NPMnpmcreatevite@latest使用Yarnyarncreatevite你还可以通过附加的命令行选项直接指定项目名称和你想要使用的模板。

郑建零零发·2024-01-27 23:06

SSH无密码登录

免密登录的目的在搭建Linux集群服务的时候，想在master或者跳板机上执行远程命令的时候,我们需要一遍一遍的属于密码,如果是编写脚本的话,我们还需要利用expect工具自动实现交互任务,这在实际生产环境当中是相当耗时的

bern85·2024-01-27 23:46

Hadoop-分布式

分布式分步+并行处理+汇总结果Hadoop分布式一台计算机存储不了了，也计算不了了Hadoop把多台计算机资源（存储资源：硬盘；计算资源：CPU，内存）连接在一起，形成集群输入文件，拆分成块，多个节点存储计算任务

日月交辉·2024-01-27 23:48

用户行为数据采集

Flume——Hadoop——VMVM环境准备安装JDK安装HadoopHadoop运行模式本地模式伪分布式完全分布式集群启动组件逐一启动。模块启动

日月交辉·2024-01-27 23:18

MySQL主从复制

，有时候需要来部署多个数据库，通过数据库的复制策略，可以将一台mysql数据库服务器中的数据复制到其他的mysql数据库服务器之上，当各台数据库服务器上都包含相同数据的时候，前端应用通过访问mysql集群中任意一台服务器

拾光师·2024-01-27 21:29

K8S的安全机制

安全机制：K8S的安全机制，分布式集群管理工具，就是容器编排安全机制的核心：APISERVER作为整个集群内部通信的中介，也是外部控制的入口。

91888888·2024-01-27 21:59

第10章集群

1.数据分布1.1数据分布理论哈希分区：离散度好，数据分布业务无关顺序分区：离散度易倾斜，数据分布业务相关，可顺序访问节点取余分区：hash(key)%N，当节点数量变化时，映射关系需重新计算，会导致数据迁移，通常翻倍扩容一致性哈希分区：为系统中每个节点分配一个token，构成一个哈希环加减节点会造成部分数据失效不适合少量节点普通的一致性哈希分区在增加节点时要增加一倍或减去一半才能保证数据负载均衡

leon4ever·2024-01-27 21:21

图形化方式利用脚手架创建Vue项目

版本查看安装版本node-v2安装cnpmnpminstall-gcnpm查看安装版本cnpm-v以管理员身份运行powershell，运行set-ExecutionPolicyRemoteSigned3安装yarncnpminstall-gyarn

一个与程序bug抗争的程序员·2024-01-27 20:54

DataWhale 大数据处理技术组队学习task1

Volume）数据来源：可以是计算机、手机，也可以是其他联网设备（与物联网紧密结合）数据类型繁多（Variety）各行各业的数据量都在迅速增长处理速度快（Velocity）为了快速分析海量数据，一般采用集群处理和独特的内部设计价值密度低

Y_fulture·2024-01-27 19:33

Datawhale 组队学习之大模型理论基础 Task7 分布式训练

为了解决算力增速不足的问题，人们考虑用多节点集群进行分布式训练，以提升算力。8.2常见的并行策略分为“数据并行”和“模型并行”。

AIzealot无·2024-01-27 19:00

独家解读 | 滴滴机器学习平台架构演进之路

所谓大同是指大家所要处理的问题都相似，技术架构和选型也差不太多，比如都会使用GPU集群、采用Spark或K8s平台等。

csdn产品小助手·2024-01-27 19:18

数据中心大型AI模型所需的网络需求

为了适应大规模训练集群中高效分布式计算的需求，大

audrey-luo·2024-01-27 19:13

Redis哨兵机制详解

Redis哨兵机制详解定义及主要功能哨兵是Redis集群架构中一个非常重要的组件，主要功能如下集群监控，负责监控Redismastre和slave进程是否正常工作消息通知，如果某个Redis实例有故障，

DearSil·2024-01-27 19:40

莆田买鞋一条街攻略（去莆田当地怎么买鞋）

这里聚集了众多的鞋类生产企业和商家，形成了著名的莆田鞋业集群。莆田的鞋业在国内外都享有盛誉，因此吸引了大批消费者前来购买。下面我给大家介绍一下莆田买鞋的十个地方。

美鞋之家·2024-01-27 19:41

携程Apollo简单入门教程这一篇就够了

1.Apollo背景对程序配置的期望值也越来越高：配置修改后实时生效，灰度发布，分环境、分集群管理配置，完善的权限、审核机制……废话不多说,参考官方文档如果不想看文档,也没关系,跟着我一步步走.2.安装

公子小白123·2024-01-27 18:23

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

【摘要】本文讲解GaussDB（DWS）集群通信技术如何在大规模集群中承载高并发业务，如何实现高性能分布式通信系统。

IT民工金鱼哥·2024-01-27 18:29

Redis集群

一、应用场景为什么需要redis集群？当主备复制场景，无法满足主机的单点故障时，需要引入集群配置。一般数据库要处理的读请求远大于写请求，针对这种情况，我们优化数据库可以采用读写分离的策略。

北北川.·2024-01-27 17:03

vite+vue3+elementPlus搭建项目

创建基础框架方式一：创建命令npmcreatevite@latestoryarncreatevite注意：这里可能会出现一个坑，注意你的node版本（node版本过低就会报错）创建成功创建成功后运行以下命令即可

Jocelyn_书·2024-01-27 17:32

分布式系统架构的基本原则和实践入门到精通

java架构师、集群、高可用、高性能、高并发、性能优化、Springboot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战视频课程内容包含：高级Java架构师包含

dengyulabn8200·2024-01-27 17:27

【分布式技术专题】「分布式技术架构」探索Tomcat集群架构原理和开发分析指南

探索Tomcat技术架构设计模式的奥秘Tomcat集群原理Tomcat集群能带来什么Tomcat集群产生什么问题Tomcat单服务体系架构Tomcat集群"简单版"首先要解决Session共享的问题典型负载均衡策略分析

洛神灬殇·2024-01-27 17:55

文本检索性能提升 40 倍，Apache Doris 倒排索引深度解读

在面向海量数据的复杂查询需求时，除硬件配置、集群规模、网络带宽等因素外，提升性能的核心在于如何最大程度地降低SQL执行时的CPU、内存和IO开销，而这其中数据库索引扮演着至关重要的角色。

SelectDB技术团队·2024-01-27 17:35

MySQL高可用——Orchestrator架构、配置文件详细介绍和单机搭建部署

单点模式2.多点共享后端（1）后端单点（2）后端多点3.多点非共享后端三、配置文件四、部署Orchestrator是一个MySQL高可用和复制集管理工具平台，其具有如下主要功能：可以自动发现MySQL集群

码精灵·2024-01-27 17:19

Kafka-4.1-工作原理综述

1Kafka工作原理详解1.1工作流程Kafka集群将Record流存储在称为Topic的类中，每个记录由⼀个键、⼀个值和⼀个时间戳组成。

江中散人·2024-01-27 16:47

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

1安装部署1.1kafka的分布式kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图1.2集群部署官方下载地址：ApacheKafka（1）安装和Hadoop

江中散人·2024-01-27 16:16

Spring Cloud 配置中心 Apollo 入门

FROM《Apollo设计文档——Home》Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性

weixin_42073629·2024-01-27 16:52

SpringBoot 集成 Apollo 配置中心

1、背景随着程序功能的日益复杂，程序的配置日益增多，各种功能的开关、参数的配置、服务器的地址……对程序配置的期望值也越来越高，配置修改后实时生效，灰度发布，分环境、分集群管理配置，完善的权限、审核机制…

Meiko丶·2024-01-27 16:51

Spring Data Redis操作Redis（单机/集群）

REDIS（RedisProperties）（普通集群，不使用则不用开启）在群集中执行命令时要遵循的最大重定向数目。

夜风月圆·2024-01-27 16:50

zookeeper

分部式系统管理框架，主要来解决分布式应用集群中应用系统的一致性问题：相当于各种分布式应用的注册中心+文件系统+通知机制用于注册各种分布式应用，存储和管理这些分布式应用的元数据，如果应用或服务本身状态发送变化就会通知客户端

沈阳最速传说と疾走の猛虎！贵物刀一郎です·2024-01-27 16:12

zookeeper原理篇-Zookeeper启动流程分析

Zab协议的两大特性:崩溃恢复和消息广播，学习了Zookeeper是如何通过Zab协议实现高可用，本篇开始我们来学习Zookeeper的启动流程单机模式启动流程我们知道，Zookeeper使用中分为单机和集群两种

逐梦々少年·2024-01-27 16:15

零停机给Kubernetes集群节点打系统补丁

点击上方"编程技术圈"关注,星标或置顶一起成长后台回复“大礼包”有惊喜礼包！每日英文Apersonwhoknowshowtolaughathimselfwillneverceasetobeamused.一个知道如何自嘲的人，会永远生活在快乐里。每日掏心话若想看淡世态炎凉、静观花开花落，必先经历颠沛流离和茫然失所。昨天已经过去，明天还没到来。每个人都有他的路，每条路都是正确的。责编：乐乐 | 来自：

程序员小乐·2024-01-27 15:27

k8s学习笔记-Node节点的部署和CoreDNS的部署

flanneldockerkubeletkube-proxyflannel,docker根据前面的文章自行部署，这里重要介绍kubelet,kube-proxy组件部署kubelet组件Masterapiserver启用TLS认证后，Node节点kubelet组件想要加入集群

weixin_30493321·2024-01-27 15:56

Amazon EKS 集群弹性伸缩和不可变基础设施的最佳实践

资源的弹性伸缩(AmazonAutoScaling)是云计算的本质能力之一，是云上降本增效的重要途径，也是衡量云原生成熟度的关键因素。依托亚马逊云计算提供的自动化能力，我们可以自动按需启动或者回收资源。在众多场景下，CPU或者内存资源的利用率会根据每天不同时段的请求量波动，当业务请求不断上涨的时候，应该自动启动资源以应对新的请求；同样的，当业务请求量下降，资源处于低利用率的情况下，就处于浪费阶段，

亚马逊云开发者·2024-01-27 15:26

如何使用irsa将火花提交给亚马逊eks集群

Inpreviousarticle,IhaveintroducedhowwesubmitaSparkjobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract,likeS3/DynamoDB/etc.,weneedassignIAMpolicytotheSparkdriverandexecutorp

weixin_26755331·2024-01-27 15:26

Kube eagle eks监控节点组实际资源使用率

可以通过它更好地查看kubernetes集群资源，以便优化资源分配。Kubeeagleeks在Kubeeagle的基础上有一个附加特性

qq_道可道·2024-01-27 15:55

EKS【k8s】集群使用helm部署 jumpServer

一、环境要求Kubernetes1.20+Helm3.0redis>=6.2mysql>=5.7【也可以使用MariaDB但是版本必须>=10.6】jumpserver版本:v3.10.1【社区版】二、安装部署1.添加chart源$helmrepoaddjumpserverhttps://jumpserver.github.io/helm-charts2.列出拉取的chart包$helmrepol

干运维小白·2024-01-27 15:24

K8S使用helm部署vault集群

一、Helm安装MySQL备注：安装mysql只是测试vault加密的数据能否测试登录mysql，并不是把mysql作为vault数据库存储使用1.创建名称空间$kubectlcreatenamespacevault2.添加mysql仓库$helmrepoaddbitnamihttps://charts.bitnami.com/bitnami"bitnami"hasbeenaddedtoyourr

干运维小白·2024-01-27 15:54

AWS学习笔记-EKS创建and升级集群笔记

大鹅i·2024-01-27 15:23

推荐频道

hadoop2+集群+yarn