hadoop2+集群+yarn

CentOS7集群安装JDK1.8

准备工作1、提前安装三台虚拟机，可以参考:https://mp.csdn.net/mp_blog/creation/editor/1360101082、三台虚拟机分别配置免密登录，参考：https://blog.csdn.net/LSW_JAVADP/article/details/121757927安装JDK一、官网下载对应JDK自己用的：链接：https://pan.baidu.com/s/1
在下区区俗物·2024-02-07 12:30

CentOS7集群配置免密登录

准备工作提前开启三台虚拟机hadoop102、hadoop103,hadoop104,关于三台虚拟机的安装可以参考：https://mp.csdn.net/mp_blog/creation/editor/136010108配置免密登录一、分别修改三台机器的hosts,配置主机映射关系vim/etc/hosts文件中输入以下内容：IPhostname192.168.10.132hadoop10219
在下区区俗物·2024-02-07 12:00

CentOS7搭建Hadoop集群

准备工作1、准备三台虚拟机，参考：CentOS7集群环境搭建（3台）-CSDN博客2、配置虚拟机之间免密登录，参考：CentOS7集群配置免密登录-CSDN博客3、虚拟机分别安装jdk，参考：CentOS7
在下区区俗物·2024-02-07 12:57

独家解读！阿里首次披露自研飞天大数据平台技术架构

据介绍，飞天大数据平台由阿里自主研发，可扩展至10万台计算集群，是目前全球集群规模最大的计算平台。
DP29syM41zyGndVF·2024-02-07 11:13

主从不一致解决方案 && 如何降低主从延迟

DB主从一致性架构优化4种方法mysql并行复制降低主从同步延时的思路与启示其他文章参考见文末：Mysql复制方式(半同步复制，并行复制，多源复制)问：常见的数据库集群架构如何？
Lucky小黄人·2024-02-07 11:28

sheng的学习笔记-redis框架原理

摘要：redis命令，使用场景，持久化，缓存穿透，缓存雪崩，缓存击穿，持久化（RDB,AOF），事务，锁，集群，主从复制原理，哨兵模式目录基础知识官网：中文官网：redis中文官方网站英文官网：https
coldstarry·2024-02-07 11:41

Redis核心技术与实战【学习笔记】 - 26.Redis数分布优化（应对数据倾斜问题）

简述在切片集群中，数据会按照一定的规则分散到不同的实例上保存。
陈建111·2024-02-07 11:10

hadoop集群搭建踩坑实录

由于不可控以及不可知的原因我搭建的hadoop集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过
温文尔雅的流氓·2024-02-07 10:39

Hadoop分布式计算实验踩坑实录及小结

目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_·2024-02-07 10:08

Redis（九）集群（cluster）

文章目录概述作用1.redis集群的槽位slot2.redis集群的分片3.第1,2点的优势：**最大优势，方便扩缩容和数据分派查找**4.slot槽位映射，一般业界有3种解决方案第一种：哈希取余分区第二种
Lucky_Turtle·2024-02-07 10:26

二进制方式部署k8s集群1.21版本-域名形式

二进制方式部署k8s-1.21版本-域名形式说明：系统参数主机名称IP地址部署节点部署组件m1192.168.11.187k8s1:masterk8s2:masterk8s1：etcd、apiserver、controller-manager、schedulerk8s2：etcd、apiserver、controller-manager、schedulern1192.168.11.188k8s1:
安安csdn·2024-02-07 09:57

【错误解决】etcdkeeper：context deadline exceeded

responseText”:“”,“status”:0,“statusText”:“error”}解决办法在装etcdkeeper的主机上的etcd配置文件加上http://127.0.0.1:2379etcd集群的地址用
安安csdn·2024-02-07 09:56

【错误解决】新建etcd集群报错：publish error: etcdserver: request timed out

所以要把etcd集群中所有主机都配置好，同时启动就OK了。所以，一定要同时启动，同时启动，同时启动。血与泪的教训呀！
安安csdn·2024-02-07 09:56

【错误解决】kubelet状态一直是 activing

场景使用二进制的方式搭建k8s集群现象kubelet状态一直是activingkubectlgetnode也没有任何资源原因通过journalctl-xefukubelet查看kubele日志发现：failedtorunKubelet
安安csdn·2024-02-07 09:56

[错误解决]centos中使用kubeadm方式搭建一个单master的K8S集群

安装步骤参考该大佬博客---------[ningan@k8s-masterpv]$kubectlgetpodTheconnectiontotheserverlocalhost:8080wasrefused-didyouspecifytherighthostorport?切换到root用户就好了-----------错误提示[ERRORFileContent–proc-sys-net-ipv4-i
安安csdn·2024-02-07 09:55

kubernetes CRD介绍及用kubebuilder编写自己的CRD及Controller

CRDapi2.4.3安装CRD2.4.4部署controller方法1：本地运行controller方法2：将controller部署到Kubernetes构建docker镜像并发布到仓库中部署镜像到集群
安安csdn·2024-02-07 09:55

[错误解决]centos中使用kubeadm方式搭建多master的高可用K8S集群

安装步骤部署KubernetesMaster时的错误部署KubernetesMaster时，创建了一个kubeadm-config.yaml文件，将相关配置信息放到这个地方，该文件如下：apiServer:certSANs:-master1-master2-master.k8s.io-192.168.44.158#虚拟ip-192.168.44.155#master1的ip-192.168.44.
安安csdn·2024-02-07 09:25

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿·2024-02-07 09:48

Elasticsearch三节点集群搭建

Elasticsearch三节点集群搭建1、Elasticsearch简介Elasticsearch是一款近实时的分布式搜索、分析引擎，可以动态横向扩展以应对数据的增长。
TSLONG_TSL·2024-02-07 09:18

ElasticSearch三master节点集群状态查看方法

ES集群的状态实际上也是使用RESTful的接口，一般用的是GET方法http://[主机IP]:[ES端口]通常我们启动服务器之后，就可以通过这个简单的方式来验证服务器是否启动成功。
时倾 | 职业人生·2024-02-07 09:17

ELK日志系统技术架构

架构1.0问题和挑战：主要配置1.ES集群中所有节点使用虚拟机2.索引按照天生成3.数据节点负责数据的索引4.通过Nginx将用户的检索请求负载在数据节点运行状况部分索引节点负载非常高2.索引速度非常慢
leo_hush·2024-02-07 09:58

ES节点故障的容错方案

ES节点故障的容错方案1.es启动加载逻辑1.1segment和translg组成和分析1.2es节点启动流程1.3es集群的初始化和启动过程2.master高可用2.1选主逻辑2.1.1过滤选主的节点列表
李姓门徒·2024-02-07 08:22

Redis面试题——恕我无能只写到了第十个就写不下不去，我相信你们也看不下去了，这会已经一万五千字了，等后续有精力在补全吧

A：No以下是一些Redis的非单线程方面：持久化：复制：键过期和内存清理：模块系统：集群消息传播：客户端输入缓冲：因此二、Redis使用的多路I/O复用技术是什么？1、select:2、p
苏汀star·2024-02-07 08:54

Redis——面试+思想+应用

文章目录简介Redis基本介绍：性能：持久性和复制：补充——重点：Redis额外支持的操作：使用场景：与Java的集成：Redis集群RedisSentinel优点：缺点：适用场景：RedisCluster
苏汀star·2024-02-07 08:53

K8S的容器执行kill命令怎么让重启容器

一、在k8s集群中重启容器的方法1、使用RollingRestart（滚动重启）：如果使用的是Deployment，StatefulSet等控制器，可以通过更新相关的Pod模板或配置来触发滚动重启。
NullzzZ·2024-02-07 07:25

k8s是什么，和docker有啥关系？

3，k8s的特性4，kubernetes集群架构和对应组件5，k8s核心概念我们都知道docker靠docker-compose单机编排容器，就是把多个容器放在脚本中一起运行，但是他是单机编排容器，如果我想实现多机编排呢
OSoooo·2024-02-07 07:20

一文搞懂Kafka中的listeners配置策略

集群节点之间同步什么数据，通过哪个端口，是否可以自定义端口？客户端通过哪个端口连接到kafka，通过9092连接的是什么，broker还是controller？
程序饲养员·2024-02-07 07:15

Redis核心技术与实战【学习笔记】 - 27.限制Redis Cluster规模的因素（通信开销）

简述RedisCluster能保存的数据量以及支撑的吞吐量，跟集群实例规模相关。Redis官方给出了RedisCluster的规模上线，就是一个集群运行1000个实例。
陈建111·2024-02-07 07:13

如何为Kafka加上账号密码（一）

Kafka认证基本概念一直以来，我们公司内网的Kafka集群都是在裸奔，只要知道端口号，任何人都能连上集群操作一番。直到有个主题莫名消失，才引起我们的警觉，是时候该考虑为它添加一套认证策略了。
程序饲养员·2024-02-07 07:12

Redis缓存高可用集群

Redis集群方案哨兵集群在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master
车马去闲闲丶·2024-02-07 07:11

数据库学习案例20240206-ORACLE NEW RAC agent and resource关系汇总。

1集群架构图整体集群架构图如下：1数据库启动顺序OHASD层面操作系统进程init.ohasdrun启动ohasd.bininit.ohasdrun集群自动启动是否被禁用crsctlenablehas/
执笔画情ora·2024-02-07 06:46

Spark scala如何本地运行

运行一个spark任务需要打包任务并上传到spark集群上运行，但是往往远端运行时间较长、众多处理器的日志收集困难，导
HanhahnaH·2024-02-07 06:03

【分布式技术专题】「Zookeeper中间件」Paxos协议的原理和实际运行中的应用流程分析

Paxos算法主要是针对Zookeeper这样的master-slave集群对某个决议达成
洛神灬殇·2024-02-07 06:45

【微服务】Nacos注册中心（2）:负载均衡、权重、环境隔离

文章目录Nacos注册中心服务分级存储模型给user-service配置集群同集群优先的负载均衡权重配置环境隔离创建namespace给微服务配置namespaceNacos注册中心服务分级存储模型一个服务可以有多个实例
忻辰i·2024-02-07 05:37

Nacos的集群配置、NacosRule负载均衡、权重设置、namespace

，有8081、8082、8083端口三个实例），我们在同一个机房部署所有的服务很不安全，应对突发状况时，就像鸡蛋放在一个篮子里；很不安全，很不友好，所有我们需要分开部署机房与服务器；一个服务可以分多个集群部署
茂桑·2024-02-07 05:05

一篇带你了解私有仓库 Harbor 的搭建

Harbor是由VMware公司开源的企业级的DockerRegistry管理项目，相比docker官方拥有更丰富的权限权利和完善的架构设计，适用大规模docker集群部署提供仓库服务。
AAA小肥杨·2024-02-07 05:32

zookeeper集群部署

zookeeper.apache.org/doc/r3.4.14/zookeeperStarted.html主要是对conf/zoo.cfg文件的配置这里配置还没有完成，需要制定myid文件，来指定当前机器所属集群的节点编号注意这里的
机灵鬼鬼·2024-02-07 05:05

【转载】详解残差网络

在深度学习中，网络层数增多一般会伴着下面几个问题计算资源的消耗模型容易过拟合梯度消失/梯度爆炸问题的产生问题1可以通过GPU集群来解决，对于一个企业资源并不是很大的问题；问题2的过拟合通过
yepeng2007fei·2024-02-07 05:15

k8s+docker集群整合搭建（完整版）

Kubernetes(k8s)是Google开源的容器集群管理系统（谷歌内部:Borg）。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务
928-y·2024-02-07 04:16

3.0 Zookeeper linux 服务端集群搭建步骤

本章节将示范三台zookeeper服务端集群搭建步骤。
二当家的素材网·2024-02-07 03:27

Spring Boot整合Kafka

Kafka的几个基本术语：Kafka将消息以topic为单位进行归纳；将向Kafkatopic发布消息的程序成为producers；将预订topics并消费消息的程序成为consumer；Kafka以集群的方式运行
一只倔强的蜗牛·2024-02-07 03:56

Kubernetes 安装

集群信息1.节点规划部署k8s集群的节点按照用途可以划分为如下2类角色：master：集群的master节点，集群的初始化节点，基础配置不低于2C4Gslave：集群的slave节点，可以多台，基础配置不低于
smallFish20·2024-02-07 02:23

Spark RDD的学习(JAVA)

每一个RDD都会被分成多个分区，不同的分区运行在集群的不同节点，这就构成了Spark的分布式计算模型。RDD创建我们可以通过两种方式创建RDD。一种方式是直接读取外部数据，这在我们
啊其11·2024-02-07 02:47

Spring Cloud-Erueka服务注册&发现

零、本文纲要一、服务暴露&调用二、服务注册&发现三、服务注册&发现(集群)四、负载均衡五、负载均衡部分源码tips：Ctrl+F快速定位到所需内容阅读吧。
石头耳东·2024-02-07 02:53

云原生 | Kubernetes - kubectl 备忘单

Kubectlapply创建对象查看和查找资源更新资源部分更新资源编辑资源对资源进行伸缩删除资源与运行中的Pod进行交互从容器中复制文件和目录与Deployments和Services进行交互与节点和集群进行交互资源类型格式化输出
不会调制解调的猫·2024-02-07 01:41

Redis不是一直号称单线程效率也很高吗，为什么又采用多线程了？

Redis作为一个成熟的分布式缓存框架，它由很多个模块组成，如网络请求模块、索引模块、存储模块、高可用集群支撑模块、数据操作模块等。
小梁同学jxy·2024-02-07 00:12

Hadoop集群（第10期副刊）_常用MySQL数据库命令

1、系统管理1.1连接MySQL格式：mysql-h主机地址-u用户名－p用户密码举例：例1：连接到本机上的MySQL。首先在打开DOS窗口，然后进入目录mysqlbin，再键入命令"mysql–uroot–p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了，MySQL的提示符是：mysql>。例2：连接到远程主机上的MYSQL。
阿布2·2024-02-07 00:08

基于Google guava工具实现一致性Hash算法的应用实践

要将数据存储到具体的节点上，如果采用普通的key%N取模Hash算法，将数据映射到具体的节点上，就有可能大部分数据集中在某一个节点，形成“热点”数据，造成数据分布失衡，二是如果有一个机器加入或退出这个集群
小满别摸鱼·2024-02-07 00:05

zookeeper leader、follower同步

zookeeper集群启动的时候，首先读取配置，接着开始选举，选举完成以后，每个server根据选举的结果设置自己的角色，角色设置完成后leader需要和所有的follower同步同步过程设置server
tracy_668·2024-02-07 00:06

rancher2.7.5部署kubernetesv1.26版本集群

简介硬件服务器层面，目前三台机器搭建k8s服务，一台服务器用于存储，一台服务器用于rancher服务ip地址用途50.50.100.131k8s.master0150.50.100.132k8s.node0150.50.100.133k8s.node0250.50.100.134k8s.nfs50.50.100.135k8s.rancher软件版本层面，rancher服务版本v2.7.6，内核5.
运维潇哥·2024-02-06 23:18
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他