E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
自动化运维Debezium集群
es搭建
集群
模式时出现master not discovered or elected yet, an election requires two nodes with ids [xxx,xxx]问题
ES8.7版本配置
集群
时出现master节点异常情况大概率是因为第一次启动es
集群
模式时报错了,只需删除es安装目录中的data目录,然后kill掉es进程,重新启动就好了data目录是Elasticsearch
-00
·
2024-02-05 17:03
elasticsearch
大数据
搜索引擎
Kafka2.13
集群
搭建
准备3台服务器,并配置hosts172.17.0.2 node0172.17.0.3 node1172.17.0.4 node2在其中一台服务器中搭建Zookeeper(单机或
集群
都可以)Zookeeper
咩哥无敌
·
2024-02-05 17:57
kafka
kafka
zookeeper
分布式
hadoop调优-HDFS
集群
数据不均衡处理hdfs balancer
查看当前的数据分布情况:hdfsdfsadmin-report现象一:
集群
上经常会增添新的DataNode节点,或者人为干预将数据的副本数降低或者增加。
不会吐丝的蜘蛛侠。
·
2024-02-05 16:08
Hadoop
hadoop
hdfs
big
data
HDFS BALANCER
介绍Hadoop的HDFS
集群
非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如
集群
中添加新的数据节点。
风筝Lee
·
2024-02-05 16:07
hadoop
hdfs
balancer
HDFS DataNode高密度存储机型的探索尝试
这里就涉及到了数据存储能力的问题,需要存储的数据越多,其实意味着我们需要更多的机器来扩增HDFS
集群
存储的总capacity。但是机器数量的变多另外一方面带来的则是机器费用成本的巨大开销。
Android路上的人
·
2024-02-05 16:05
Hadoop
HDFS
hadoop
big
data
hdfs
CDH使用Disk Balancer平衡磁盘HDFS数据
文章目录前言启用磁盘平衡器生成磁盘平衡器任务执行磁盘平衡任务查询磁盘平衡任务是否完成参考来源前言当
集群
磁盘空间不足时,需要增加新硬盘到机器,此时新加入的磁盘空间基本为空,而旧磁盘则已占用很多。
Alderaan
·
2024-02-05 16:05
Cloudera
CDH
cloudera
hdfs
disk
balancer
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整(hdfs balancer )——经验总结
Hadoop
集群
Datanode数据倾斜,个别节点hdfs空间使用率达到95%以上,于是新增加了三个Datenode节点,由于任务还在跑,数据在不断增加中,这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88
·
2024-02-05 16:05
Hadoop
hdfs
提升CKA考试胜算:一文带你全面了解RBAC权限控制!
kubernetes
集群
相关所有的交互都通过apiserver来完成,对于这样集中式管理的系统来说,从1.6版本起,K8S默认启用RBAC访问控制策略,目前RBAC已
didiplus
·
2024-02-05 16:14
K8S
CKA
kubernetes
RBAC
CKA
云原生
CKA真题
揭秘高效运维:如何用kubectl top命令实时监控K8s资源使用情况?
kubectltop是一个用于查看Kubernetes
集群
中资源使用情况的命令。它可以显示节点或Pod的CPU、内存和存储的使用情况。该命令要求正确配置MetricsServer并在服务器上工作。
didiplus
·
2024-02-05 16:14
K8S
CKA
运维
kubernetes
容器
v1.28.2
CKA
Kubernetes Operator
文章目录一、概述二、基础1.Redis
集群
1.1.文档1.2.安装1.3.删除
集群
1.4.测试1.5.扩缩容2.RabbitMQ
集群
2.1.文档2.2.安装Kubernetes#Kuberneteshttps
IoTHub - 物联网开源技术社区
·
2024-02-05 15:21
Kubernetes
云原生
kubernetes
容器
云原生
PG 异常状态- active+undersized+degraded
自己搭的3个OSD节点的
集群
的健康状态经常处在”WARN”状态,replicas设置为3,OSD节点数量大于3,存放的data数量也不多,ceph-s不是期待的healthok,而是active+undersized
Joncc
·
2024-02-05 15:03
论文阅读-CARD:一种针对复制元数据服务器
集群
的拥塞感知请求调度方案
论文名称:CARD:ACongestion-AwareRequestDispatchingSchemeforReplicatedMetadataServerCluster摘要复制元数据服务器
集群
(RMSC
向来痴_
·
2024-02-05 14:54
服务器
运维
论文阅读
为什么ECS更适合深度学习,而轻量型不适合,而且他们说ECS适合
集群
部署,轻量型为什么就不适合
计算能力和资源配置:深度学习任务通常需要大量的计算资源和内存,以处理复杂的模型和大规模的数据集。ECS服务器提供了更丰富的实例规格和可选的计算性能,可以满足深度学习任务的高要求。而轻量型云服务器通常具有较低的计算能力和资源配置,不太适合处理大规模的深度学习任务。高性能网络和存储:深度学习任务通常需要高带宽和低延迟的网络传输,以便在分布式训练或数据处理过程中进行高效的通信。ECS服务器提供了高性能的
Fairy要carry
·
2024-02-05 14:23
深度学习
人工智能
k8s -ingress
概念Ingress公开了从
集群
外部到
集群
内服务的HTTP和HTTPS路由,ingress能代理
集群
为内部的网络,将
集群
外部的HTTP/HTTPS网络请求转发至不同的service,其本质就是创建一个NodePort
学的好秃的早
·
2024-02-05 14:52
k8s
kubernetes
容器
云原生
K8S-Service
服务类型:可通过sepc.type属性设置服务类型ClusterIP通过
集群
的内部IP暴露服务,选择该值时服务只能够在
集群
内部访问。这也是你没有为服务显式指定type时使用的默认值。
学的好秃的早
·
2024-02-05 14:21
k8s
kubernetes
容器
云原生
《向量数据库指南》——Milvus Cloud
集群
」生产环境永远推荐使用
集群
模式
「
集群
」生产环境永远推荐使用
集群
模式“MilvusCloud单
集群
,能到百亿向量吗?还是到十亿级?”“MilvusCloudstandalone中的数据如何迁移到MilvusCloud
集群
中?”
LCHub低代码社区
·
2024-02-05 14:13
数据库
milvus
向量数据库
Milvus
Cloud
Milvus
ModaHub
《向量数据库指南》——Milvus Cloud「日志」问题定位的指南针
“2.X
集群
的日志在哪里导啊”“现在没有对MilvusCloud进行任何读写操作,但是日志还是不断增加,这正常吗?”“请教下k8s部署的MilvusCloud日志如果持久化,只能使用共享存储吗?
LCHub低代码社区
·
2024-02-05 14:10
《向量数据库指南》
milvus
Milvus
Cloud
向量数据库
人工智能
AIGC
LChub
低代码
go-redis hash slot 之旅
搭建redis
集群
创建一个网桥dockernetworkcreate-dbridge--subnet=192.168.148.0/24--gateway=192.168.148.1-oparent=eno1redis-net
spcof
·
2024-02-05 14:00
redis
golang
redis
哈希算法
flink写入es的参数解析
ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES
集群
。在发送批量动作前,BulkProcessor先缓存,再刷新。
大大大大肉包
·
2024-02-05 13:54
flink
Elasticsearch
es
Nacos配置管理(手把手教你搭建Nacos
集群
)
Nacos配置管理统一配置管理以上把某些配置放到了nacos中,那微服务应该如何从nacos中获取配置呢?去哪读取?–bootstrap.yml读取谁?-读nacos地址注意:与nacos地址和nacos配置文件有关的内容均放在bootstrap.yml中操作如下1.在服务(这里选userservice)的pom文件中引入Nacos的配置管理客户端依赖:com.alibaba.cloudsprin
程序员老周666
·
2024-02-05 13:21
微服务
云原生
服务发现
java
spring
cloud
后端
spring
虚拟机中配置centos静态IP地址
平时测试的时候,不管是使用Redis的的
集群
服务还是使用mysql的主从服务,还是连接centos,都会出现ip地址不断地变化的情况,导致需要重新配置,非常的不方便。
雾林小妖
·
2024-02-05 13:10
Linux
配置静态IP
虚拟机配置静态IP
centos配置静态IP
6.Linux虚拟机下的Hadoop
集群
搭建之完全分布式配置
linux-x64本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、配置Hadoop
集群
主节点
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
hadoop
分布式
linux
Hadoop一键启动脚本编写
一、问题描述针对Hadoop
集群
使用start-dfs.shstart-yarn.sh进程无法全部启动,但是使用单独启动命令可以启动的问题进行解决。
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
linux
hadoop
4.Linux虚拟机下的Hadoop
集群
搭建之Xshell及Xftp的使用和SSH服务配置
Hadoop及相关组件搭建指导WeChat:h19396218469本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、Xshell和Xftp的使用在这里我们首先要了解两个软件,一个是Xshell另一个是Xftp。1.Xshell是一个强大的安全终端模拟软件,它支持SSH1,SS
学习BigData
·
2024-02-05 13:31
关于Hadoop的学习笔记
linux
hadoop
ssh
深入探索Elasticsearch数据写入黑箱
Elasticsearch数据写入涉及多个步骤过程,以此来确保数据能够高效、安全地存储在
集群
中。本文将带你探索Elasticsearch对数据的操作流程。
超越不平凡
·
2024-02-05 12:58
elasticsearch
大数据
搜索引擎
es数据操作
Elasticsearch(二)
在一个
集群
中,可以定义任意多的索引。能搜索的数据必须索引,这样的好处是可以提高查询速度,比如:新华字典
蒋一清
·
2024-02-05 11:16
搜索引擎
elasticsearch
搜索引擎
java
后端
[Hadoop]万字长文Hadoop相关优化和问题排查总结
心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的cpu占用高hdfs查询慢的原因怎样判断是否是数据倾斜
集群
重启任务自动重启
王一1995
·
2024-02-05 10:55
hadoop
jvm
java
Docker 第十二章 : Docker 三剑客之 Swarm (节点管理命令)
Swarm是Docker
集群
管理工具,允许用户轻松部署和管理容器化的应用程序。通过节点管理和命令,用户可以配置Swarm
集群
,包括添加、删除和更新节点,以及执行其他与Swarm相关的操作。
半部论语
·
2024-02-05 10:23
DevOps云原生实践
docker
容器
运维
云原生
Hadoop3.x单机安装教程
以最小化的成本学习和测试Hadoop;搭建基于Hadoop的上层应用,比如单机Spark环境需要先拥有单机的Hadoop;如果需要搭建分布式
集群
环境的Hadoop环境,请参考另外一篇:Hadoop3.x
文景大大
·
2024-02-05 10:06
【Redis】理论基础 - 分区策略
通过分区,我们可以将数据分散存储在多个Redis实例中,充分利用
集群
的计算和存储资源。本篇博客将介绍Redis的分区策略以及如何水平扩展Redis。
好久不见的流星
·
2024-02-05 10:20
Reids
redis
数据库
缓存
微服务入门篇:Nacos注册中心(Nacos安装,快速入门,多级存储,负载均衡,环境隔离,配置管理,热更新,
集群
搭建,nginx反向代理)
目录1.Nacos安装1.官网下载2.解压到本地3.启动nacos2.Nacos快速入门1.在父工程中导入nacos依赖2.给子项目添加客户端依赖3.修改对应服务的配置文件4.启动服务,查看nacos发现情况3.Nacos服务多级存储模型4.NacosRule负载均衡5.服务实例的权重设置6.环境隔离(namespace)7.Nacos和Eureka的对比1.临时实例和非临时实例2.Nacos与e
JungleiRim
·
2024-02-05 10:39
微服务学习
微服务
负载均衡
架构
初始Ansible
自动化运维
工具之playbook剧本编写
一、playbook的相关知识1.1playbook的简介playbook是一个不同于使用Ansible命令行执行方式的模式,其功能更强大灵活。简单来说,playbook是一个非常简单的配置管理和多主机部署系统,不同于任何已经存在的模式,可作为一个适合部署复杂应用程序的基础。Playbook可以定制配置,可以按照指定的操作步骤有序执行,支持同步和异步方式。我们完成一个任务,例如安装部署一个http
为什么老是名字被占用
·
2024-02-05 10:33
运维
ansible
自动化
CDH添加新节点小记
最近
集群
有个节点挂掉了,在修复以后,重新作为新节点加入到
集群
中。
sx_1706
·
2024-02-05 09:59
大数据
大数据
在 CDH 中调优 Apache Hive on Spark
本主题假设您的
集群
由ClouderaManager管理,并且您使用YARN作为Spark
集群
管理器。以下部分中描述的
海阔天空&沫语
·
2024-02-05 09:27
大数据/架构
hive
hadoop
spark
CDH6.3.2 多 Spark 版本共存
opt/cloudera/parcels/CDH/libcd/opt/cloudera/parcels/CDH/libmvspark-3.3.1-bin-3.0.0-cdh6.3.2/spark3将CDH
集群
的
大数据AI
·
2024-02-05 09:56
大数据从入门到精通
spark
cdh
第二讲《k8s资源介绍:Namespace与Pod 》
一、namespace介绍1.概念在Kubernetes中,命名空间(Namespace)提供一种机制,将同一
集群
中的资源划分为相互隔离的组。
风向决定发型丶
·
2024-02-05 09:48
k8s专题分享
kubernetes
docker
容器
(译)Kubernetes 如何控制你的
集群
原文地址:https://hackernoon.com/level-triggering-and-reconciliation-in-kubernetes-1f17fe30333dkubernetes是到目前为止最流行的容器编排系统,它的成功主要源自于它的稳定性。所有的软件都会有bug,但在容器编排领域,kubernetes比它的其他竞争者更可靠。kubernetes不管怎么样,最终都会达到并且一
bebc
·
2024-02-05 09:47
k8s
docker
kubernetes
云原生
容器
k8s笔记4--k8s基础概念
k8s基础概念1k8s概述2功能特性3核心组件4资源对象4.1pod概述4.2deployment概述4.3service4.4Ingress介绍5说明1k8s概述Kubernetes是谷歌开源的容器
集群
管理系统
昕光xg
·
2024-02-05 09:17
K8S
&
Docker
kubernetes
k8s核心组件
k8s资源对象
k8s
微服务
k8s分享下-service 网络 卷
因为直接通过pod的IP+port获取服务存在如下两个问题:1)调用地址不稳定,pod可能出现故障,那么新的pod产生的IP和port都会发生变化2)
集群
(多pod实例)场景无法自动实现负载均衡service
深山猿
·
2024-02-05 09:45
k8s
网络
kubernetes
docker
【Kafka面试】Kafka的高可用机制有了解吗?
一、
集群
模式Kafka
集群
由多个broker组成,每个broker就是Kafka实例。假如某个broker宕机,在
集群
中其他的broker依然可以对外提供服务,这个就是
集群
能够保证高可用性。
TAIKEMAN
·
2024-02-05 09:44
Kafka
kafka
kafka副本高可用机制
Kafka的每个topic都可以分为多个Partition,并且多个partition会均匀分布在
集群
的各个节点下。
catch that elf
·
2024-02-05 09:44
kafka
kafka副本机制
kafka
kafka副本
数据同步
kafka高可用(
集群
)
实时上rabbitmq并不分布式消息队列,他就是传统的消息对了,只不过提供了一些
集群
,HA的机制而已,因为
GoslingWu
·
2024-02-05 09:13
队列
分布式
kafka
zookeeper
rabbitmq
消息队列三|Kafka 如何做到高可用?
并且通过多副本机制实现故障的自动转移,在kafka
集群
中某个broker节点失效的情况下仍然能保持服务可
不落叶的榕树
·
2024-02-05 09:11
消息队列
java
消息队列
高并发
kafka高可用
集群
搭建
kafka高可用
集群
搭建说明这篇博文主要是为了后面的elk做准备,我们这里搭建一个kafka
集群
,使用2个节点,还是前面的节点。主要是为了后面做数据缓冲。
憧憬blog
·
2024-02-05 09:40
分布式
kafka
java
zookeeper
linux
Kafka基于Zookeeper搭建高可用
集群
实战
目录1、前言1.1高可用的由来1.2相关术语2、架构图3、发送消息流程4、部署kafka&zookeeper
集群
4.1准备工作4.2启动zookeeper
集群
4.3启动kafka
集群
4.4测试5、kafka
八五年的湘哥
·
2024-02-05 09:39
#
Kafka
zookeeper
分布式
kafka
java
kafka 高可用副本配置指南
目录以实际情况为准可以进入kafka/bin里面,有kafka一般操作脚本kafka连接的zookeeper的地址在kafka/config/server.properties里面,执行脚本需要zk地址查询kafka
集群
有多少
黑虎堂堂主
·
2024-02-05 09:38
花非花
java
kafka
Docker搭建redis主从
集群
一、介绍这篇文章主要介绍如何使用Docker在本机搭建一个带有主从复制功能的Redis环境,内容包括涉及的目录结构、docker-compose.yml的编写,以及结果的验证。二、目录结构介绍主要目录结构如下:image.png2.1配置redis节点信息redis-master.confbind127.0.0.1#启用保护模式#即在没有使用bind指令绑定具体地址时#或在没有设定密码时#Redi
_二师兄_
·
2024-02-05 09:05
Docker 搭建mysql
集群
(二)
PXC方案很明显PXC方案在任何一个节点写入的数据都会同步到其他节点,数据双向同步的(在任何节点上都可以同时读写)创建MySQLPXC
集群
1安装PXC镜像dockerpullpercona/percona-xtradb-cluster
管理大亨
·
2024-02-05 09:36
docker
mysql
容器
docker搭建mysql
集群
要求:一台装有centos7.6以上的服务器,docker安装完毕该方法是基于dockers搭建的mysql的主从
集群
,一主一从拉取mysql的镜像dockerpullmysql:8.0.25启动容器,
贪吃的程序猫
·
2024-02-05 09:32
docker
mysql
docker搭建Mysql
集群
准备(一)
docker搭建Mysql
集群
准备Linux基本知识:修改机器IP,变成静态IPvim/etc/sysconfig/network-scripts/ifcfg-ens33文件TYPE=EthernetPROXY_METHOD
管理大亨
·
2024-02-05 09:01
eureka
云原生
上一页
23
24
25
26
27
28
29
30
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他