E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
dubbo集群容错
好老师好书推荐~超级搜索术:帮你找到99%问题的答案
信息达人不
容错
过的经典!甄选近100个实际案例、200余个应用场景
妙文思语
·
2024-02-05 17:31
hadoop调优-HDFS
集群
数据不均衡处理hdfs balancer
查看当前的数据分布情况:hdfsdfsadmin-report现象一:
集群
上经常会增添新的DataNode节点,或者人为干预将数据的副本数降低或者增加。
不会吐丝的蜘蛛侠。
·
2024-02-05 16:08
Hadoop
hadoop
hdfs
big
data
HDFS BALANCER
介绍Hadoop的HDFS
集群
非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如
集群
中添加新的数据节点。
风筝Lee
·
2024-02-05 16:07
hadoop
hdfs
balancer
HDFS DataNode高密度存储机型的探索尝试
这里就涉及到了数据存储能力的问题,需要存储的数据越多,其实意味着我们需要更多的机器来扩增HDFS
集群
存储的总capacity。但是机器数量的变多另外一方面带来的则是机器费用成本的巨大开销。
Android路上的人
·
2024-02-05 16:05
Hadoop
HDFS
hadoop
big
data
hdfs
CDH使用Disk Balancer平衡磁盘HDFS数据
文章目录前言启用磁盘平衡器生成磁盘平衡器任务执行磁盘平衡任务查询磁盘平衡任务是否完成参考来源前言当
集群
磁盘空间不足时,需要增加新硬盘到机器,此时新加入的磁盘空间基本为空,而旧磁盘则已占用很多。
Alderaan
·
2024-02-05 16:05
Cloudera
CDH
cloudera
hdfs
disk
balancer
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整(hdfs balancer )——经验总结
Hadoop
集群
Datanode数据倾斜,个别节点hdfs空间使用率达到95%以上,于是新增加了三个Datenode节点,由于任务还在跑,数据在不断增加中,这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88
·
2024-02-05 16:05
Hadoop
hdfs
提升CKA考试胜算:一文带你全面了解RBAC权限控制!
kubernetes
集群
相关所有的交互都通过apiserver来完成,对于这样集中式管理的系统来说,从1.6版本起,K8S默认启用RBAC访问控制策略,目前RBAC已
didiplus
·
2024-02-05 16:14
K8S
CKA
kubernetes
RBAC
CKA
云原生
CKA真题
揭秘高效运维:如何用kubectl top命令实时监控K8s资源使用情况?
kubectltop是一个用于查看Kubernetes
集群
中资源使用情况的命令。它可以显示节点或Pod的CPU、内存和存储的使用情况。该命令要求正确配置MetricsServer并在服务器上工作。
didiplus
·
2024-02-05 16:14
K8S
CKA
运维
kubernetes
容器
v1.28.2
CKA
分布式序列化机制分析
序列化结果比较大,传输效率比较低不能跨语言对接XML编码格式的对象序列化机制成为了主流HTTPRESTful开始成为实际应用场景下的风格序列化机制包含很多方式:MessagePackProtocolBuffers
Dubbo
Hessionkryo
猿日记
·
2024-02-05 16:52
关于hystrix和ribbon的超时时间的关系
在使用Ribbon和Hystrix进行服务调用时,Ribbon负责服务的发现和负载均衡,而Hystrix则负责服务的
容错
和熔断。
懒出境界~才叫懒
·
2024-02-05 15:25
hystrix
ribbon
服务器
Kubernetes Operator
文章目录一、概述二、基础1.Redis
集群
1.1.文档1.2.安装1.3.删除
集群
1.4.测试1.5.扩缩容2.RabbitMQ
集群
2.1.文档2.2.安装Kubernetes#Kuberneteshttps
IoTHub - 物联网开源技术社区
·
2024-02-05 15:21
Kubernetes
云原生
kubernetes
容器
云原生
PG 异常状态- active+undersized+degraded
自己搭的3个OSD节点的
集群
的健康状态经常处在”WARN”状态,replicas设置为3,OSD节点数量大于3,存放的data数量也不多,ceph-s不是期待的healthok,而是active+undersized
Joncc
·
2024-02-05 15:03
论文阅读-CARD:一种针对复制元数据服务器
集群
的拥塞感知请求调度方案
论文名称:CARD:ACongestion-AwareRequestDispatchingSchemeforReplicatedMetadataServerCluster摘要复制元数据服务器
集群
(RMSC
向来痴_
·
2024-02-05 14:54
服务器
运维
论文阅读
Dubbo
之服务注册
在上一篇文章
Dubbo
之服务暴露分析中介绍了当远程暴露时,如果有注册中心,需要在服务暴露后再将服务注册到注册中心。该篇将介绍该功能的有关步骤。
九点半的马拉
·
2024-02-05 14:32
为什么ECS更适合深度学习,而轻量型不适合,而且他们说ECS适合
集群
部署,轻量型为什么就不适合
计算能力和资源配置:深度学习任务通常需要大量的计算资源和内存,以处理复杂的模型和大规模的数据集。ECS服务器提供了更丰富的实例规格和可选的计算性能,可以满足深度学习任务的高要求。而轻量型云服务器通常具有较低的计算能力和资源配置,不太适合处理大规模的深度学习任务。高性能网络和存储:深度学习任务通常需要高带宽和低延迟的网络传输,以便在分布式训练或数据处理过程中进行高效的通信。ECS服务器提供了高性能的
Fairy要carry
·
2024-02-05 14:23
深度学习
人工智能
k8s -ingress
概念Ingress公开了从
集群
外部到
集群
内服务的HTTP和HTTPS路由,ingress能代理
集群
为内部的网络,将
集群
外部的HTTP/HTTPS网络请求转发至不同的service,其本质就是创建一个NodePort
学的好秃的早
·
2024-02-05 14:52
k8s
kubernetes
容器
云原生
K8S-Service
服务类型:可通过sepc.type属性设置服务类型ClusterIP通过
集群
的内部IP暴露服务,选择该值时服务只能够在
集群
内部访问。这也是你没有为服务显式指定type时使用的默认值。
学的好秃的早
·
2024-02-05 14:21
k8s
kubernetes
容器
云原生
《向量数据库指南》——Milvus Cloud
集群
」生产环境永远推荐使用
集群
模式
「
集群
」生产环境永远推荐使用
集群
模式“MilvusCloud单
集群
,能到百亿向量吗?还是到十亿级?”“MilvusCloudstandalone中的数据如何迁移到MilvusCloud
集群
中?”
LCHub低代码社区
·
2024-02-05 14:13
数据库
milvus
向量数据库
Milvus
Cloud
Milvus
ModaHub
《向量数据库指南》——Milvus Cloud「日志」问题定位的指南针
“2.X
集群
的日志在哪里导啊”“现在没有对MilvusCloud进行任何读写操作,但是日志还是不断增加,这正常吗?”“请教下k8s部署的MilvusCloud日志如果持久化,只能使用共享存储吗?
LCHub低代码社区
·
2024-02-05 14:10
《向量数据库指南》
milvus
Milvus
Cloud
向量数据库
人工智能
AIGC
LChub
低代码
现在做什么副业赚钱靠谱,盘点2023年不
容错
过的副业兼职平台
做副业赚钱,现在做副业已经不是一个新话题了,特别是在这个全民皆副业的时代,每个人都可以通过自己的业余时间来做副业赚到钱!但也有很多人抱怨说,自己很努力工作,想要赚到钱却总是遇到各种困难。你以为你赚钱很容易吗?其实我们大部分的收入都来自于我们所做的这些主业之外的副业,比如:写文章、做视频、写小说、做翻译等这些都是属于我们自己所擅长和熟悉的领域。而我们所做这些都是在利用业余时间去完成。我现在已经能很熟
优惠券高省
·
2024-02-05 14:38
go-redis hash slot 之旅
搭建redis
集群
创建一个网桥dockernetworkcreate-dbridge--subnet=192.168.148.0/24--gateway=192.168.148.1-oparent=eno1redis-net
spcof
·
2024-02-05 14:00
redis
golang
redis
哈希算法
【大数据面试题】002 Flink 如何实现 Exactly-Once 语义
尽管在程序正常运行、资源充足的情况下实现Exactly-Once语义并不难,但实际生产环境中存在各种复杂情况和突发状况,因此为了可靠地实现Exactly-Once,需要以下
容错
机制
Jiweilai1
·
2024-02-05 13:54
一天一道面试题
大数据
flink
flink写入es的参数解析
ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES
集群
。在发送批量动作前,BulkProcessor先缓存,再刷新。
大大大大肉包
·
2024-02-05 13:54
flink
Elasticsearch
es
Nacos配置管理(手把手教你搭建Nacos
集群
)
Nacos配置管理统一配置管理以上把某些配置放到了nacos中,那微服务应该如何从nacos中获取配置呢?去哪读取?–bootstrap.yml读取谁?-读nacos地址注意:与nacos地址和nacos配置文件有关的内容均放在bootstrap.yml中操作如下1.在服务(这里选userservice)的pom文件中引入Nacos的配置管理客户端依赖:com.alibaba.cloudsprin
程序员老周666
·
2024-02-05 13:21
微服务
云原生
服务发现
java
spring
cloud
后端
spring
虚拟机中配置centos静态IP地址
平时测试的时候,不管是使用Redis的的
集群
服务还是使用mysql的主从服务,还是连接centos,都会出现ip地址不断地变化的情况,导致需要重新配置,非常的不方便。
雾林小妖
·
2024-02-05 13:10
Linux
配置静态IP
虚拟机配置静态IP
centos配置静态IP
6.Linux虚拟机下的Hadoop
集群
搭建之完全分布式配置
linux-x64本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、配置Hadoop
集群
主节点
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
hadoop
分布式
linux
Hadoop一键启动脚本编写
一、问题描述针对Hadoop
集群
使用start-dfs.shstart-yarn.sh进程无法全部启动,但是使用单独启动命令可以启动的问题进行解决。
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
linux
hadoop
4.Linux虚拟机下的Hadoop
集群
搭建之Xshell及Xftp的使用和SSH服务配置
Hadoop及相关组件搭建指导WeChat:h19396218469本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、Xshell和Xftp的使用在这里我们首先要了解两个软件,一个是Xshell另一个是Xftp。1.Xshell是一个强大的安全终端模拟软件,它支持SSH1,SS
学习BigData
·
2024-02-05 13:31
关于Hadoop的学习笔记
linux
hadoop
ssh
深入探索Elasticsearch数据写入黑箱
Elasticsearch数据写入涉及多个步骤过程,以此来确保数据能够高效、安全地存储在
集群
中。本文将带你探索Elasticsearch对数据的操作流程。
超越不平凡
·
2024-02-05 12:58
elasticsearch
大数据
搜索引擎
es数据操作
Elasticsearch(二)
在一个
集群
中,可以定义任意多的索引。能搜索的数据必须索引,这样的好处是可以提高查询速度,比如:新华字典
蒋一清
·
2024-02-05 11:16
搜索引擎
elasticsearch
搜索引擎
java
后端
[Hadoop]万字长文Hadoop相关优化和问题排查总结
心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的cpu占用高hdfs查询慢的原因怎样判断是否是数据倾斜
集群
重启任务自动重启
王一1995
·
2024-02-05 10:55
hadoop
jvm
java
Docker 第十二章 : Docker 三剑客之 Swarm (节点管理命令)
Swarm是Docker
集群
管理工具,允许用户轻松部署和管理容器化的应用程序。通过节点管理和命令,用户可以配置Swarm
集群
,包括添加、删除和更新节点,以及执行其他与Swarm相关的操作。
半部论语
·
2024-02-05 10:23
DevOps云原生实践
docker
容器
运维
云原生
Hadoop3.x单机安装教程
以最小化的成本学习和测试Hadoop;搭建基于Hadoop的上层应用,比如单机Spark环境需要先拥有单机的Hadoop;如果需要搭建分布式
集群
环境的Hadoop环境,请参考另外一篇:Hadoop3.x
文景大大
·
2024-02-05 10:06
【Redis】理论基础 - 分区策略
通过分区,我们可以将数据分散存储在多个Redis实例中,充分利用
集群
的计算和存储资源。本篇博客将介绍Redis的分区策略以及如何水平扩展Redis。
好久不见的流星
·
2024-02-05 10:20
Reids
redis
数据库
缓存
微服务入门篇:Nacos注册中心(Nacos安装,快速入门,多级存储,负载均衡,环境隔离,配置管理,热更新,
集群
搭建,nginx反向代理)
目录1.Nacos安装1.官网下载2.解压到本地3.启动nacos2.Nacos快速入门1.在父工程中导入nacos依赖2.给子项目添加客户端依赖3.修改对应服务的配置文件4.启动服务,查看nacos发现情况3.Nacos服务多级存储模型4.NacosRule负载均衡5.服务实例的权重设置6.环境隔离(namespace)7.Nacos和Eureka的对比1.临时实例和非临时实例2.Nacos与e
JungleiRim
·
2024-02-05 10:39
微服务学习
微服务
负载均衡
架构
JDK ,
DUBBO
, SPRING 的SPI机制
JDK,
DUBBO
,SPRING的SPI机制SPI全称为ServiceProviderInterface,是一种服务发现机制。
weimuxiaoxiao
·
2024-02-05 10:07
spring
java
spi
dubbo
Jdk、Spring、
Dubbo
之SPI机制
目录SPI简介JdkSPI机制SpringSPI机制
Dubbo
SPI机制SPI简介SPI全称是ServiceProviderInterface是一种自动服务发现注册机制。
知始行末
·
2024-02-05 10:35
伸缩式架构设计
java
spring
spring
boot
spi
dubbo
CDH添加新节点小记
最近
集群
有个节点挂掉了,在修复以后,重新作为新节点加入到
集群
中。
sx_1706
·
2024-02-05 09:59
大数据
大数据
在 CDH 中调优 Apache Hive on Spark
本主题假设您的
集群
由ClouderaManager管理,并且您使用YARN作为Spark
集群
管理器。以下部分中描述的
海阔天空&沫语
·
2024-02-05 09:27
大数据/架构
hive
hadoop
spark
CDH6.3.2 多 Spark 版本共存
opt/cloudera/parcels/CDH/libcd/opt/cloudera/parcels/CDH/libmvspark-3.3.1-bin-3.0.0-cdh6.3.2/spark3将CDH
集群
的
大数据AI
·
2024-02-05 09:56
大数据从入门到精通
spark
cdh
第二讲《k8s资源介绍:Namespace与Pod 》
一、namespace介绍1.概念在Kubernetes中,命名空间(Namespace)提供一种机制,将同一
集群
中的资源划分为相互隔离的组。
风向决定发型丶
·
2024-02-05 09:48
k8s专题分享
kubernetes
docker
容器
(译)Kubernetes 如何控制你的
集群
原文地址:https://hackernoon.com/level-triggering-and-reconciliation-in-kubernetes-1f17fe30333dkubernetes是到目前为止最流行的容器编排系统,它的成功主要源自于它的稳定性。所有的软件都会有bug,但在容器编排领域,kubernetes比它的其他竞争者更可靠。kubernetes不管怎么样,最终都会达到并且一
bebc
·
2024-02-05 09:47
k8s
docker
kubernetes
云原生
容器
k8s笔记4--k8s基础概念
k8s基础概念1k8s概述2功能特性3核心组件4资源对象4.1pod概述4.2deployment概述4.3service4.4Ingress介绍5说明1k8s概述Kubernetes是谷歌开源的容器
集群
管理系统
昕光xg
·
2024-02-05 09:17
K8S
&
Docker
kubernetes
k8s核心组件
k8s资源对象
k8s
微服务
k8s分享下-service 网络 卷
因为直接通过pod的IP+port获取服务存在如下两个问题:1)调用地址不稳定,pod可能出现故障,那么新的pod产生的IP和port都会发生变化2)
集群
(多pod实例)场景无法自动实现负载均衡service
深山猿
·
2024-02-05 09:45
k8s
网络
kubernetes
docker
【Kafka面试】Kafka的高可用机制有了解吗?
一、
集群
模式Kafka
集群
由多个broker组成,每个broker就是Kafka实例。假如某个broker宕机,在
集群
中其他的broker依然可以对外提供服务,这个就是
集群
能够保证高可用性。
TAIKEMAN
·
2024-02-05 09:44
Kafka
kafka
kafka副本高可用机制
Kafka的每个topic都可以分为多个Partition,并且多个partition会均匀分布在
集群
的各个节点下。
catch that elf
·
2024-02-05 09:44
kafka
kafka副本机制
kafka
kafka副本
数据同步
kafka高可用(
集群
)
实时上rabbitmq并不分布式消息队列,他就是传统的消息对了,只不过提供了一些
集群
,HA的机制而已,因为
GoslingWu
·
2024-02-05 09:13
队列
分布式
kafka
zookeeper
rabbitmq
消息队列三|Kafka 如何做到高可用?
并且通过多副本机制实现故障的自动转移,在kafka
集群
中某个broker节点失效的情况下仍然能保持服务可
不落叶的榕树
·
2024-02-05 09:11
消息队列
java
消息队列
高并发
kafka高可用
集群
搭建
kafka高可用
集群
搭建说明这篇博文主要是为了后面的elk做准备,我们这里搭建一个kafka
集群
,使用2个节点,还是前面的节点。主要是为了后面做数据缓冲。
憧憬blog
·
2024-02-05 09:40
分布式
kafka
java
zookeeper
linux
Kafka基于Zookeeper搭建高可用
集群
实战
目录1、前言1.1高可用的由来1.2相关术语2、架构图3、发送消息流程4、部署kafka&zookeeper
集群
4.1准备工作4.2启动zookeeper
集群
4.3启动kafka
集群
4.4测试5、kafka
八五年的湘哥
·
2024-02-05 09:39
#
Kafka
zookeeper
分布式
kafka
java
上一页
28
29
30
31
32
33
34
35
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他