共享存储集群第11页

hbase、hive、clickhouse对比

HDFShive通过driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库，一般是mysql实际数据存储可以是外表，也可以是内表clickhouse单体架构分层类似mysql，集群状态下是多主

freshrookie·2024-03-05 16:40

增强AWS ECS监控：批量生产监控设置

ivwdcwso·2024-03-05 08:00

内网安装redis+部署redis-cluster集群

一、安装redisredis安装包下载地址：https://download.redis.io/releases/1.1解压编译并创建数据目录tarxzvfredis-6.2.10.tar.gz-C/usr/local/cd/usr/local/mvredis-6.2.10/rediscd/usr/local/redis/make#编译mkdir/usr/local/redis/data#创建存放

仙女陈·2024-03-05 01:51

如何快速迁移其他云服务器中的网站数据到腾讯云轻量应用服务器中？教你使用宝塔Linux面板迁移网站

使用宝塔Linux面板进行迁移：宝塔Linux面板是一款服务器运维面板，它支持一键部署LAMP、LNMP、集群、监控、网站、FTP、数据库、JAVA等100多项服务器管理功能。因此，使用宝塔L

正宗六脉神剑·2024-03-04 06:25

Zabbix HA高可用集群搭建

ZabbixHA高可用集群搭建ZabbixHA高可用集群搭建一、Zabbix高可用集群（ZabbixHA）二、部署Zabbix高可用集群1、两个服务端配置1.1主节点ZabbixServer配置1.2备节点

KK小草莓·2024-03-03 20:44

分布式ID选型对比（1）

种类全局唯一高性能高可用趋势递增中心服务缺点UUID是高(本地生成,(无网络开销)低(无序,不适用)否否无序、字符串数据库自增单表唯一中中(宕机就会使业务服务中断)是否安全性差,能猜出来规律对于分库分表场景无法唯一数据库自增-集群是中中

Loren_云淡风轻·2024-03-03 14:04

HA集群--一起学习吧之架构

今天想和大家一起学习HA集群。首先，上定义~一、HA定义HA（HighAvailability）集群，即高可用集群，是一种以减少服务中断时间为目的的服务器集群技术。

wd90119·2024-03-03 11:30

使用 kind 集群安装运行极狐GitLab Runner【上】

GitLab是一个全球知名的一体化DevOps平台，很多人都通过私有化部署GitLab来进行源代码托管。极狐GitLab是GitLab在中国的发行版，专门为中国程序员服务。可以一键式部署极狐GitLab。关于kindkind是一个用来运行本地Kubernetes机群的工具，主要使用Docker容器来做为“nodes”。kind的主要设计目的是为了测试Kubernetes本身，但是也可以在本地研发或

极小狐·2024-03-03 07:54

Springboot中使用Redisson实现分布式锁

言归正传，今天继续讨论有关“锁”的话题，synchronized和ReentrantLock大家应该都非常熟悉了，但这两个锁，作用域仅限制于单个Tomcat，如果使用了Tomcat集群，这两个锁就不管用了

追风人聊Java·2024-03-02 02:43

NFS共享存储

一、安装https://zhuanlan.zhihu.com/p/578935706https://blog.csdn.net/huahua1999/article/details/124375495https://zhuanlan.zhihu.com/p/606174368?utm_id=0#安装nfsyum-yinstallnfs-utils#创建nfs目录mkdir-p/nfs/data/#

筱光·2024-03-01 04:43

【k8s】K8S中的cordon、uncordon和drain 冻结节点、驱离pod

Kubernetes(K8s)中使用Kubectl命令行工具管理Kubernetes集群。kubectl在$HOME/.kube目录中查找一个名为config的配置文件。

云川之下·2024-02-29 17:28

【Elasticsearch管理】节点角色及发现机制

MasterEligibleNodeDataNodeIngestnodetribenodeCoordinatingnodeDataPath发现机制前置概念基本描述设置ZendiscoveryPing列表单播基于文件主节点选举集群故障集群状态更新无

板凳坐着晒太阳·2024-02-29 09:47

ntp时间同步

解决的问题:保证集群中所有的节点时间一致方案:需要使用同步软件NTP,并在主机上开启此服务,其他节点的时间都要和主机的时间保持一致步骤:确认主机的时间是否正确,不正确时进行手动修改datedate-s"

Frank_8942·2024-02-28 17:35

k8s容器访问宿主机或者集群外部服务

需求背景k8s的集群容器需要访问宿主机的某个服务(mysql或者其他类型的服务)，或者其他外部远程设备的服务，但是服务不在集群当中访问外部服务访问远程外部服务，如下任选一个实现外部域名映射到内部service

·2024-02-28 15:32

微服务架构师封神之路11-eureka服务高可用

文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档微服务架构师封神之路11-eureka服务高可用任务eurekaserverpom.xml依赖application.yamlsettings3节点集群服务

B5WANG·2024-02-28 05:44

如何在Linux搭建MinIO服务并实现无公网ip远程访问内网管理界面

Cpolar4.配置MinIO公网地址5.远程访问MinIO管理界面6.固定MinIO公网地址前言MinIO是一个开源的对象存储服务器，可以在各种环境中运行，例如本地、Docker容器、Kubernetes集群等

学编程的小程·2024-02-28 01:39

树莓派4B（Raspberry Pi 4B）使用docker搭建nacos集群

树莓派4B（RaspberryPi4B）使用docker搭建nacos集群由于国内访问不了dockerhub，我选用的国内适配树莓派ARM架构的nacos镜像——centralx/nacos-server

勤匠·2024-02-27 18:59

KubeSphere 镜像构建器（S2I）服务证书过期解决方案

解决方法已开启DevOps模块下载这个更新S2I服务证书压缩包，上传到任一可以访问K8s集群的节点；把上传的压缩包解压进入解压后的目录执行更新证书的脚本.

KubeSphere 云原生·2024-02-27 11:20

XGB-12:在 Kubernetes 上进行分布式 XGBoost 训练

操作步骤为在Kubernetes集群上运行XGBoost作业，执行以下步骤：在Kubernetes集群上安装XGBoostOperator。

uncle_ll·2024-02-27 09:48

shardingsphere自定义hint分片算法，完美实现按区域编码数据隔离，没改一行旧代码

因为已经改造了登录平台，实现了集群统一部署，然后后续就是继续弄集中统一部署服务改造（这里的集中统一部署的意思是区别于每个区域私有部署，服务本身还是可以弹性伸缩的），首先改造一个比较简单的白名单微服务，只涉及到三张表

·2024-02-26 20:03

二进制包方式部署k8s集群

1、准备环境虚拟机操作系统:Centos7角色IP组件Master192.168.150.20kube-apiserver，kube-controller-manager，kube-scheduler，etcdNode1192.168.150.21kubelet，kube-proxy，docker，etcd2、系统初始化工作在三台虚拟机上进行如下操作：2、1关闭防火墙$systemctlstopf

ggrong0213·2024-02-25 06:15

二进制部署k8s

master节点以及node节点需要的组件是什么，如何形成集群，网络如何架构和设计，数据的存储如何部署此处即采用一种高可用架构形式即etcd的分部署部署加一个控制节点和两个工作节点，在这其中比较重要的即是

Professorboy·2024-02-25 06:15

在 k8s 中配置域名解析

但那些集群外的服务，并且已经被硬编码的域名如何访问呢？方法1：修改容器的hosts设想：把hosts文件内容存储在configmap中，通过volume绑定到/etc/host

运维那些事~·2024-02-25 01:09

KeepAlived搭建高可用的HAproxy负载均衡集群系统

服务器规划:serverd(haproxy1,keepalived):192.168.233.141serverb(haproxy2,keepalived):192.168.233.144servera(web1):192.168.233.132serverc(web2):192.168.233.140域名映射:(所有端均配置):vim/etc/hosts192.168.233.141haprox

暗隐之光·2024-02-25 01:39

zookeeper动态扩缩容（无需重启）

目录一、启动一个zk二、扩容一个zk三、缩容一个zk四、重新配置集群的节点前言：zookeeper动态扩/缩容的reconfig命令旨在不需要重启zookeeper中任何一个节点的情况下，对整个zookeeper

cj_eryue·2024-02-24 19:02

Eureka/Zookeeper/Nacos实现注册中心区别

一、CAP定律CAP理论：Consistency（一致性）Availability（可用性）Partitiontolerance（分区容错性）必然存在在我们集群中，如果某个服务器宕机（故障）：保证数据一致性

超级码里喵·2024-02-24 08:24

srs 边缘集群

srs官方关于边缘集群的介绍：EdgeCluster|SRS本篇分析一下边缘集群中上行边缘节点的处理逻辑。关于上行的边缘节点：SRS对于上行边缘，采取直接代理方式，并没有采取边缘缓存方式。

致一·2024-02-24 01:45

如果对类似汽车这种单体进行建模，围绕一圈拍摄，普通的手机或者相机拍摄的照片有足够的重叠度就能建模吗？不需要专业的设备可以吗？

重建大师是一款专为超大规模实景三维数据生产而设计的集群并行处理软件，输入倾斜照片，激光点云，POS信息及像控点，输出高精度彩色网格模型，可一键完成空三、自动建模和LOD构建。

大势智慧·2024-02-23 10:28

改掉坏习惯也需要行为设计，最简单的方式，就是移除坏习惯的提示——《福格行为模型》精读分享45

张伟需要做的，就是根据之前培养新习惯的步骤，反向规划改掉坏习惯的过程上一集里，张伟已经将概括型的坏习惯，使用行为集群的分析方法，具体到了微行为，并使用黄金行为的分析方法，找到了要改掉的具体

峰哥读写思·2024-02-20 23:19

Docker进阶到搭建集群以及整合springboot实战

Docker进阶到搭建集群以及整合springboot实战容器数据卷什么是容器数据卷将应用和环境打包成一个镜像！数据？如果数据都在容器中，那么我们容器删除，数据就会丢失！

三横同学·2024-02-20 22:43

宝塔nginx配置SpringBoot服务集群代理

宝塔nginx配置SpringBoot服务集群代理1、需求：现有一个springboot服务需要部署成集群，通过nginx负载均衡进行访问，其中这个springboot服务内置了MQTT服务、HTTP服务

haidi8·2024-02-20 22:42

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。

shangcunshanfu·2024-02-20 22:08

Redis篇----第八篇

系列文章目录文章目录系列文章目录前言一、是否使用过Redis集群，集群的原理是什么？二、Redis集群方案什么情况下会导致整个集群不可用？三、Redis支持的Java客户端都有哪些？官方推荐用哪个？

数据大魔王·2024-02-20 21:37

Redis篇----第九篇

二、Redis集群的主从复制模型是怎样的？三、Redis集群会有写操作丢失吗？为什么？四、Redis集群之间是如何复制的？五、Redis集群最大节点个数是多少？

数据大魔王·2024-02-20 21:37

Redis-面试题

一、基础1、什么是RedisC语言编写，基于key-value存储的nosql开源内存数据库内存存储、数据结构优化，高性能一般用于应用和数据库之间的分布式缓存中间件提供主从复制+哨兵、集群的方式实现高可用

HBryce24·2024-02-20 21:06

Elasticsearch单机集群搭建

第一步：下载解压官网下载elasticsearch安装包：下载地址创建一个elasticsearch的路径/usr/local/tools/elasticsearch解压tar-xzvfelasticsearch-7.5.0-linux-x86_64.tar.gz重命名mvelasticsearch-7.5.0elasticsearch-7.5.0-node-1创建好三个节点，如下图：image.

dafengyiba·2024-02-20 20:07

hive 的map数和reduce如何确定

主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：

Super乐·2024-02-20 20:38

(17)Hive ——MR任务的map与reduce个数由什么决定？

的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop集群资源雪崩

爱吃辣条byte·2024-02-20 20:27

阿里云服务器2核8g配置3M带宽多少钱？如何买更便宜？

2核8G配置的cpu与内存比为1:4，内存资源要高于cpu资源，这种配置多适用于中小型数据库系统、缓存、搜索集群等场景，也适用于与网站应用等场景。

阿里云最新优惠和活动汇总·2024-02-20 19:01

2.13日学习打卡----初学RocketMQ（四）

JavaClassDefaultMQProducer类DefaultMQPushConsumer类Message类MessageExt类二.RocketMQ消费幂消费过程幂等消费速度慢的处理方式三.RocketMQ集群服务集群特点单

中北萌新程序员·2024-02-20 19:43

16.用Hadoop命令向CDH集群提交MR作业

16.1实验环境介绍内容概述环境准备Kerberos环境和非Kerberos集群测试环境Kerberos集群CDH5.11.2，OS为Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5

大勇任卷舒·2024-02-20 19:27

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。

卢说·2024-02-20 18:38

Kafka常用命令汇总(一)

Kafka常用命令汇总:1、列出集群里的所有主题。

秋风暮霞挽红曲_5f60·2024-02-20 18:45

K8s 集群可观测性-数据分流最佳实践

简介在微服务架构下，一个k8s集群中经常会部署多套业务，同时也意味着不同团队、不同角色、不同的业务会在同一集群中，需要将不同业务的数据在不同的空间进行管理和查看。

·2024-02-20 17:26

CentOS7中怎样修改主机名和hosts文件(配置IP和主机名的对应管理)

场景搭建三台CentOS7服务器的集群，需要配置每个服务器的主机名，以及主机名和IP的对应关系。这样互相之间通信就不用借助于IP去唯一标识了。

霸道流氓气质·2024-02-20 17:26

Redis学习笔记

官网：https://redis.io/一个基于内存的键值型NoSQL数据库key-value型单线程，每个命令具备原子性低延迟，速度快（基于内存、IO多路复用、c语言编写）支持数据持久化支持主从/分片集群支持多语言客户端

hhf的博客·2024-02-20 17:19

redis分布式锁实战

如果不同的系统或同一个系统的不同主机之间共享了某个资源时，往往通过互斥来防止彼此干扰;Redis分布式锁的底层实现是利用setnx命令：当已存在key时，则存储时返回失败，否则返回成功；下面是我自己写的redis锁，使用的是redis集群

bijian-bijian·2024-02-20 17:47

OCP的operator——（4）用户任务：使用Operator创建etcd集群

namespace中安装Operator先决条件使用Webconsole从OperatorHub安装删除使用CLI从OperatorHub安装从已安装的Operator创建应用使用Operator创建etcd集群报错从

蓝黑2020·2024-02-20 17:46

OCP的operator——（3）CRD

文章目录了解OperatorCRD使用customresourcedefinition（CRD）来扩展KubernetesAPICRD创建CRD为CRD创建集群角色通过文件创建CR检查CR管理CRD中的资源参考了解

蓝黑2020·2024-02-20 17:15

【Docker】容器集群服务快速编排compose基本用法

compose基本用法一、下载安装卸载官网下载地址(onLinux)：https://docs.docker.com/compose/install/standalone/官网文档介绍地址：https://docs.docker.com/compose/compose-file/compose-file-v3/#下载安装curl-SLhttps://github.com/docker/compos

一直奔跑在路上·2024-02-20 17:12

推荐频道

共享存储集群