MQ集群

kuberay 安装和使用

KubeRay是一个基于Kubernetes的项目，旨在简化在Kubernetes上部署和管理Ray集群的过程。

CHEN_RUI_2200·2025-01-28 14:27

RDD 算子全面解析：从基础到进阶与面试要点

Spark的介绍与搭建：从理论到实践_spark环境搭建-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交

天冬忘忧·2025-01-28 12:16

【elasticsearch】如何更新许可证（License）

在Elasticsearch中，**许可证（License）**用于控制集群的功能和权限。

risc123456·2025-01-28 11:04

【MQ】如何保证消息队列的高性能？

零拷贝Kafka使用到了mmap和sendfile的方式来实现零拷贝。分别对应Java的MappedByteBuffer和FileChannel.transferTo顺序写磁盘Kafka采用顺序写文件的方式来提高磁盘写入性能。顺序写文件，基本减少了磁盘寻道和旋转的次数完成一次磁盘IO，需要经过寻道、旋转和数据传输三个步骤，如果在写磁盘的时候省去寻道、旋转可以极大地提高磁盘读写的性能。Kafka中每

Forest 森林·2025-01-28 09:24

【MQ】如何保证消息队列的高可用？

RocketMQNameServer集群部署Broker做了集群部署主从模式类型：同步复制、异步复制主节点返回消息给客户端的时候是否需要同步从节点Dledger：要求至少消息复制到半数以上的节点之后，才给客户端返回写入成功

Forest 森林·2025-01-28 09:24

日志收集Day008

1.zk集群优化修改zookeeper的堆内存大小，一般情况下，生产环境给到2G足以，如果规模较大可以适当调大到4G。

ccnnlxc·2025-01-28 07:16

大数据小白系列——YARN(1)

A:在一个具有成百上千节点的集群上(这很常见)，资源管理十分重要，一个好的资源管理系统可以充分发挥各节点的能力，避免一些节点忙碌，

weixin_44386638·2025-01-28 07:13

redis分布式锁与redsync库源码分析

一.redlock算法单点场景首先来看单redis实例的场景，这是集群模式的基础。

阿鹏哥哥01·2025-01-28 07:13

Hadoop学习笔记 --- YARN执行流程与工作原理

MapReduce1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进行实现；ResourceManager：负责整个集群的资源管理和调度

杨鑫newlfe·2025-01-28 07:42

高可用架构，高性能架构和高并发架构

胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，SpringCloudAlibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师

架构随笔录·2025-01-28 06:35

基于Multi-Agent的无人机集群体系自主作战系统设计

源自：系统工程与电子技术作者：张堃,华帅,袁斌林,杜睿怡“人工智能技术与咨询”发布摘要针对无人集群自主作战体系设计中的关键问题,提出基于Multi-Agent的无人集群自主作战系统设计方法。

龙腾亚太·2025-01-28 05:30

无人机低成本集群技术实现详解

其中，无人机集群技术作为提高任务效率、降低成本的重要手段，正受到越来越多的关注。

无人机技术圈·2025-01-28 05:59

rabbitmq和redis用作消息队列的区别

将redis发布订阅模式用做消息队列和rabbitmq的区别：可靠性redis：没有相应的机制保证消息的可靠消费，如果发布者发布一条消息，而没有对应的订阅者的话，这条消息将丢失，不会存在内存中；rabbitmq

rlk512974883·2025-01-28 04:22

MQ和多线程异步有什么区别？

在系统调用时，我们可能使用MQ实现自产自销。此处直接使用多线程异步是否也可以实现？使用多线程异步也可以实现，但是不够优雅。主要在于多线程和MQ的区别。CPU消耗。

大唐雨夜·2025-01-28 04:17

真实互联网线上系统JVM内存溢出排查流程(文末彩蛋)

期间发现集群中每台应用服务器JVM内存使用率高达96%左右，存在瞬间内存打满，导致服务瘫痪情况。

程序健跑人生·2025-01-28 03:12

【面试题】构建高并发、高可用服务架构：技术选型与设计

监控系统消息队列缓存层数据存储层应用层Web层负载均衡与流量分配GrafanaPrometheusAlertmanager消息队列Kafka/RabbitMQ集群/镜像队列缓存层Redis/Memcached

言之。·2025-01-28 02:05

分表数据通过canal同步数据

项目使用的canal版本：1.1.4，使用rocketMQ进行消费之前项目中一直是单库单表进行数据同步，后面遇到分表数据也需要进行同步，数据表是用户登录数据：user_login_info_0、user_login_info

·2025-01-28 02:50

ActiveMQ与RabbitMQ的区别

ActiveMQ和RabbitMQ都是流行的消息队列中间件，它们之间有以下几点区别：编写语言：ActiveMQ是用Java编写的，而RabbitMQ则是用Erlang编写的。

BE东欲·2025-01-28 01:23

K8S中高级存储之PV和PVC

PV（PersistentVolume）PV是Kubernetes中的一个API对象，它代表集群中的一块存储，这块存储已经预先按照某种方式设置好了，并且可以被多个用户使用。

元气满满的热码式·2025-01-28 00:19

【常用bsub指令介绍】使用bsub命令提交作业、开启交互式窗口，在集群服务器上用pdb进行代码调试

目录1.LSF作业调度系统和服务器集群介绍2.bsub运行作业的两种方式2.1bsub直接提交作业2.2bsub开启交互式窗口3.使用pdb进行代码调试4.更多bsub指令分享1.LSF作业调度系统和服务器集群介绍在一个服务器集群中

凌漪_·2025-01-28 00:16

软考高级系统架构设计师系列之：分布式存储技术

分布式存储技术集群存储技术。集群存储系统是指架构在一个可扩充服务器集群中的文

快乐骑行^_^·2025-01-27 23:13

k8s的主要组件以及重要概念

它采用主从设备模型（Master-Slave架构），其中Master节点负责集群的调度、管理和运维，Slave节点（也被称为WorkerNode节点）负责执行工作负载。

linshuai-on·2025-01-27 21:32

菜鸟BUG之常见异常（一）

雷声炸响，天地倾斜，海啸山崩，黎明前的曙光迟迟不现，群魔乱舞霍乱人间，有仙师集群英之心血，持剑出山，剑斩群魔，终于仙巅同最后一大魔同归于尽，然有人的江湖便有魔，为警示后人，群贤集巨力书群魔以息，吾初入江湖

苏白辛·2025-01-27 21:57

helm介绍和helm部署应用到k8s集群（helm+k8s）——详细文档

helm介绍和helm部署应用到k8s集群（helm+k8s）——详细笔记整理文档相关配套软件包和文档网盘地址:https://url28.ctfile.com/f/37115828-599686627

运维实战课程·2025-01-27 20:51

虚拟服务器的外部跟内部端口,虚拟服务器设置外部端口

您需要创建一个至少包含一个节点的集群，且该节点已绑定弹性IP。集群是运行工作负载的逻辑分组，包含一组云服务器资源，每台云服务器即集群中的一个节点。使用外部镜像文件创建私有

验行客·2025-01-27 19:14

使用Ambassador容器构建docker容器集群

当两个Docker容器在同一主机（或虚拟机）时，可以通过--link命令让两者直接互相访问。如果要跨主机实现容器互联，则往往需要容器知道物理主机的ip地址。利用Ambassador容器机制，可以让互联的容器无需知道所在物理主机的IP地址即可互联。基本场景Ambassador容器也是一种docker容器，她在内部提供了转发服务。如下图。当客户端容器要访问服务器时，直接访问客户端Ambassador容

安心Smile·2025-01-27 17:33

kubernetes 查询容器的 network namespace

尽管Linux内核提供了各种类型的名称空间，在本文中，我们将研究如何查看Kubernetes集群中容器的networknamespace，这对于故障排除和学习非常有用。

安心Smile·2025-01-27 17:02

2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群

第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda是跨平台的，有Windows、MacOS、Linux版本。#下载地址：ht

王络不稳定·2025-01-27 17:28

spark2如何集成到cdh里

最近做性能测试需要spark2测试下和spark1.6性能有多大差别，官方文档里写着可以集成，但是自己怎么搞都不行，折磨了3天的时间，目前终于把spark2集成到集群里了我安装的是最新版本的下载spark2

蘑菇丁·2025-01-27 16:55

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方

「已注销」·2025-01-27 15:17

K8S知识点

1.查看Pod状态详情列出所有Pod：使用kubectlgetpods命令可以查看集群所有Pod的概览信息，包括名称、状态、IP地址等。

余额很不足·2025-01-27 15:12

Spring boot框架下的RabbitMQ消息中间件

1.RabbitMQ基础概念1.1消息处理流程与组件配合Producer（生产者）发送消息。消息先发送到Exchange（交换机），而不是直接到队列。

阿乾之铭·2025-01-27 10:16

springboot kafka配置与使用

org.springframework.kafkaspring-kafkaapplication配置可以根据情况只配置生产着或消费者spring:kafka:#以逗号分隔的地址列表，用于建立与Kafka集群的初始连接

摘星喵Pro·2025-01-27 10:43

HDFS升级和回退

概述作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现；在任何有实际意义的HDFS

小森饭·2025-01-27 08:05

mysql Pxc工作原理_浅谈MySQL-PXC架构

一、PXC概述PXC是基于Galera协议的MySQL高可用集群架构。具有高可用性、方便扩展且可以实现多个MySQL节点间的数据同步复制和读写，保证数据的强一致性。

wei小彦·2025-01-27 07:26

kubernetes 核心技术-探针

在Kubernetes集群中，容器的健康状态对于确保应用的稳定性和可靠性至关重要。

難釋懷·2025-01-27 07:53

RocketMQ优势剖析-集成云原生环境

目录弹性和可扩展性Serverless架构支持容器化和Kubernetes支持多协议支持持久化和可靠性分布式事务支持社区和生态系统结论RocketMQ在集成云原生环境方面的优势主要体现在其设计的灵活性、

Lin_Miao_09·2025-01-27 06:21

web集群搭建

扩展多个web应用原因：单台web服务器能抗住的访问是有限的，配置多台web服务器能提升更高的访问速度，能够接受更多的用户请求。优点：提高冗余提高性能实现方法：1.准备web02服务器2.安装nginx和php环境[root@web01~]#scp/etc/yum.repos.d/[email protected]:/etc/yum.repos.d/nginx.repo[root@

℡永恒·2025-01-27 04:07

Docker compose v3版本构建跨主机容器编排构建wordpress集群

在Docker1.13版本之后，可以说Docker对于compose容器调度编排实现了飞跃，可以使得在编排容器的时候可以结合Dockerswarm集群和跨主机通讯的概念。

weixin_34095889·2025-01-27 04:34

MQ的可靠消息投递机制

例如：Kafka、RabbitMQ等都支持持久化消息。Kafka通过将消息存储在日志文件中，而RabbitMQ通过磁盘队列持久化消息。

言之。·2025-01-27 03:02

RocketMq源码分析（五）--消息生产者启动流程

文章目录一、消息生产者类关系1、类关系2、MQAdmin二、消息生产者启动流程1、创建DefaultMQProducer实例2、生产者start1）defaultMQProducerImpl.start

Shenkh的Java壁橱·2025-01-27 02:54

RocketMQ源码分析之ACL

ACL(权限控制)是RocketMQ提供topic资源级别的客户端访问控制，客户端在使用R

不爱学习的小妞·2025-01-27 02:23

RocketMQ特性--事物消息【源码笔记】

目录一、问题思考二、事务消息客户端发送流程1.事务发送与普通启动差异2.事务消息发送调用链3.事务消息发送分析4.事务消息发送结果分析5.结束事务分析三、事务消息服务端存储流程1.事务消息存储调用链2.事务半消息存储代码分析（一）3.事务半消息存储代码分析（二）四、事务消息服务端响应结束事务请求1.处理未知类型请求2.处理事务提交请求3.处理事务回滚请求五、事务消息服务端状态回查1.事务回查线程类

瓜农老梁·2025-01-27 02:49

rocketmq-MQClientInstance-单进程多生产者组多消费者组的实例模型

事实上，rocketmq的client端，默认就是倍数增长的。如果没去关注，那么可能就出现程序响应迟钝了

chudaxiakkk·2025-01-27 02:19

Docker Swarm 核心概念及详细使用

DockerSwarm核心概念及详细使用DockerSwarm介绍DockerSwarm是Docker的原生集群管理工具。

·2025-01-27 01:20

kubernetes 安装 kubernetes-dashboard 7.x

kubernetes安装kubernetes-dashboard7.x介绍Kubernetes仪表板是Kubernetes集群的通用、基于Web的UI。

·2025-01-27 01:49

ElasticSearch技术解析与实战读书笔记

术语及概念索引词term：能够被索引的精确值，索引词可以通过term查询进行准确搜索文本text：一段普通的非结构化文字，通常文本会被分析成一个个的索引词分析analysis：将文本转换为索引词的过程，依赖于分词器集群

zhangyankun_csdn·2025-01-26 23:01

Linux二进制部署K8s集群的平滑升级教程

一、升级前的准备工作备份集群配置和数据备份/etc/kubernetes/目录，其中包含Kubernetes集群的配置文件。备份/var/lib/etcd/目录，其中存储了etcd数据库的数据。

努力的小T·2025-01-26 21:43

Kuberntes部署MetalLB负载均衡器

Kuberntes部署MetalLB负载均衡器MetalLB简介MetalLB是一个为基础Kubernetes集群提供负载均衡实现的工具，使用标准路由协议。

·2025-01-26 21:43

Redis主从模式部署

Redis主从模式部署主从模式是Redis三种集群模式中最简单的，主数据库(master)和从数据库(slave)。

·2025-01-26 21:42

推荐频道