rocketMQ集群

kafka详解

如果说按照容易理解来分层的话，大致可以分为3层：第一层是Zookeeper，相当于注册中心，他负责kafka集群元数据的管理，以及集群的协调工作，在每个kafka服务器启动的时候去连接到Zookeeper
Elivis Hu·2024-01-04 08:17

2024.1.3 Spark架构角色和提交任务流程

的角色回顾二、Spark提交任务流程1、SparkOnStandalone2.SparkonYarn三.Spark比MapReduce执行效率高的原因四.Spark的排序算子一.Yarn的角色回顾资源管理层面集群资源管理者
白白的wj·2024-01-04 08:46

用python抓取yarn和jstorm界面资源信息在grafana展示

为了能够快速了解集群资源使用率，写了个python脚本将数据入到MySQL，再通过grafana在界面进行展示，当然可以把数据落到时序数据库：tdengine或opntsdb上。本文只用于交流和学习。
运维仙人·2024-01-04 07:29

大数据StarRocks(二) StarRocks集群部署

一、生产机器资源评估1.梳理数据量，包括每天增量数据接入和全量数据接入2.数据存储时间长度（1个月/3个月/半年/1年/三年等）3.报表的SQL查询数量，SQL查询占用资源的统计，需要提前做好压测4.压测可以采用官网提供的压测工具先进行测试，根据测试数据进行资源调整，然后再要业务数据进行压测一遍最终以压测中预期结果最好的机器配置进行申请，如果公司很rich的话，直接用80c/256G的机器配置。二
运维仙人·2024-01-04 07:55

【Hadoop-HDFS-S3】HDFS 和存储对象 S3 的对比

之前的工作经历中的大数据集群存储都是用HDFS，当前工作接触到对象存储S3，在实践中比较两者的不同之处。1）可扩展性HDFS依赖本地的存储只能横向扩展，增
bmyyyyyy·2024-01-04 07:25

IoTDB 集群部署——windows

本文的测试环境为windowserver2016，版本包为1.1.0，jdk版本为1.8首先下载IoTDB版本包，链接地址如下https://archive.apache.org/dist/iotdb/1.1.0/apache-iotdb-1.1.0-all-bin.zip本次部署将使用1个ConfigNode和3个DataNode模式，元素的副本数为1，数据在3个DataNode中都进行存储，保
zhu1361·2024-01-04 07:54

2022 最新分布式面试题合集，轻松应对 Java 面试

当然个人整理的所有面试题都无偿分享，只求大伙一个点赞关注转发三连，这些文档都放在文末了，需要的同学可以自取一、分布式基础1、集群、分布式、SOA、微服
Java烟雨·2024-01-04 07:24

ZooKeeper面试题（总结最全面的面试题）

它是一个为分布式应用提供一致性服务的软件，分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。
java晴天过后·2024-01-04 07:46

分布式【zookeeper面试题12连问】

ZooKeeper，它是一个开放源码的**「分布式协调服务」**，它是一个集群的管理者，它将简单易用的接口提供给用户。可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协
sober_me·2024-01-04 07:38

Kafka消息发送和消费的简化流程

2、Kafka集群，接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费。
向梦而来·2024-01-04 07:39

RKE安装k8s及部署高可用rancher之证书私有证书但是内置的ssl不放到外置的LB中 4层负载均衡

先决条件#Kubernetes集群参考RKE安装k8s及部署高可用rancher之证书在外面的LB（nginx中）-CSDN博客CLI工具IngressController（仅适用于托管Kubernetes
Michaelwubo·2024-01-04 07:35

ELK+kafka+filebeat企业内部日志分析系统搭建

机器主要作用分布如下:三台安装elasticsearch来搭建ES集群实现高可用，其他机器就依次安装filebeat,kafka,logstash和kibana软件一、部署elasticsearch来搭建
五言六舌·2024-01-04 07:26

分布式【ZooKeeper面试题】

它是一个为分布式应用提供一致性服务的软件，分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。
sober_me·2024-01-04 07:52

SpringCloud Alibaba学习（四）：Linux版Nacos+MySQL生产环境配置

nacos-server-1.1.4.tar.gz2、解压后安装二、在Linux上为Nacos配置MySQL数据库1、执行SQL脚本2、修改application.properties配置三、Linux服务器上的Nacos集群配置
玉面大蛟龙·2024-01-04 07:16

Zookeeper（三）通信机制

当client需要与Zookeeperservice打交道时，首先读取配置文件确定集群内的所有server列表，按照一定的loadbalance算法选取一个follower作为一个通信目标。
顽强的猫尾草·2024-01-04 07:47

Spring boot封装rocket mq 教程

1、rocketmq版本5.1.32、pom引入rocketmq依赖org.apache.rocketmqrocketmq-client-java5.0.43、发送MQ消息工具类importlombok.SneakyThrows
weixin_42502300·2024-01-04 06:22

消息队列核心-消息模型

目前消息队列有很多种，如kafaka、rocketMq、rabbitMq，所有消息队列的模型都比较类似，基本都包括像队列（Queue）、主题（Topic）或是分区（Partition）等概念。
ajajaj·2024-01-04 06:21

RabbitMQ集群

三台机器都操作:关闭防火墙和selinux，配置hosts文件更改三台MQ节点的计算机名分别为rabbitmq-1、rabbitmq-2和rabbitmq-3，然后修改hosts配置件（/etc/hosts）2.三个节点配置安装rabbitmq软件安装依赖[root@rabbitmq-1~]#yuminstall-yepelgcc-c++unixODBCunixODBC-developenssl-
耶波波·2024-01-04 04:51

声明式管理方(yaml)文件

3、编辑好的yaml文件需要依靠陈述是还是要依靠陈述式的命令发布到k8s集群当中create只能创建，不能更新。从指定yaml文件中读取配置，创建服务。
Lad1129·2024-01-04 04:34

Kafka

目录1、Kafka简要描述1.1、kafka1.2消息队列1.3、为什么需要消息队列1.4kafka架构1.5分布式模型1.6Kafka网址2、Kafka集群部署2.1环境准备2.1.1集群规划2.1.2jar
有语忆语·2024-01-04 04:59

Nacos配置回滚

dataid，找到我们需要回滚的配置文件2、浏览历史版本列表，找到你想要回滚到的特定版本，并点击其右侧的“回滚”按钮即可，Nacos的配置回滚功能仅适用于配置管理中的普通配置，而不适用于维护命名空间、集群等元数据的变更
way_more·2024-01-04 04:06

Redis初时~集群模式

Redis的集群模式是在Redis3.0模式以后所实行的高可用模式。虽然大部分公司还都在用3.0以下的模式，但是随着发展我们会慢慢的接触到3.0以上的形式。
胖琪的升级之路·2024-01-04 03:27

docker-compose部署hadoop集群（高可用）—— 筑梦之路

hadoop高可用依赖组件zookeeper1.下载二进制文件###1、zookeeper#下载地址：https://zookeeper.apache.org/releases.html#zookeeper非高可用用不到wgethttps://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz--
筑梦之路·2024-01-04 03:11

k8s部署rocketmq单节点（server+broker+console）—— 筑梦之路

之前写过几篇关于rocketmq构建双架构镜像、docker-compose部署的文章，接上篇docker-compose部署rocketmq，这里记录下k8s下如何部署。
筑梦之路·2024-01-04 03:11

1. Kafka架构

1.Kafka作为一个集群，运行在一台或者多台服务器上.2.Kafka通过topic对存储的流数据进行分类。3.每条记录中包含一个key，一个value和一个timestamp（时间戳）。
chongweiLin·2024-01-04 03:16

GBase 8a GDCA认证之GBase 8a初认识

一、GBase8a介绍1、GBase8aMPPCluster，全称“南大通用大规模分布式并行数据库集群系统”。
lFang Li·2024-01-04 02:24

GBASE南大通用数据库-GBase8a虚拟集群镜像技术

随着云计算和大数据技术的发展，虚拟集群环境下的数据同步和备份问题日益凸显。如何在保证数据一致性的同时，实现高效、可靠的数据管理？今天，我们为大家介绍一款强大且实用的技术——GBase8a虚拟集群镜像。
GBASE数据库·2024-01-04 02:23

58分布式消息队列WMB设计与实践

现常见的开源消息队列有Kafka、RocketMQ、RabbitMQ等，都有着不同的使用场景和特点。RabbitMQ采用erlang语言开发，具有较高的可靠性，但是性能较差；kafka突出
爱情小傻蛋·2024-01-04 02:59

Zookeeper 分布式服务协调治理框架介绍入门

文章目录为甚么需要Zookeeper一、Zookeeper介绍1.1介绍1.2Zookeeper中的一些概念1.2.1集群角色1.2.2会话session1.2.3数据节点Znode1.2.4版本1.2.5
栗子叶·2024-01-04 02:08

kubernetes入门到放弃

提供了资源调度，扩容缩容，服务发现，存储编排，自动部署和回滚，并且具有天生高可用，负载均衡，故障自动恢复架构master主节点生产环境推荐三个起步kube-ApiServer无状态服务，状态存储到etcd当中集群的控制中枢提供集群各个模块之间的数据交换将集群状态和信息存储到
漫漫行程路·2024-01-04 01:01

使用Service连结到应用

kubernetes假设pod可与其他pod通信，不管他们在哪个主机上kubernetes给每一个Pod分配一个集群私有ip地址没必要在pod与pod之间创建链接或将容器的端口映射到主机端口同一个pod
漫漫行程路·2024-01-04 01:01

The Road of DBA 17_NoSQL_Some Tools

工具扩容节点Redis集群的扩容操作可分为以下几个步骤1）准备新节点2）加入集群3）迁移槽和数据扩容流程图image.png在db01上创建2个新节点mkdir-p/opt/redis_cluster/
Linux_淡忘·2024-01-04 01:42

【RocketMQ每日一问】RocketMQ5.0POP消费模式如何实现的?

1什么是Pop消费RocketMQ5.0中引入了一种新的消费模式：Pop消费模式。
jianjun_fei·2024-01-04 01:59

【RocketMQ每日一问】RocketMQ延迟消息是怎么实现的?

生产者发送消息时带上延迟级别。Broker接收消息并根据延迟级别存储在特定的延迟队列中。（SCHEDULE_TOPIC_XXXX）定时任务（时间轮里的任务）定期扫描延迟队列，将到期的消息转移到正常的消费队列。消费者从正常的消费队列中获取并消费消息。
jianjun_fei·2024-01-04 01:29

【RocketMQ每日一问】RocketMQ SQL92过滤用法以及原理?

1.生产端publicclassSQLProducer{publicstaticintcount=10;publicstaticStringtopic="xiao-zou-topic";publicstaticvoidmain(String[]args){DefaultMQProducerproducer=MQUtils.createLocalProducer();IntStream.range(
jianjun_fei·2024-01-04 01:26

VirtualBox6.0 搭建Ubuntu18.04集群环境

image.png2、下载Ubuntu18.04镜像应为计划搭建hadoop集群，所以用server版本。
大道至简非简·2024-01-04 00:54

Spark---RDD介绍

文章目录1.Spark核心编程2.RDD介绍2.1.RDD基本原理2.2RDD特点1.弹性2.分布式：数据存储在大数据集群的不同节点上3.数据集：RDD封装了计算逻辑，并不保存数据4.数据抽象：RDD是一个抽象类
肥大毛·2024-01-03 23:34

增量预训练经验积累（2）

1、并行策略选择1.1并行方式验证和调优这个和集群很相关例如我目前在16台A800集群（每台机器8张80G显卡）上测的最佳3D并行策略的具体partition配置就和L40s集群不一样（和集群有关，和具体的模型也有关
GUANYX~·2024-01-03 22:24

Kubernetes部署系列：高可用MySQL集群

PerconaXtraDBCluster（PXC）是一个开源的MySQL高可用性（HA）解决方案，它建立在PerconaServerforMySQL之上，是一个基于GaleraCluster的分布式数据库集群
Cancerking·2024-01-03 22:46

k8s 之7大CNI 网络插件

Kubernetes它需要网络插件来提供集群内部和集群外部的网络通信。
睡不醒的猪儿·2024-01-03 22:31

mysql polardb 集群结果集重复

表结构有一主一从的polardbmysql数据库集群，表结构如下：CREATETABLE`t`(`id`int(11)DEFAULTNULL,`name`varchar(100)DEFAULTNULL)
赵丙双·2024-01-03 22:26

深入理解Mysql MHA高可用集群搭建：从实验到实战

1.简介MHA（MasterHighAvailability）是一个高效的开源MySQL高可用性解决方案。由日本开发者yoshinorim（前DeNA员工，现在Facebook）创建，MHA支持MySQL的主从复制架构，自动化主节点故障转移。当主节点发生故障，MHA能迅速将最新数据的从节点升级为新主节点。这个过程中，MHA从其他从节点获取额外信息，确保数据一致性。MHA还能在线切换主节点，按需调整
光芒软件工匠·2024-01-03 22:21

SpringCloud微服务 【实用篇】| Dockerfile自定义镜像、DockerCompose

目录一：Dockerfile自定义镜像1.镜像结构2.Dockerfile语法3.构建Java项目二：Docker-Compose1.初识DockerCompose2.部署微服务集群前些天突然发现了一个巨牛的人工智能学习网站
@每天都要敲代码·2024-01-03 22:20

Kubernetes 弃用 Docker，Artifactory 新版本已经支持 OCI 镜像

对于Kubernetes的最终用户，此次调整并不会有太大影响，Docker可以继续构建容器镜像，这些镜像也能够在Kubernetes集群中正常运行。
JFrog·2024-01-03 21:34

防火墙未开端口导致zookeeper集群异常，kafka起不来

问题描述：主机信息：IPhostname10.0.0.10host1010.0.0.12host1210.0.0.13host13在这三台主机上部署一套zookeeper&kafka集群环境的时候，zk
SRE成长记·2024-01-03 21:22

Kafka集群部署

在Kafka集群(Cluster)中，一个Kafka节点就是一个Broker，消息由Topic来承载，可以存储在1个或多个Partition中。
Minority·2024-01-03 21:18

hive基本概念原理与底层架构

hadoop是一个开源框架，在分布式环境中存储和处理大型数据，他包括两个模块，一个是mapreduce,另一个是hdfs.mapreduce:他是一个并行编程模型在大型集群普通硬件可用于处理大型
byway_lyn·2024-01-03 20:22

RocketMQ源码 Broker-BrokerFastFailure 快速失败请求组件源码分析

前言BrokerFastFailure快速失败处理组件，主要负责，在系统激活broker快速失败能力时，以后台定时调度任务方式进行过期任务清理。主要对以下几类任务进行处理：消息存储组件中的请求。如果消息存储组件中的OSPageCacheBusy（系统页缓存繁忙）为true，则对它的请求循环进行快速失败处理。清理发送线程池队列中的过期请求。清理拉取线程池队列中的过期请求。清理心跳线程池队列中的过期请
虚空小白·2024-01-03 20:52

RocketMQ源码 Broker-ConsumerFilterManager 消费者数据过滤管理组件源码分析

前言ConsumerFilterManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件consumerFilter.json的能力。它主要负责，对在消费者拉取消息时，进行消息数据过滤，且只针对使用表达式过滤的消费者有效。源码版本：4.9.3源码架构图核心数据结构可以看到内存中维护了topic->consumergroup->ConsumerFilterData映
虚空小白·2024-01-03 20:51

RocketMQ源码 Broker-SubscriptionGroupManager 订阅组管理组件源码分析

前言SubscriptionGroupManager继承了ConfigManager配置管理组件，拥有将内存数据持久化到磁盘文件subscriptionGroup.json的能力。它主要负责维护所有消费组在内存中的订阅数据。源码版本：4.9.3源码架构图核心数据结构主要的数据结构比较简单，维护了Map的映射关系。//订阅组管理组件publicclassSubscriptionGroupManage
虚空小白·2024-01-03 20:21
上一页 86 87 88 89 90 91 92 93 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他