E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ZooKeeper集群搭建
2024年了,如何更好的搭建Kafka集群?
Kafka的Kraft模式简单来说就是基于raft协议重新实现了
zookeeper
的功能。传统的
zookeeper
集群已经被标记为弃用,将在kafka4.0中完全移除。
程序饲养员
·
2024-02-06 09:36
kafka
分布式
minio
集群搭建
(纠删码模式)
搭一个4个节点,16块硬盘的minio集群。1.先做一些准备工作,新建了4个centos7的虚拟机,各新添加4块硬盘我用的虚拟机软件是VirtualBox,先搭建4个虚拟机,即4个节点,建虚拟机就不讲了用VirtualBox添加硬盘,这几台虚拟机硬盘我都添加过了,我用一个其他node35这个机器介绍硬盘添加添加磁盘这块我也不是特别懂,但是在搭建minio集群的过程中我是这么做的,而且成功了下一步,
hahaha 1hhh
·
2024-02-06 09:52
minio
centos
flume+Kafka+flink实时统计实战(单机版)
bootstrap-serverisnotarecognizedoption2.5.0之前的版本使用broker-list2.5.0之后的版本使用bootstrap-server#Kafka启动服务安装配置好
zookeeper
xiaolege_
·
2024-02-06 08:30
Kafka
flink
flume
flume
kafka
flink
Kafka 使用手册
2.kafka基础架构3.kafka
集群搭建
4.kafka命令行操作主题命令行【topic】生产者命令行【producer】消费者命令行【consumer】5.kafka生产者生产者消息发送流程Producer
@lihewei
·
2024-02-06 08:01
kafka
分布式
ELFK日志采 - QuickStart
文章目录架构选型ELKEFLKElasticsearchES
集群搭建
常用命令Filebeat功能介绍安装步骤Filebeat配置详解filebeat常用命令Logstash功能介绍安装步骤Input插件
@lihewei
·
2024-02-06 07:25
elk
Redis(三)主从架构、Redis哨兵架构、Redis集群方案对比、Redis高可用
集群搭建
、Redis高可用集群之水平扩展
转自极客时间Redis主从架构redis主从架构搭建,配置从节点步骤:1、复制一份redis.conf文件2、将相关配置修改为如下值:port6380pidfile/var/run/redis_6380.pid#把pid进程号写入pidfile配置的文件logfile"6380.log"dir/usr/local/redis-5.0.3/data/6380#指定数据存放目录#需要注释掉bind#b
_蓝天IT_
·
2024-02-06 07:37
分布式
redis
架构
java
Kafka SASL_SSL双重认证
文章目录1.背景2.环境3.操作步骤3.1生成SSL证书3.2配置
zookeeper
认证3.3配置kafka安全认证3.4使用kafka客户端进行验证3.5使用Java端代码进行认证1.背景kafka提供了多种安全认证机制
@lihewei
·
2024-02-06 06:39
kafka
ssl
分布式
MongoDB分片
集群搭建
----前言mongodb分片一般用得比较少,需要较多的服务器,还有三种的角色一般把mongodb的副本集应用得好就足够用了,可搭建多套mongodb复本集mongodb分片技术mongodb副本集可以解决数据备份、读性能的问题,但由于mongodb副本集是每份数据都一模一样的,无法解决数据量过大问题mongodb分片技术能够把数据分成两份存储,假如shijiange.myuser里面有1亿条数据
ZzzkiYoumi
·
2024-02-06 06:21
MongoDB
mongodb
数据库
dba
RocketMQ和Kafka的区别,以及如何保证消息不丢失和重复消费
RocketMQ十万级javajava模型简单、接口易用,在阿里有大规模应用文档少,支持的语言少Kafka百万级服务端scala,客户端java主流语言均支持天生分布式、性能最好,常用于大数据领域运维难度大,对
zookeeper
Marciaguoguo
·
2024-02-06 04:38
中间件
rocketmq
kafka
分布式
Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装
就Ambari的作用来说,就是创建、管理、监视Hadoop集群,但是这里的Hadoop指的是Hadoop整个生态圈(例如Hive,Hbase,Sqoop,
Zookeeper
等),而并不仅是特指Had
WaiSaa
·
2024-02-06 02:53
2.RocketMQ
集群搭建
与消息发送样例
1.RocketMQ
集群搭建
1.1各角色介绍mqGroup.png角色NameServer:Broker的管理者。Broker自己去上报NameServer自己的存在Broker:消息的存储者。
lambdaCC
·
2024-02-06 00:58
大数据之
ZooKeeper
原理及其在Hadoop和HBase中的应用
链接:https://blog.csdn.net/zhang123456456/article/details/78008626
ZooKeeper
是一个开源的分布式协调服务,由雅虎创建,是GoogleChubby
yangfhit
·
2024-02-05 20:29
kafka_2.13-2.8.0
kafka_2.13-2.8.0下载kafka启动
zookeeper
zookeeper
.properties
zookeeper
是否启动成功lsof-i:2181ps-aux|grep
zookeeper
启动
qq_26264237
·
2024-02-05 17:57
kafka
java
分布式
Kafka2.13
集群搭建
准备3台服务器,并配置hosts172.17.0.2 node0172.17.0.3 node1172.17.0.4 node2在其中一台服务器中搭建
Zookeeper
(单机或集群都可以)
Zookeeper
咩哥无敌
·
2024-02-05 17:57
kafka
kafka
zookeeper
分布式
6.Linux虚拟机下的Hadoop
集群搭建
之完全分布式配置
Hadoop及相关组件搭建指导WeChat:h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、配置Hadoop集群主节点1.进入目标文件夹。cd/usr/local/hadoop/etc/ha
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
hadoop
分布式
linux
4.Linux虚拟机下的Hadoop
集群搭建
之Xshell及Xftp的使用和SSH服务配置
Hadoop及相关组件搭建指导WeChat:h19396218469本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、Xshell和Xftp的使用在这里我们首先要了解两个软件,一个是Xshell另一个是Xftp。1.Xshell是一个强大的安全终端模拟软件,它支持SSH1,SS
学习BigData
·
2024-02-05 13:31
关于Hadoop的学习笔记
linux
hadoop
ssh
微服务入门篇:Nacos注册中心(Nacos安装,快速入门,多级存储,负载均衡,环境隔离,配置管理,热更新,
集群搭建
,nginx反向代理)
目录1.Nacos安装1.官网下载2.解压到本地3.启动nacos2.Nacos快速入门1.在父工程中导入nacos依赖2.给子项目添加客户端依赖3.修改对应服务的配置文件4.启动服务,查看nacos发现情况3.Nacos服务多级存储模型4.NacosRule负载均衡5.服务实例的权重设置6.环境隔离(namespace)7.Nacos和Eureka的对比1.临时实例和非临时实例2.Nacos与e
JungleiRim
·
2024-02-05 10:39
微服务学习
微服务
负载均衡
架构
kafka高可用
集群搭建
kafka高可用
集群搭建
说明这篇博文主要是为了后面的elk做准备,我们这里搭建一个kafka集群,使用2个节点,还是前面的节点。主要是为了后面做数据缓冲。
憧憬blog
·
2024-02-05 09:40
分布式
kafka
java
zookeeper
linux
Kafka基于
Zookeeper
搭建高可用集群实战
目录1、前言1.1高可用的由来1.2相关术语2、架构图3、发送消息流程4、部署kafka&
zookeeper
集群4.1准备工作4.2启动
zookeeper
集群4.3启动kafka集群4.4测试5、kafka
八五年的湘哥
·
2024-02-05 09:39
#
Kafka
zookeeper
分布式
kafka
java
Kafka高可用
一.安装kafkakafka官网:http://kafka.apache.org/1.Docker安装
zookeeper
Kafka对于
zookeeper
是强依赖,保存kafka相关的节点数据,所以安装Kafka
愛沢かりん
·
2024-02-05 09:08
spring
分布式
Kafka原理解析(二):高可用、高性能机制
消息应答确认机制1.2.4、LEO和HW1.3、故障恢复机制1.3.1、Broker故障恢复分析1.3.1.1、场景一:Broker0与其他Broker断开连接1.3.1.2、场景二:Broker0与
ZooKeeper
爱看雲的雲
·
2024-02-05 09:38
中间件
kafka
kafka 高可用副本配置指南
kafka高可用副本配置指南前言因测试环境kafka故障致内部业务异常故写一份配置指南操作以下配置及操作kafka目录以实际情况为准可以进入kafka/bin里面,有kafka一般操作脚本kafka连接的
zookeeper
黑虎堂堂主
·
2024-02-05 09:38
花非花
java
kafka
「Kafka」消费者篇
老版本(0.9之前)的offset保存在
Zookeeper
的consumers节点路径下。为什么转移了呢?
小成同学_
·
2024-02-05 08:22
Kafka
kafka
分布式
java
后端
中间件
17、ELK
Kibanavalues-prod.yamlvalues-prod.yaml~/kibana/kibana-Ingress.yml~/kafka-yml/zk.ymlecho$(($(cat/etc/hosts|grep
zookeeper
Linux云计算+运维开发
·
2024-02-05 06:29
elk
c#
kubernetes
容器
云原生
istio
网络
Nacos 集群
Nacos
集群搭建
1.集群结构图官方给出的Nacos集群图:其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
漠丶小翁
·
2024-02-05 04:12
Zookeeper
相关面试准备问题
Zookeeper
介绍
Zookeeper
从设计模式角度来理解,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生了变化,
Zookeeper
大数据左右手
·
2024-02-04 22:52
面试
大数据
大数据
Hadoop
集群搭建
以下是一个基本的Hadoop
集群搭建
流程,假设你已经有了一些基础的Linux操作系统知识,并且准备在多台机器上搭建一个简单的Hadoop集群。
终将老去的穷苦程序员
·
2024-02-04 19:53
hadoop
redis学习笔记--redis分布式锁
Redis实现分布式锁锁的处理单应用中使用锁:单进程多线程synchronize、Lock分布式应用中使用锁:多进程分布式锁的实现方式数据库的乐观锁基于
zookeeper
的分布式锁基于redis的分布式锁分布式锁的注意事项互斥性
xsg6509
·
2024-02-04 17:52
redis
redis
分布式锁
分布式锁有哪些应用场景和实现
文章目录如何理解分布式锁分布式锁的常用实现基于关系型数据库应用Redis缓存基于
ZooKeeper
实现总结电商网站都会遇到秒杀、特价之类的活动,大促活动有一个共同特点就是访问量激增,在高并发下会出现成千上万人抢购一个商品的场景
丁川
·
2024-02-04 11:46
Zookeeper
分布式
java
数据库
大数据
Zookeeper
--集群操作
文章目录集群操作集群安装选举机制(面试重点)
Zookeeper
选举机制——第一次启动
Zookeeper
选举机制——非第一次启动ZK集群启动停止脚本客户端命令行操作命令行语法znode节点数据信息节点类型
泛黄的咖啡店
·
2024-02-04 11:15
大数据
zookeeper
分布式
大数据
Zookeeper
--入门
文章目录
Zookeeper
入门概述
Zookeeper
工作机制特点数据结构应用场景
Zookeeper
下载地址
Zookeeper
本地安装本地模式安装安装前准备配置修改配置参数解读
Zookeeper
入门概述
Zookeeper
泛黄的咖啡店
·
2024-02-04 11:11
大数据
zookeeper
分布式
大数据入门-大数据技术概述(二)
目录大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务:
Zookeeper
2.分布式资源管理器:Yarn3.计算引擎:Spark4.
水坚石青
·
2024-02-04 11:11
大数据理论
大数据
spark
kafka
大数据入门--
zookeeper
(一)--
集群搭建
与常用指令
Zookeeper
单机搭建下载官方安装包#解压tar-zxvf
zookeeper
-3.4.5.tar.gz-C/opt/module/#配置zoo.conf,只需要将conf/zoo_sample.conf
许中宝
·
2024-02-04 11:40
大数据
zookeeper
大数据
zookeeper
Hbase2.1
集群搭建
>Hbase在大数据的体系中扮演着DB角色,不得不说是重要的一员,在上一篇,大猪已经给大家演示了[Hadoop3.2
集群搭建
](https://www.jianshu.com/p/3182aaff918d
kikiki4
·
2024-02-04 11:08
JAVA Web 学习(四)RabbitMQ、
Zookeeper
十、消息队列服务器——RabbitMQRabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。Channel:网络信道,读写都是在Channel中进行(NIO的概念),包括对MQ进行
CDSN之父
·
2024-02-04 09:10
java-zookeeper
java-rabbitmq
java
nacos
集群搭建
Nacos
集群搭建
1.集群结构图官方给出的Nacos集群图:其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
程序媛9688
·
2024-02-04 07:04
oracle
数据库
大数据本地环境搭建03-Spark搭建
需要提前部署好
Zookeeper
/Hadoop/Hive环境1Local模式1.1上传压缩包下载链接链接:https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?
OnePandas
·
2024-02-04 06:31
Spark
大数据集群环境搭建
大数据
spark
分布式
seata的部署和集成
blog/download.html(二)、解压(三)、修改配置修改conf目录下的registry.conf文件:registry{#tc服务的注册中心类,这里选择nacos,也可以是eureka、
zookeeper
一+一加1
·
2024-02-04 06:26
spring
cloud
java
RabbitMQ
集群搭建
1.规划节点192.168.200.4---rabbitmq1---RabbitMQ磁盘节点192.168.200.5—rabbitmq2—RabbitMQ内存节点192.168.200.6—rabbitmq3—RabbitMQ内存节点使用OpenStack平台创建三台云主机进行实验,云主机镜像使用提供的CentOS_7.5_x86_64_XD.qcow2镜像,flavor使用1核/2G内存/20
曹博Blog
·
2024-02-04 05:54
Linux
rabbitmq
ruby
centos
大数据组件部署下载链接
archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接:http://archive.apache.org/dist/hive/hive-2.3.2/
Zookeeper
运维道上奔跑者
·
2024-02-04 05:13
大数据
zookeeper
hbase
kafka
hadoop
hive
【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南
单机伪分布式安装文档注意:####################################################################本文档已经有了最新版本,主要改动地方为:1、
zookeeper
运维道上奔跑者
·
2024-02-04 05:43
大数据
hadoop
分布式
Hadoop2.7.6+Mysql5.7+Hive2.3.2+
zookeeper
3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测
####################################################################最新消息:关于spark和Hudi的安装部署文档,本人已经写完,连接:Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.1单机伪分布式安装注意:本篇文章是在本人写的Hadoop+Hive+HBase+Kylin伪分布式安装指南
运维道上奔跑者
·
2024-02-04 05:43
分布式
hbase
zookeeper
hadoop
zookeeper
之会话、数据模型与节点类型与特性、版本
在
ZooKeeper
中,一个客户端连接是指客户端和
ZooKeeper
服务器之间的TCP长连接。
先生zeng
·
2024-02-04 02:13
Zookeeper
集群安装
简介
ZooKeeper
是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。
万总有点菜
·
2024-02-03 21:14
kafka排除
zookeeper
使用kraft的最新部署方案
kafka在新版本中已经可以不使用
zookeeper
进行服务部署,排除
zookeeper
的部署方案可以节省一些服务资源,这里使用kafka_2.13-3.6.1.tgz版本进行服务部署。
腊笔不小新xingo
·
2024-02-03 20:03
kafka
zookeeper
【零散知识点总结2】
大部分知识点来源于该博主——骆昊知识点来源于网络,知道的可以在评论区贴上来源喔《零散知识点总结1》该文章涉及:Dubbo、HTTP和HTTPS、Mybatis、Hibernate、
Zookeeper
、Kafka
木林森屿城
·
2024-02-03 16:44
java
java
Fabric CA 1.4 官方文档中文版
链接:FabricCA中文文档目录概述FabricCA概述快速上手安装前提条件安装软件使用FabricCA命令行配置软件FabricCA服务器初始化服务器启动服务器配置数据库配置LDAP搭建
集群搭建
多个
编程狂魔
·
2024-02-03 15:23
ZooKeeper
应用-解决分布式系统单点故障
今天小编给大家分享一下:
ZooKeeper
应用--解决分布式系统单点故障1.单点故障问题什么是分布式系统中的单点故障:通常分布式系统采用主从模式,就是一个主控机连接多个处理节点。
架构师Javaspring
·
2024-02-03 13:25
数据库笔记
文章目录数据库概述基本概念存储过程完整性约束范式FAQ分布式锁RedisMySQL
ZooKeeper
非关系型数据库Redis数据结构限流内存淘汰机制LRU最近最少使用LFU最近经常使用过期策略关系型数据库
newcih
·
2024-02-03 13:18
数据库
笔记
oracle
浅谈
Zookeeper
及windows下详细安装步骤
1.
Zookeeper
介绍1.1分布式系统面临的问题分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。
被Java暴击的星河
·
2024-02-03 12:04
zookeeper
zookeeper
分布式
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他