E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
redis5集群搭建
Hyper-v虚拟机Hadoop
集群搭建
大数据Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。(海量数据存储)HDFS为海量的数据提供了存储,而MapReduce**分布式计算**则为海量的数据提供了计算总结:用Java开发HDFS–解决大数据存储问题MapReduce–解决大数据计算问题HDF
真.电脑人
·
2023-11-30 16:16
hadoop
大数据
分布式
分布式基础篇1——环境搭建(谷粒商城)
5、服务注册/发现&注册中心6、配置中心7、服务熔断和服务降级8、API网关三、环境搭建1、使用Vagrant安装Linux虚拟机2、安装Docker3、Docker安装MySql4、Docker安装
Redis5
鲨瓜2号
·
2023-11-30 16:49
#
谷粒商城
分布式
java
开发语言
mybatis
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、
集群搭建
、核心理论
文章目录Zookeeper一、简介二、应用场景三、设计目标四、数据模型五、单机安装六、命令操作1.服务端常用命令2.客户端常用命令3.创建临时顺序结点七、JavaAPI操作1.Curator介绍2.建立连接3.添加结点4.查询结点5.设置结点6.删除结点7.Watch事件监听(1)NodeCache(2)PathChildrenCache(3)TreeCache8.分布式锁(1)概念(2)Zook
蓝染-惣右介
·
2023-11-30 15:36
微服务与中间件
分布式
java-zookeeper
zookeeper
电商平台数据仓库搭建02-Hadoop
集群搭建
1,项目说明本项目来源于github电商平台数据仓库搭建。项目为个人学习记录,项目代码及文件可访问电商平台数据仓库搭建获得。2,项目准备虚拟机准备虚拟机开发工具为VMware15。本次项目我自己使用的CentOS版本为CentOS7。虚拟机需要配置3台,分别为Hadoop102,Hadoop103,Hadoop104。配置ssh、jdk1.vm-tools,并创建新用户hadoop并配置root权
王小磊~
·
2023-11-30 13:04
电商数据仓库搭建
hadoop
数据仓库
hive
sql
大数据
Apache Airflow (十四) :Airflow分布式
集群搭建
及测试
博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.节点规划2.airflow
集群搭建
步骤3.初始化Airflow4.创建管理员用户信息5.配置SchedulerHA6
IT贫道
·
2023-11-30 11:01
任务流调度工具
Airflow
Hadoop-HDFS详解与HA,完全分布式
集群搭建
(细到令人发指的教程)
前言本篇篇幅较长,有许多
集群搭建
干货,和枯燥乏味但是面试可能问到的理论知识。思来想去不知道怎样才能鼓励自己加油学习,想想要面对的生活还是假吧意思打开学习视频吧。
毫无感情的dj
·
2023-11-30 10:06
hadoop
hdfs
大数据
分布式
zookeeper
[Docker]十二.Docker consul
集群搭建
、微服务部署,Consul集群+Swarm集群部署微服务实战
一.Dockerconsul
集群搭建
Consul是Go语言写的开源的服务发现软件,Consul具有服务发现、健康检查、服务治理、微服务熔断处理等功能,在微服务中讲过如何搭建consul集群,接下来看看在
zhoupenghui168
·
2023-11-30 07:12
docker
#
golang微服务
架构
docker
微服务
集群搭建
docker微服务部署
docker
Consul集群
Swarm集群部署微服务实战
Spark集群安装(On Yarn)
说明:基于已经搭建完成的Hadoop集群,关于Hadoop
集群搭建
,可参考:https://blog.csdn.net/weixin_37901366/article/details/13017066一
maplea2012
·
2023-11-30 03:55
Spark
spark
大数据
hadoop
Redis5
分布式系统之主从模式
目录分布式系统引子分布式系统类型主从模式一个主节点和多个从节点创建多个节点方法配置主从结构主从模式知识主从复制拓扑结构1.一主一从2.一主多从3.树形主从主从实现原理psync数据同步全量复制和部分复制psync流程1.全量数据同步2.部分数据同步3.实时拷贝从节点变为主节点的情况主节点断开无法重连恢复分布式系统引子1.在分布式之前的结构都是单点结构,所谓单点指的是一个服务器程序或者一个主机.2.
哈里沃克
·
2023-11-30 02:23
实用工具
redis
数据库
缓存
ElasticSearch非权威完整指南(实战)
ES基础什么是eslucene和es的关系es解决的问题es的工作原理es的核心概念安装快速开始安装ik分词插件
集群搭建
集群管理需要多大的集群规模集群节点角色分配防脑裂索引分片数量设置分
fastji
·
2023-11-29 23:51
elasticsearch
大数据
数据库
搜索引擎
nosql
Redis 面试常问问题
Redis系列笔记:第一篇:Redis基础命令第二篇:Redis常见应用场景第三篇:RedisCluster
集群搭建
第四篇:Redis主从及哨兵搭建第五篇:Redis主从及集群第六篇:Redis持久化第七篇
云三木
·
2023-11-29 21:30
Redis
redis
数据库
java异常问题处理 工具教程博客目录汇总
分页插件-CSDN博客sql语句操作执行新增语句后返回主键属性_sql新增后返回主键-CSDN博客虚拟机安装部署redis启动五种数据类型key命令(过期时间)redis持久化方案-CSDN博客redis
集群搭建
简单使用项目中
T浩浩
·
2023-11-29 20:00
java
开发语言
zookeeper
集群搭建
1.下载并解压ZooKeeper-3.4.10.tar.gz到"/opt"路径下tar-zxvfzookeeper-3.4.10.tar.gz2.在$ZOOKEEPER_HOME/conf目录下创建zoo.cfg文件,添加内容如下:#ThenumberofmillisecondsofeachticktickTime=2000#Thenumberofticksthattheinitial#synch
背麻袋的袋鼠
·
2023-11-29 09:17
MySQL双主双从数据库
集群搭建
1引言在之前的文章中提到过相关搭建方法,具体请参考《MySQL主从数据库搭建》这篇文章,本文主要讲述双主双从,双主多从集群的搭建方式。这里要问一个问题,为什么MySQL要搭建数据库集群呢?我想应该有以下几点原因:提高性能:通过搭建数据库集群,可以将负载分散到多个服务器上,从而提高了数据库的整体性能。这主要是因为集群的每个节点都可以独立地处理请求,减轻了单个服务器的负担。高可用性:在数据库集群中,如
一朝风月S
·
2023-11-29 06:01
备忘录
数据库
数据库
mysql
后端
Redis系列(十二)、Redis6
集群搭建
及原理(主从、哨兵、集群)
本篇就来介绍Redis
集群搭建
方案及实现原理,实现Redis对数据的冗余备份,从而保证数据和服务的高可用。
zhousenshan
·
2023-11-29 05:28
redis
redis 主从复制
redis主从复制Sentine哨兵机制cluster
集群搭建
redis主从复制实验环境系统版本:CentOSLinuxrelease7.6.1810(Core)redis版本:redis-6.2.6.
半吊子炼全栈
·
2023-11-29 05:27
redis
redis
数据库
缓存
redis技术4-- Redis Cluster
集群搭建
和部署
文章目录一.集群介绍1.集群简介2.数据分布二.手动搭建部署RedisCluster(第一种搭建集群的方法)1.目录规划2.集群拓扑3.手动搭建部署集群3.1思路:3.2环境准备3.3实验配置4.手动配置节点发现5.RedisCluster通讯流程6.RedisCluster手动分配槽位7.创建主从复制8.测试集群9.ASK路由介绍10.模拟故障转移三.使用工具搭建部署RedisCluster(第
Agirl_Nana
·
2023-11-28 21:28
redis
redis
服务搭建篇(五) Redis单机/redis-cluster
集群搭建
感兴趣的话大家可以关注一下公众号:猿人刘先生,欢迎大家一起学习,一起进步,一起来交流吧!一.Redis集群简介redis集群是一个由多个主从节点群组成的分布式服务器群,它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵·也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式,这种集群模式没有中心节点,可水平扩展,据官方文档称可以线性扩展到上万个节点(官方推荐不超过100
lingering fear
·
2023-11-28 21:28
redis
redis
数据库
java
Nginx讲解
文章目录Nginx概述详解nginx.conflocation语法nginx代理模式nginx
集群搭建
nginx负载均衡策略日志管理和日志切割nginx
集群搭建
-动静分离nginx高并发nginx配置限流高并发下
快乐小王子之帅气哥哥
·
2023-11-28 20:10
服务器
nginx
SpringCloudAlibaba之Nacos的持久化和高可用——详细讲解
目录一、Nacos持久化1.持久化说明2.安装mysql数据库5.6.5+以上版本(略)3.修改配置文件二、nacos高可用1.集群说明2.nacos集群架构图2.
集群搭建
注意事项3.集群规划4.搭建nacos
天道酬勤_smile
·
2023-11-28 15:19
spring
cloud
spring
nginx
mysql
linux
flink
集群搭建
TaskManagerRunner启动失败
按照教程搭建是遇见TaskManagerRunner启动失败问题,多次确认配置文件无误,节点间能够互相登录,但是就是启动失败并且启动时没有TaskManagerRunner节点启信息:下图为正常启动:有工作节点的启动信息,但是我启动时就遇到这个问题,没有工作节点的启动信息提示问题原因:scp拷贝到其余工作节点的flink路径和主节点的flink路径不一致解决办法:删除各节点的flink,重新拷贝到
dogplays
·
2023-11-28 14:03
flink
RabbitMQ镜像
集群搭建
及Springboot整合使用
RabbitMQ镜像
集群搭建
及Springboot整合使用文章目录RabbitMQ镜像
集群搭建
及Springboot整合使用技术选型及版本一、搭建镜像集群1、前提准备2、安装rabbitmq3、加入集群
日月明186
·
2023-11-28 14:19
java
运维
java-rabbitmq
rabbitmq
java
Kubernetes使用与
集群搭建
2022-3-13
Kubernetes章节目录Kubernetes使用与
集群搭建
[Kubernetes章节目录](https://blog.csdn.net/qq_21438267/article/details/123458155
偶入编程深似海
·
2023-11-28 12:22
部署与运维篇
kubernetes
docker
FastDFS单机及集群环境搭建
1libfastcommon安装2fastdfs安装3完成安装测试上传图片测试其他命令三FastDFS与Nginx整合1安装FastDFS的Nginx模块2安装Nginx3网络问题四、FastDFS的
集群搭建
偶入编程深似海
·
2023-11-28 12:51
Java
组件使用
docker
运维
容器
保姆级LLM训练教程:阿里云平台使用accelerate,deepspeed多机多卡训练Chatglm2-6B
如果之前做过分布式
集群搭建
的,这肯定是难不倒他们的,但是对于一个普通的小白,如何从0到1去搭建多机多卡训练是个很大的难题,我也走了不少的坑,如果对大家有帮助请给一个小小的关注。
小鸡不简单
·
2023-11-28 09:13
人工智能
语言模型
nlp
深度学习
AIGC
Redis主从
集群搭建
的一系列问题(FATAL CONFIG FILE ERROR Reading the configuration file, at line 2)
今天尝试自己搭建Redis主从集群(一主二从),做的过程中有好多问题,感觉几乎所有的坑都让我踩了,特地来记录一下。我是在同一台虚拟机开启3个实例,创建三个目录,7001、7002、7003,复制三份配置文件进去,分别修改完三个配置文件后启动时出现了问题问题一***FATALCONFIGFILEERROR***Readingtheconfigurationfile,atline2‘replica-a
丿BAIKAL巛
·
2023-11-28 06:44
问题解决
Linux
redis
数据库
nosql
kubernetes
集群搭建
Zabbix监控平台的详细过程
文章目录一、框架图二、环境三、监控指标四、zabbix模板4.1**K8S集群以及组件模板**4.2**K8S节点基础信息指标模板**五、主要监控方式5.1**Agent**5.2**Agentless**六、部署MySql86.1、软件包下载6.2、卸载MariaDB6.3、MySQL二进制安装6.3.1创建mysql工作目录:6.3.2、上传软件,并解压并改名为app6.3.3、修改环境变量6
飞翔沫沫情
·
2023-11-27 23:55
zabbix监控
K8S监控
k8s
kubernetes
zabbix
docker
Hbase
集群搭建
>Hbase在大数据的体系中扮演着DB角色,不得不说是重要的一员,在上一篇,大猪已经给大家演示了[Hadoop3.2
集群搭建
](https://www.jianshu.com/p/3182aaff918d
大猪大猪
·
2023-11-27 22:53
kafka kraft
集群搭建
保姆级教学 包含几个踩坑点
一.为啥弃用zookeeperkafka弃用ZooKeeper而采用KRaft的主要原因是为了改进Kafka集群的可靠性和可管理性。在传统的Kafka架构中,ZooKeeper用于存储和管理集群的元数据、配置信息和状态。然而,使用ZooKeeper作为协调服务存在一些限制和挑战,例如:单点故障:ZooKeeper是一个独立的组件,如果ZooKeeper集群发生故障或不可用,将导致整个Kafka集群
我才是真的封不觉
·
2023-11-27 14:16
kafka
分布式
【zookeeper学习-7】zookeeper集群(伪
集群搭建
)
介绍zookeeper在一个系统中,扮演着一个类似于“组织者”或者“协调者”的角色。如果只部署了一个zk服务,而且挂了,可能就会引起程序之间无法联动的问题。因此,部署一个zk集群是很有必要的。zookeeper集群的搭建,需选举一个zk服务器作为leader。Leader选举:Serverid:服务器ID,比如有三台服务器,编号分别是1,2,3,编号越大在选择算法中的权重越大。Zxid:数据ID,
weixin_45135482
·
2023-11-27 04:58
java-zookeeper
zookeeper
学习
05-zookeeper的
集群搭建
搭建Zookeeper集群1.1搭建要求真实的集群是需要部署在不同的服务器上的,但是在我们测试时同时启动很多个虚拟机内存会吃不消,所以我们通常会搭建伪集群,也就是把所有的服务都搭建在一台虚拟机上,用端口进行区分。我们这里要求搭建一个三个节点的Zookeeper集群(伪集群)。1.2准备工作重新部署一台虚拟机作为我们搭建集群的测试服务器。(1)安装JDK【此步骤省略】。(2)Zookeeper压缩包
yololee_
·
2023-11-27 04:28
软件安装
zookeeper单机与
集群搭建
过程
zookeeper单机模式2.1.单机搭建过程2.2.zookeeper客户端操作命令2.3.例:实现分布式配置中心3.zookeeper集群模式3.1.zookeeper集群中的角色3.2.设计目的3.3.
集群搭建
过程
时光留夏
·
2023-11-27 04:55
zookeeper
zookeeper 单机伪
集群搭建
简单记录
1、官方下载加压后,根目录下新建data和log目录,然后分别拷贝两份,分别放到D盘,E盘,F盘2、data目录下面新建myid文件,文件内容分别为1,2,3.注意文件没有后缀,不能是txt文件,也不能zxid后缀3、conf目录下的zoo_sample.cfg文件重命名为zoo.cfg文件,修改为下面内容;4、进入bin目录,启动zkServer.cmd即可。运行成功如下5、运行任意zkCli.
香至-人生万事须自为,跬步江山即寥廓。
·
2023-11-27 04:52
springboot
zookeeper
分布式
[Hbase]Hbase2.2.6的分布式
集群搭建
(使用自带的zookeeper)
1.Hbase2.2.6分布式
集群搭建
1.1.前提本次示例默认你已经完成了了如下操作:JDK的配置节点间的免密登录hadoop集群的搭建集群的时间同步1.2.Hbase分布式集群的架构图首先,本次示例需要三个节点
_balabala_
·
2023-11-26 19:53
Hbase高可用
集群搭建
手册
:https://github.com/Leezhonglin/blog:https://leezhonglin.github.io/本教程主要包含zookeeper集群、hadoop集群、hbase
集群搭建
kujirashark
·
2023-11-26 19:16
服务部署
hadoop
hbase
opentsdb
zookeeper
Sqoop工具MySQL导入数据到Hbase(Hbase部署)
基础环境集群工具版本sqoop-1.4.7.bin__hadoop-2.6.0mysql驱动,插件包jar提取码:LWXBhadoop-2.6.5hbase-2.2.6-bin以上是集群和工具的版本hadoop
集群搭建
这里就不说了
一只little白
·
2023-11-26 19:44
架构
集群
hadoop
大数据
hbase
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
问题导读:0、了解常规JDK安装以及Linux系统配置1、了解集群规划以及集群场景2、熟悉HBase的
集群搭建
3、熟悉ZooKeeper
集群搭建
4、熟悉Hadoop2.6.0版本HA
集群搭建
5、验证HBase
jerry_jiang2017
·
2023-11-26 19:42
Hadoop
【已解决】HBase 2.2.6 集群部署后,从节点未启动 HRegionServer
而启动之前的HBase2.4.11则完成正常,我就有点怀疑是不是HBase2.2.6
集群搭建
有什么特殊的地方?
mba1398
·
2023-11-26 19:06
hbase
大数据
第03期:ClickHouse 之
集群搭建
以及数据复制
本期作者:邓亚运37互娱高级DBA,负责公司MySQL,Redis,Hadoop,Clickhouse集群的管理和维护。前面的文章简单的介绍了ClickHouse(第01期),以及也进行了简单的性能测试(第02期)。本期说说集群的搭建以及数据复制,如果复制数据需要zookeeper配合。环境:1)3台机器。我这里是3台虚拟机,都安装了clickhouse。2)绑定hosts,其实不绑定也没关系,配
爱可生开源社区
·
2023-11-26 15:45
kafka-2.
集群搭建
,topic+partition消费逻辑梳理
kafka
集群搭建
这里博主用的kafka2.6.0https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz上传服务器解压安装$tar-xzfkafka
飘然渡沧海
·
2023-11-26 12:33
kafka
kafka
zookeeper
分布式
架构
Redis分片集群
文章目录Redis分片
集群搭建
分片集群散列插槽插槽原理小结集群伸缩需求分析创建新的redis实例添加新节点到redis转移插槽故障转移自动故障转移手动故障转移RedisTemplate访问分片集群Redis
过去日记
·
2023-11-26 12:13
redis
redis
数据库
缓存
笔记
elasticsearch 冷热分离
集群搭建
——筑梦之路
冷热分离架构介绍冷热分离是目前ES非常火的一个架构,它充分的利用的集群机器的优劣来实现资源的调度分配。ES集群的索引写入及查询速度主要依赖于磁盘的IO速度,冷热数据分离的关键点为使用固态磁盘存储数据。若全部使用固态,成本过高,且存放冷数据较为浪费,因而使用普通机械磁盘与固态磁盘混搭,可做到资源充分利用,性能大幅提升的目标。因此我们可以将实时数据(5天内)存储到热节点中,历史数据(5天前)的存储到冷
筑梦之路
·
2023-11-26 04:37
linux系统运维
数据库技术
虚拟化
elasticsearch
big
data
分布式
Docker进阶Compose——swarm集群
文章目录Docker基础回顾DockerComposeCompose安装Compose初体验Compose配置编写规则使用Compose一键部署WP博客实战:自己编写微服务上线DockerSwarm
集群搭建
环境准备
xixihaha_coder
·
2023-11-25 21:15
Docker
docker
容器
运维
【Docker之Swarm详细讲解&Swarm
集群搭建
&管理节点&工作节点&Raft一致性协议&overlay网络&Docker结合Swarm部署WordPress个人博客实战】
一.知识回顾之前的内容都帮你整理好了,在这里哟!【0.Docker相关目录文章整理,可自行查看,包含多节内容】【1.Docker详细安装部署&阿里镜像地址配置】【2.Docker架构&&架构角色概念&&角色作用】【3.Docker命令详细讲解&实操演示】【4.Docker镜像文件&加载原理&生产中重新制作并提交镜像文件&案例演示】【5.Docker数据卷&数据卷容器&DockerFile执行流程】
硕风和炜
·
2023-11-25 21:38
Docker
Docker
Swarm集群搭建
Raft一致性协议工作管理节点
WordPress个人博客实战
overlay网络
Spring Cloud Alibaba系列(6)之:nacos
集群搭建
传送门SpringCloudAlibaba系列之nacos:(1)安装SpringCloudAlibaba系列之nacos:(2)单机模式支持mysqlSpringCloudAlibaba系列之nacos:(3)服务注册发现SpringCloudAlibaba系列之nacos:(4)配置管理SpringCloudAlibaba系列之(5):nacos源码本地环境搭建为什么要搭建本地Nacos集群环
kobe_t
·
2023-11-25 17:26
#
SpringCloud
Alibaba
java
基于CentOS7的CDH6.3.2完全分布式
集群搭建
【上】
主要参考:【CDH实战01】基于CentOS7的CDH6.3.2完全分布式
集群搭建
【上】【CDH实战02】基于CentOS7的CDH6.3.2完全分布式
集群搭建
【下】如何从0开始学习大数据技术2020年
HansBigData
·
2023-11-25 14:18
分布式
linux
hadoop
Docker Swarm总结+基础、
集群搭建
维护、安全以及集群容灾(1/3)
博主介绍:Java领域优质创作者,博客之星城市赛道TOP20、专注于前端流行技术框架、Java后端技术领域、项目实战运维以及GIS地理信息领域。文末获取源码下载地址精彩专栏推荐订阅欢迎点赞收藏评论拍砖........【DockerSwarm总结】《容器技术Docker+K8S专栏》✅【uniapp+uinicloud多用户社区博客实战项目】《完整开发文档-从零到完整项目》✅【Springcloud
hhzz
·
2023-11-25 13:17
容器技术
Docker+K8S
docker
java
eureka
本地k8s
集群搭建
保姆级教程(2)-装机Alpine
装机Alpine1安装Alpine1.1登录默认用户:root,无密码1.2输入setup-alpine,回车1.3设置键盘语言输入:cn,回车继续输入:cn,回车1.4设置主机名输入:k8smaster,回车1.5初始化网卡信息几个选项都默认回车,回车到设置密码1.6设置密码密码需要输入两次1.7设置时区1、输入:Asia,回车2、输入:Shanghai,回车1.8设置安装包镜像源选择要安装的工
幸福指北
·
2023-11-25 13:43
Devops
Linux/Unix
ssh
linux
kubernetes
云原生
devops
Rancher+K8S+Docker
集群搭建
Rancher+K8S+Docker
集群搭建
Ubuntu安装准备工作:准备VMware+Ubuntu(ubuntu-18.04.5-live-server-amd64.iso)1.1虚拟机安装步骤不做赘述
纠结已成歌e
·
2023-11-25 12:38
docker
ubuntu
linux
centos
redis专题:redis的主从、哨兵、集群架构的配置和部署详情、以及问题分析
3.redis哨兵高可用架构3.1redis哨兵架构搭建步骤3.2哨兵的主要作用3.3哨兵leader选举流程4.redis集群高可用架构4.1redis高可用
集群搭建
4.2redis集群的槽位存储
知识分子_
·
2023-11-25 10:06
redis
redis
架构
bootstrap
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他