E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Codis集群搭建
二、Hadoop系统应用之Hadoop
集群搭建
(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hadoop
集群搭建
前安装准备参考:一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMwareWorkstation15.5PRO,CentOS-6.7)一、Hadoop系统应用之安装准备
七层楼的疯子
·
2023-01-14 15:06
Hadoop系统应用
hadoop
大数据
linux
hdfs
分布式
三、Hadoop系统应用之Hadoop集群测试及初体验(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hadoop
集群搭建
前安装准备参考:一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMwareWorkstation15.5PRO,CentOS-6.7)一、Hadoop系统应用之安装准备
七层楼的疯子
·
2023-01-14 15:06
Hadoop系统应用
hadoop
centos
大数据
hdfs
分布式
Redis 中如何应对数据倾斜
HotKeyHotKey如何解决总结参考Redis中如何应对数据倾斜什么是数据倾斜如果Redis中的部署,采用的是切片集群,数据是会按照一定的规则分散到不同的实例中保存,比如,使用RedisCluster或
Codis
LiZ-LiZhan
·
2023-01-14 07:48
Redis
redis
数据库
大数据---Hadoop
集群搭建
学习(干货)
文章目录Hadoop
集群搭建
学习1Hadoop发展史2Hadoop三大发行版本3Hadoop的优势(4高)4Hadoop组成(面试重点)5HDFS架构概述6MapReduce架构概述7大数据技术生态体系
yidianyidei
·
2023-01-12 21:06
分布式
大数据
hadoop
Hadoop HBase Hive | 一、Linux集群环境安装采坑介绍
1.描述初次尝试HadoopHBaseHive
集群搭建
,特地记录下来。
Wbw Belief
·
2023-01-12 21:34
hadoop
hbase
hive
hadoop
hbase
hive
集群
linux
Centos7.6.1810离线安装Redis5.0.14集群部署
写给小白版本说明准备gcc安装gcc++安装glibc离线安装准备阶段总结1、redis5.0.14集群下载编译安装2、修改redis.conf配置3、单台启动4、开始
集群搭建
5、集群单台测试6、修改其他节点配置
勤快的小蚂蚁
·
2023-01-12 19:20
JAVA
Linux
ruby
centos
redis
glibc
gcc
Hadoop
集群搭建
配置教程
Hadoop3.1.3
集群搭建
前言集群规划
集群搭建
具体步骤1、下载`hadoop-3.1.3.tar.gz`2、上传并解压3、配置`path`变量4、修改配置文件4.1修改文件`hadoop-env.sh
笑看风云路
·
2023-01-11 11:52
Hadoop
hadoop
hdfs
大数据
Hadoop
集群搭建
(详细版)
Hadoop
集群搭建
的前提准备1、确保VMware虚拟机和CentOS系统的成功安装2、打开终端检查是否有外网:ping网络名(例如:pingwww.baidu.com)3、如果有外网,需要安装一些依赖
乱小世
·
2023-01-11 11:51
hadoop
大数据
Hadoop
集群搭建
教程(详细)
需要的安装包:1.jdk压缩包2.hadoop压缩包请前往百度云上上下载相关安装包(密码:8op1)开始搭建hadoop集群一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙1.因为默认的虚拟机主机名都是ubuntu,所以为了便于虚拟机的识别,创建完成虚拟机后我们对虚拟机名进行修改,我们把用于主节点的虚拟机名称设为master(按自己的喜好创建),
普通网友
·
2023-01-11 11:51
java
java
后端
Hadoop
集群搭建
Hadoop
集群搭建
Hadoop集群简介HDFS集群YARN集群Hadoop部署模式Hadoop集群源码编译安装0.Hadoop源码编译1.集群角色规划2.服务器基础环境准备安装JDK1.8(安装OracleJDK8
识途老码
·
2023-01-11 11:20
Hadoop
hadoop
大数据
hdfs
Redis源码,主从同步与对象模型
redis持久化相关配置aofaofrewriterdb混合持久化数据安全策略二、Redis主从复制数据同步增量数据同步服务器RUNID复制偏移量offset三、redis哨兵模式分布式中的cap原则
Codis
猥琐猿
·
2023-01-10 21:06
笔记
redis
elasticsearch
集群搭建
1、准备三台服务,ip如下192.168.37.40192.168.37.141192.168.37.482、系统设置将/etc/fstab文件中所有设置为swap的设备关闭swapoff-afree-h注释/etc/fstab的swap行vi/etc/fstab注释swap行设置Linux内核参数vi/etc/sysctl.confvm.swappiness=1fs.file-max=65536
Borny鼎鼎
·
2023-01-10 03:24
Elasticsearch
elasticsearch
尚硅谷Kubernetes(k8s)视频学习笔记
kubernetes基本介绍2、kubernetes功能和架构2.1概述2.2K8s功能:2.3应用部署架构分类2.4k8s集群架构2.5k8s集群架构节点角色功能2.6k8s核心概念二、kubernetes
集群搭建
溯光旅者
·
2023-01-09 20:58
#
JavaEE
kubernetes
Redis
集群搭建
**4.1.2代理分区代理分区常用方案有Twemproxy和
Codis
,类似于mysql的shardingproxy。4.1.3redis-c
_院长大人_
·
2023-01-07 12:27
redis
数据库
缓存
HBase分布式
集群搭建
(zookeeper+hadoop+hbase)超详细!
hbase-1.4.13master:namenode、resourcemanager,slave1:secondarynamenode、datanode,slave2:datanode一、Hadoop
集群搭建
程序员进化者
·
2023-01-06 11:40
大数据
hadoop
zookeeper
hbase
Hadoop 3.2.1 +Hive+Hbase伪分布式
集群搭建
根据实战安装步骤,详细描述hadoop3.2.1、hive3.1.2(包括mysql5.7)、zookeeper3.6、hbase2.2.4、flume1.9.0、sqoop1.4.7各组件安装步骤,记录过程中的各种坑,方便各位同学快速安装部署hadoop伪分布集群。软件环境javaversion“1.8.0_212”ApacheHadoop3.2.1Hive3.1.2(mysql5.7)Zook
Ted丶
·
2023-01-06 11:09
伪分布式集群
hbase
hive
大数据
hadoop
hive
hbase
手把手Hadoop伪分布
集群搭建
+hadoop完全分布式
集群搭建
文章目录一.创建模板机二.魔板机调试配置2.1测试是否可上网2.2安装工具配置免密登录2.3关闭防火墙关闭防火墙开机自启动2.4创建atguigu用户,更改密码2.5切换到atguigu用户,创建文件夹2.7修改克隆机主机名2.8root用户修改静态ip2.8在魔板机安装jdk(atguigu用户)2.10在魔板机安装hadoop伪分布搭建三.完全分布式准备3.1克隆虚拟机3.2打开虚拟机3.3更
筝湘湘
·
2023-01-06 11:38
大数据集群搭建教程
hadoop
hdfs
大数据
最最最详细的Hadoop+HBase+Zookeeper+Hive完全分布式环境搭建教程
配置hadoop配置文件三、HBase配置1.配置hbase-site.xml文件2.配置hbase-env.sh文件3.配置log4j.properties文件4.配置regionservers四、
集群搭建
艾默生莱斯
·
2023-01-06 11:07
hadoop
hbase
hive
hadoop
hbase
hive
zookeeper
hadoop2.6.5+zookeeper3.4.10+hbase1.3.1分布式
集群搭建
一、配置环境1.三台虚拟机ubuntu16.04相关软件包1.jdk1.8.0_1122.hadoop2.6.53.zookeper3.4.104.hbase1.3.1注:此处采用了三台虚拟机,为方便维护,此处采取了相同的用户名,用户密码,相同的目录结构二、安装Java环境1.下载jdk1.8.0_112压缩包,解压(作者采用的解压路径为:/usr/lib/jvm/)2.配置/etc/profil
Crazy_cjran
·
2023-01-06 11:05
hbase
hadoop
zookeper
分布式
集群
hbase
hadoop
zookeper
分布式
集群
3台机器配置hadoop集群_Hadoop+Hbase 分布式集群架构
安装搭建Hadoop1、配置说明本次
集群搭建
共三台机器,具体说明下:主机名IP说明nn01192.168.1.51DataNode、NodeManager、ResourceManager、NameNodedn01192.168.1.52DataNode
张狂年少
·
2023-01-06 11:04
实践总结
hadoop
分布式
hbase
时序数据库 TDengine 3.0 参数体系使用方式汇总
首先,我们来看下它们的使用方式——参数分级集群级别参数:SHOWCLUSTERVARIABLES;代表
集群搭建
时,必须要保
·
2023-01-04 20:38
这5个常问的Redis面试题你答得出来吗?(详细剖析)
1、面试官心理分析在前几年,redis如果要搞几个节点,每个节点存储一部分的数据,得借助一些中间件来实现,比如说有
codis
,或者twemproxy,都有。
JAVA高级架构v
·
2023-01-04 12:31
数据库
分布式
redis
java
面试
十四、《大数据项目实战之用户行为分析》HBase分布式
集群搭建
集群建立在Hadoop集群的基础上,而且依赖于ZooKeeper,因此在搭建HBase集群之前,需要将Hadoop集群(本例使用的Hadoop集群为非HA模式,即一个NameNode)和ZooKeeper
集群搭建
好
大数据张老师
·
2022-12-28 23:52
#
hbase
分布式
hadoop
HBase集群搭建
hbase操作
pulsar mop mqtt二次开发贡献开源项目代码
pulsarmopmqtt二次开发贡献开源项目代码LinuxMacBook单机部署Pulsar并开启认证功能pulsar
集群搭建
_亲测成功pulsar开启mqtt和认证pulsar自定义认证插件开发pulsar
·
2022-12-28 18:47
pulsarmqtt
架构师教你Redis如何实现高可用架构
一、背景公司的业务在大量的使用redis,访问量大的业务我们有在使用
codis
集群,redis3.0集群,说到redis3.0集群,我们线上已经跑了半年多了,集群本身没有出现过任务问题,但是由于我们这个业务是海外的
普通网友
·
2022-12-28 14:26
java
架构
Redis
程序员
高可用
Redis 高可用之切片集群
Redis
集群搭建
Redis集群数据切片和实例的对应分布关系哈希槽与Redis实例映射客户端如何定位数据?
徐俊生
·
2022-12-28 14:23
Redis
redis
redis
集群
redis
cluster
redis主从
集群搭建
redis主从
集群搭建
1.下载redis镜像dockerpullredis下载完毕之后,保险起见,看一下下,用dockerimages2.启动redis-master和redis-slave.
寸京
·
2022-12-27 13:47
docker
容器入门
Redis主从同步
集群搭建
文章目录前言1.Redis群集概述1.1redis集群的作用是什么1.2单一Redis服务器存在的问题1.3Redis集群介绍与优势1.4Redis-Clouder集群的数据分片1.5Redis-Cluster的主从复制模型2.搭建Redis主从同步2.1案例拓扑图及环境2.2项目操作2.3具体实现步骤2.4测试群集前言通过之前的文章,我们了解到了redis的编译安装流程,以及配置优化内容。这里,
人生梦复梦
·
2022-12-27 13:43
NoSQL
redis
linux
shell脚本企业实战系列-redis主从
集群搭建
脚本
#!/bin/bash#editorbyyhzong#date2020-08-04#redis主从模式搭建,会提示你输入redis是主节点还是从节点echo"+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++1、此脚本为redis主从脚本,请首先确定安装机器是主还是从.++2、此脚本默认的版本是redis-5.0.5,如果你需
一个杯子_one
·
2022-12-27 13:13
脚本shell
shell
负载均衡
运维
redis主从,
集群搭建
一、redis安装1.yum安装yum-yinstallredis安装版本降低2.源码安装获取源码包wgethttp://download.redis.io/releases/redis-5.0.0.tar.gz...[root@ryan~]#lsanaconda-ks.cfgredis-5.0.0.tar.gz解压[root@ryan~]#tar-zxvfredis-5.0.0.tar.gz[r
Ryan-ruan
·
2022-12-27 13:11
非关系型数据库
redis安装
redis主从搭建
redis集群搭建
Redis主从
集群搭建
及主从复制原理解析
Redis框架除缓存之外的实用功能前言上篇文章主要介绍redis的实用功能,也就是数据类型。包括string、hash、set、zset、发布订阅、stream等类型;并解析了他们的应用场景;本篇文章会紧接着写redis主从集群的搭建,并详解其中配置,以及主从复制的原理解析。高可用主从集群在Redis中要达到高可用,有两种集群架构方式,有分片和主从集群,这里讨论的是读多写少的场景采用主从集群。re
踩踩踩从踩
·
2022-12-27 13:38
高并发缓存
redis
数据库
缓存
redis主从复制和
集群搭建
redis主从复制准备两台服务器,两台服务器可以互相ping通,可以新建两个虚拟机,然后配置网络,此处不在演示准备两台虚拟机之后,两台虚拟机安装redis,gcc编译之后我们开始配置redis集群服务器1:linux-master服务器2:linux-slave01将linux-master服务器的redis.conf文件都放到redis/bin下修改redis.conf文件:vimredis.c
y我见青山多妩媚
·
2022-12-27 13:34
技术
redis
数据库
服务器
redis集群操作
Redis集群1集群2集群架构图3集群细节4
集群搭建
4.1.创建集群4.2.查看集群状态4.3.添加主节点4.4.添加从节点4.5.删除副本节点4.6.集群在线分片1集群Redis在3.0后开始支持Cluster
秦 羽
·
2022-12-27 10:44
Redis
redis
数据库
java
Redis
集群搭建
,扩容及收缩节点
Redis
集群搭建
,扩容及收缩节点简单介绍二.
集群搭建
一.环境准备二.目录规划三.手动搭建部署集群1.创建安装目录及数据目录(实际端口按规划部署这里以6380,6381为例)3.复制redis1的安装和数据目录到
神膘小金刚
·
2022-12-26 18:51
redis
Redis Cluster 3.0
请求重定向三:集群节点通信四:集群高可用&主备切换五:衡量分布式系统指标(在此指集群)可用性可扩展性一致性六:集群不可用条件七:扩容和缩容扩容缩容八:目前市面上redis集群的架构直连cluster(直连架构)
Codis
郭冰冰
·
2022-12-26 18:47
redis
Spring Cloud Alibaba 笔记(nacos、sentinel)
3.5、使用nacos作为统一配置中心3.5.1、从nacos获取配置3.5.2、实现自动配置刷新3.5.3、DateId3.5.4、命名空间3.5.5、配置分组3.6、nacos持久化3.7、nacos
集群搭建
四
渣渣苏
·
2022-12-26 16:13
学习笔记
spring
cloud
springboot整合kafka3.1,实现基本配置和操作
博主自己装了双系统,虚拟机刚刚删了,所以没去做集群,不过当大家的kafka版本来到3.1,建议大家去学习KRaft
集群搭建
而不是去整合zookeeper。
小胡桃梅花眼
·
2022-12-24 17:02
spring
boot
kafka
java
[kubeadm] v1.24之前的Kubernetes
集群搭建
——使用Docker作为容器运行时(后附一键安装脚本)
目录1.拓扑设计1.1IP地址及版本规划1.2集群网络规划2.部署说明3.安装K8S3.1系统环境设置(1)修改主机名(2)修改系统hosts文件(3)修改ubuntu源(4)放行端口流量(5)关闭swap(6)禁用SELinux(7)转发IPv4并让iptables看到桥接流量3.2安装容器运行时Docker(1)更新apt及安装相关依赖(2)添加Docker的gpgkey(3)添加Docker
NOWSHUT
·
2022-12-24 17:57
Kubernetes安装
配置和管理
kubernetes
docker
容器
云原生
kubeadm
Redis基础与使用SpringBoot整合Redis
Redis基础与使用SpringBoot整合RedisRedis进阶学习之数据持久化Redis进阶学习之主从复制、读写分离Redis进阶学习之哨兵模式和分片集群Redis主从复制
集群搭建
Redis哨兵
集群搭建
憨憨撸码
·
2022-12-24 15:25
redis
nosql
spring
boot
slurm-gpu
集群搭建
详细步骤
初衷首先,slurm搭建的初衷是为了将我多个GPU机器连接起来,从来利用多台机器的计算能力,提高计算效率,之前使用过deepops去搭建,结果最后好像deepops对GPU的卡有要求,我的每台机器卡都不一样,所以后面就开始研究slurm集群的方式了。1、参考文档之前参考过诸多文档,中间会出现各种奇怪的错误,后来还是通过docker的方式去装才成功,不通过docker的还在探索中,以后成功会出新视频
ITIRONMAN
·
2022-12-23 23:06
机器学习大杂烩
大数据
slurm
redis伪
集群搭建
详细版
集群搭建
使用ruby脚本搭建集群。需要ruby的运行环境。
野鹤、
·
2022-12-23 19:11
JAVA
java
云原生技术---kubeadm使用外置etcd集群
创建etcd集群参考文章:云原生技术—高可用etcd数据库
集群搭建
准备kubeadm.ymlapiVersion:kubeadm.k8s.io/v1beta2bootstrapTokens:-groups
北漂的菜小白
·
2022-12-23 13:49
云原生
云计算
云原生
etcd
kubernetes
大数据基础平台搭建-(二)Hadoop
集群搭建
大数据基础平台搭建-(二)Hadoop
集群搭建
大数据平台系列文章:1、大数据基础平台搭建-(一)基础环境准备2、大数据基础平台搭建-(二)Hadoop
集群搭建
大数据平台是基于ApacheHadoop_3.3.4
dyj095
·
2022-12-23 11:57
大数据
hadoop
大数据
hdfs
Hadoop学习----源码编译,
集群搭建
Hadoop源码下载重新编译软件下载:https://hadoop.apache.org/releases.html建议是下载源码包。源码包和官方编译安装包有什么不一样呢?正常情况下,非生产环境直接使用官方编译安装包即可,但是官方提供的安装包不支持本地库。为什么要源码包?第一,里面有一些写的不好,我可以修改源码,这个略过。第二,软件运行需要操作系统支持,操作系统之间存在差异。Linux有很多发行版
北海怪兽Monster
·
2022-12-23 09:00
大数据
hadoop
学习
大数据
Hadoop学习-4-Hadoop部署(HA)
HA环境搭建zookeeper
集群搭建
zookeeper由2n+1台服务器组成
集群搭建
java环境,需要安装jdk修稿配置文件#zoo.cfgdataDir=/opt/data/zookeeper_dataserver
小白的数分之路
·
2022-12-23 09:29
Hadoop
hadoop
学习
大数据
Hadoop
集群搭建
文章目录前言一、Hadoop概述二、Hadoop特性优点三、Hadoop
集群搭建
(一)集群简介(二)集群规划(三)解压Hadoop安装包(四)编辑配置文件总结前言#博学谷IT学习技术支持#想要了解Hadoop
敲键盘的杰克
·
2022-12-23 03:54
Hadoop
hadoop
大数据
Docker高级篇:实战Redis集群!从3主3从变为4主4从
通过前面两篇,我们学会了三主三从的Redis
集群搭建
及主从容错切换迁移,随着业务增加,可能会有主从扩容的,所以,本文我们来实战主从扩容PS本系列:《Docker学习系列》教程已经发布的内容,凯哥会在文末加上
凯哥Java
·
2022-12-22 09:30
基于双k8s
集群搭建
联邦学习kubefate
一、前言关于联邦学习的背景这里就不做过多介绍了,感兴趣的同学可以去百度一下。联邦学习主要是为了解决数据孤岛和多方安全计算问题的,简单地说就是大家都拿出各自的数据一起建模,但是对方又不能看到或者得到自己的数据,训练的模型大家都可以用。联邦学习分为:横向联邦学习,在两个数据集的用户特征重叠较多而用户重叠较少的情况下,我们把数据集按照横向(即用户维度)切分,并取出双方用户特征相同而用户不完全相同的那部分
大白兔黑又黑
·
2022-12-22 06:20
机器学习
机器学习
深度学习
redis4.x版本
集群搭建
(不使用ruby版本)
集群模式3主3从。在三台机器上分别启动2个redis实例。步骤可参考以前的文章。之前配置集群使用的是ruby方案。安装ruby比较麻烦,我不喜欢。其实是可以直接使用redis自己的指令完成的。虽然步骤多一点,(也不多,只要三步)。但是redis的原生方案更放心。redis的5.x版本更方便了,只需要一个命令,见后续文章。clustermeet第一步将所有redis实例之间建立联系。随便选择一个re
运维开发笔记
·
2022-12-21 14:38
ZooKeeper
集群搭建
目录1搭建要求2准备工作3配置集群4启动集群5模拟集群异常1搭建要求真实的集群是需要部署在不同的服务器上的,但是在我们测试时同时启动很多个虚拟机内存会吃不消,所以我们通常会搭建伪集群,也就是把所有的服务都搭建在一台虚拟机上,用端口进行区分。我们这里要求搭建一个三个节点的Zookeeper集群(伪集群)。2准备工作1、首先必须安装好JDK先。2、ZooKeeper压缩包上传到服务器,压缩包下载地址:
一切总会归于平淡
·
2022-12-20 16:51
JAVA
zookeeper
集群搭建
上一页
36
37
38
39
40
41
42
43
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他