集群搭建第62页

hadoop笔记-pjj

hadoop笔记-pjjhadoop入门集群搭建过程软件安装hadoop集群的启动单节点启动hdfs单节点启动yarn集群群起hadoop的历史日志和日志聚集历史日志日志聚集HDFS分布式文件系统hdfs

傻里傻气阿呆啊·2020-09-01 23:22

docker swarm 集群搭建 + docker stack 部署可视化管理

dockerswarm集群搭建+dockerstack部署可视化管理准备阶段修改hostname及hosts文件安装docker官方脚本自动安装方式手动安装方式安装dockercompose构建dockerswarm

没事干写博客玩·2020-08-29 20:36

【ElasticSearch从入门到放弃系列五】ElasticSearch分布式集群搭建

上一篇blog介绍了ES的原理和基本使用方法，因为ES最厉害的地方就在于PB级别准实时的搜索能力，当然PB级的数据对于单个服务器去存储和检索还是很有难度的，所以ES一般使用时都使用分布式集群搭建。

存在morning·2020-08-26 14:22

最详细云服务器Centos7下搭建Hadoop伪分布式集群(防各种坑)

前言:搭建期间各种踩坑,本教程基本上能解决Hadoop伪分布式集群搭建以及Hadoop-eclipse-plugin插件使用的各种坑欢迎带原文链接进行转载:https://www.jianshu.com

空城空忆亦空心·2020-08-26 13:14

大数据学习之Hadoop集群搭建（二）

目录一、Hadoop集群规划二、配置样板节点1、虚拟机硬件信息2、本地登录配置（1）root用户登录（2）关闭防火墙（3）修改主机名和IP地址（4）配置hosts（5）创建用户设置密码（6）添加sudo权限（7）切换用户验证sudo命令（8）创建软件安装目录3、远程登录配置（1）Xshell远程登录（3）安装jdk和hadoop（4）修改hadoop配置文件（5）配置主机免密登录三、克隆样板节点搭

青衫红叶·2020-08-26 11:23

阿里腾讯云 hadoop+spark集群搭建（1）

阿里腾讯云hadoop+spark集群搭建（1）linux版本：centos7hadoop版本：3.1.1手上有三台学生机，完全没动过的：一台是阿里云服务器，两台是腾讯云。

带鱼去兜风·2020-08-26 11:29

Kafka+Zookeeper集群搭建

Kafka+Zookeeper集群搭建1、介绍Apachekafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。

Ayub·2020-08-26 09:25

Redis6.0.4 服务器集群搭建

实现目标在一台主机上，搭建一个3主3从的高可用Redis服务器集群。Redis6.0.4安装参见CentOS7.0安装Redis6.0.4准备工作1.在redis安装目录，创建6个文件夹：mkdir9000900190029003900490052.将redis安装目录redis.conf文件分别拷贝到6个文件夹中，并命名为：redis-cluster.conf[root@localhostred

Mof_Rehoboam·2020-08-26 09:55

centos7的kubernetes集群搭建

基于kubeadm搭建Kubernetes集群1所有节点需要配置的操作1.1关闭防火墙#systemctlstopfirewalld#systemctldisablefirewalld1.2关闭selinux#sed-i's/enforcing/disabled/'/etc/selinux/config1.3禁用swap#swapoff-a#vim/etc/fstab#将与swap有关的配置注释，

曲终--人散·2020-08-26 08:22

Redis主从 + 哨兵高可用搭建

Redis主从+哨兵集群搭建前言先准备一台或多台Linux服务器，当然也可以只用一台来搭建一个伪集群，其实会在一台上搭建集群，多台服务器搭建是一样的安装Redis首先在服务器上建一个文件夹，我这里直接建在根目录

苏雨丶·2020-08-26 07:38

Eureka集群搭建，unavailable-replicas服务节点不可用解決方案

最近由于项目需要搭建了eureka集群，集群搭建完成后，发现服务节点均在unavailable-replicas下，即说明集群搭建失败，各节点之间不能互相通信，网上查找了各种资料，终于解决，现将问题处理的过程记录如下

Young丶·2020-08-25 17:07

(Hadoop集群搭建) 3.Hadoop节点安装前的准备—SSH免密登录设置

上篇我们已经完成了节点的网络配置和域名解析。本篇我们将完成SSH免密登录设置。在此以前要保证每个节点都有相同的用户名，如果用户名不相同建议用超级用户创建新用户，并将该新用户加入wheel用户组以获得sudo权限（相关命令会在本文末尾给出）。~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~下面进行SSH免密登录设置：关闭防火墙（如果不关闭防火墙，无法进行SSH免密登录）a.检查

Sibyl_Lqq·2020-08-25 11:13

CentOS7.3下ELK日志分析系统集群搭建

Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎，此外他还是一个分布式实时文档存储，其中每个文档的每个filed均是可被索引的数据，且可被搜索，也是一个带实时分析功能的搜索引擎，能够扩展至数以百计的节点实时处理PB级别的数据。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Elast

weixin_34220963·2020-08-25 09:45

Kubernetes高可用集群搭建

本文介绍搭建K8S集群的高可用，保证在主master节点挂掉之后，node节点的kubelet还能访问到另一个主节点的apiserver等组件进行运作。实验部署单master部署查照（Kubernetes单master节点二进制部署）master2部署（1）将master1上kubernetes工作目录拷贝到master2节点[root@localhost~]#scp-r/opt/kubernet

拾亿少女梦·2020-08-25 08:08

mysql cluster集群搭建

安装要求安装环境：CentOS-6.4安装方式：源码编译安装软件名称：mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz软件安装位置：/usr/local/mysql数据存放位置：/var/mysql/data日志存放位置：/var/mysql/logs集群设计首先设计集群的安装分配方式，我共需要5台服务器，服务器分配如下：管理节点：172.16.172.

weixin_30737363·2020-08-25 08:05

centos中redis的主从复制哨兵模式集群搭建

话就不多说了，直接来。一：centos安装redis1.下载redis安装包下载地址：https://redis.io/download我下载的是：redis-3.0.0-rc2.tar.gz2.通过Xftp将压缩包放到指定目录，我是放在：/usr/local/目录下3.解压到当前目录：tar-zxvfredis-3.0.0-rc2.tar.gz压缩文件4.进入到解压后的redis-3.0.0-r

huangbiao56·2020-08-25 07:10

Centos7 Redis哨兵模式主从集群搭建

目前项目组还处于刚刚成立阶段，有许多东西需要从零到一，借着这个机会，学习到许多以前没有接触过的东西，Redis哨兵模式主从集群也是在这个阶段搭建的，其实在很久以前就一直有搭建哨兵集群的想法，直到一年之后才来做这件事感到挺惭愧的，将知识点记录和总结下来也是一种快乐。一、Redis哨兵模式简介Redis-Sentinel是官方推荐的高可用解决方案，当redis在做master-slave的高可用方案时

张志翔·2020-08-25 07:15

Redis哨兵/集群模式分析和单机/集群搭建

Redis简介Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。为了保证效率，数据都是缓存在内存中。存储类型string(字符串)list(链表)set(集合)zset(sortedset--有序集合)hash（哈希）使用场景在我们日常的JavaWeb开发中，无不都是使用数据库来进行数据的存储，由于一般的系统任务

leonhongliang806·2020-08-25 07:01

基于docker的mysql集群搭建（一）：percona-xtradb-cluster集群搭建（主主复制）

mydsql的集群解决方案很多这里选择percona-xtradb-clusterpercona-xtradb-cluster简介PerconaXtraDBCluster(简称PXC)，是由percona公司推出的mysql集群解决方案。特点是每个节点都能进行读写，且都保存全量的数据。也就是说在任何一个节点进行写入操作，都会同步给其它所有节点写入到自己的磁盘。这点跟OracleRac有本质的区别，

dh_2017·2020-08-25 07:28

Mariadb 集群 Galera Cluster 基于多主架构

文章目录一、下载安装GaleraCluster二、集群搭建Master1Master2Master3一、下载安装GaleraClusterMariadb10.2.25与Mariadb5.5安装galeracluster

抽象空间·2020-08-25 06:05

Centos7+Elasticsearch7.4.2+Kibana+IK分词+ElasticHD 安装配置以及集群搭建

Centos7+Elasticsearch7.4.2+Kibana+IK分词+ElasticHD安装配置以及集群搭建1.elasticSearch7.4.2安装1.1关于jdk1.2安装ES2集群的搭建

Nica9799·2020-08-25 06:44

Redis 主从模式和哨兵模式集群搭建

redis作为当前炙手可热的NOSQL系统，本身就支持主从集群，下面我们就来动手搭建一个一主两从的redis集群。1.主从模式集群的搭建1.1环境准备这里使用三台服务器，每台服务器上开启一个redis-server和redis-sentinel服务，redis-server端口为6379，redis-sentinel的端口为6800，修改默认端口是安全的第一步。redis-server说明10.2

似梦似意境·2020-08-25 06:10

redis主从集群搭建高可用哨兵模式

一，主从复制1.Linux下安装一个redis2.可以启多个redis实例3.搭建一主俩从4.拷贝三个配置文件redis.configcpredis.confredis6380.conf5.如果vim找不到命令（yum-yinstallvim*)66.vimredis6380.confinclude/redis/redis-5.0.4/redis.confdaemonizeyesport6380p

ROCHP.·2020-08-25 06:25

Spark快速入门-2-Spark的编程模型

准备2017-12-19-Hadoop2.0架构及HA集群配置（1）2017-12-24-Hadoop2.0架构及HA集群配置（2）2017-12-25-Spark集群搭建2017-12-29-Hadoop

Yezhiwei·2020-08-25 06:57

redis 测试集群搭建

Redis集群是一个可以在多个Redis节点之间进行数据共享的设施（installation）。Redis集群不支持那些需要同时处理多个键的Redis命令，因为执行这些命令需要在多个Redis节点之间移动数据，并且在高负载的情况下，这些命令将降低Redis集群的性能，并导致不可预测的行为。Redis集群通过分区（partition）来提供一定程度的可用性（availability）：即使集群中有一

sT丶·2020-08-25 05:08

Elasticsearch集群搭建（windows环境）

1，下载elasticsearch5.5.2版本（zip版本）：地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-5-5-22，解压elasticsearch5.5.2版本，并且复制三份：3，分别修改三份elasticsearch5.5.2的配置文件elasticsearch.yml，一个主，两个从，即：maste

小和尚1999·2020-08-25 05:59

Elasticserach 集群搭建

Elasticserach集群搭建第一步：创建普通用户注意：ES不能使用root用户来启动，必须使用普通用户来安装启动。

水流眼泪·2020-08-25 05:21

docker环境下consule集群搭建

欠你的猫·2020-08-25 05:22

7.X(7.6.2) ElasticSearch,ES集群搭建_head_ik绝对无坑

ElasticSearch集群一、环境准备1.版本环境最低1.8JDK（本文14.0）2.网络对时:3.系统文件描述符，参数优化二、熟悉目录、配置文件三、部署集群1、安装ElasticSearch2、部署Head-web插件3、安装kibana查询工具4、部署中文分词器ik插件安装ik：**验证是否安装成功**此文章敢说全网最新，无坑，且详细官网下载地址：https://www.elastic.c

 清欢渡.·2020-08-25 04:32

Linux 7 Hadoop2.6.0单机和集群搭建

搭建Hadoop前的准备工作/etc/hosts这个文件是记载LAN内接续的各主机的对应[HostName和IP]用的。在LAN内，我们各个主机间访问通信的时候，用的是内网的IP地址进行访问（例：192.168.1.22，192.168.1.23），从而确立连接进行通信。除了通过访问IP来确立通信访问之外，我们还可以通过HostName进行访问，我们在安装机器的时候都会给机器起一个名字，这个名字就

张建闯·2020-08-25 04:14

Ambari集群搭建(CentOS7)

本文以ambari-2.6.2.2、HDP-2.6.5.0、HDP-UTILS-1.1.0.22、HDP-GPL-2.6.5.0为例搭建ambari集群。官网地址：ambari：https://docs.cloudera.com/HDPDocuments/Ambari-2.6.2.2/bk_ambari-installation/content/ambari_repositories.htmlhd

spark大数据玩家·2020-08-25 03:50

大数据集群搭建（一）——VMware及CentOS7配置安装

文章目录一、安装VMware二、创建Linux虚拟机三、CentOS-7安装四、Linux系统环境配置五、其他配置六、虚拟机克隆快照一、安装VMware双击打开安装包，点击“下一步”勾选“我接受许可协议中的条款”，点击“下一步”设置安装路径，建议提前新建文件夹，并重命名(不建议安装在C盘)，点击“下一步”取消掉两个勾选，点击“下一步”直接点击“下一步”点击“安装”，开始安装等待安装完成安装完成打开

no_hot·2020-08-25 03:11

Ambari简述及集群搭建（上）

一、Ambari简述1.1、什么是AmbariApacheAmbari项目旨在通过开发用于配置，管理和监控ApacheHadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观，易用的Hadoop管理WebUI。1.2、Ambari的功能提供了跨任意数量的主机安装Hadoop服务的分步向导。处理群集的Hadoop服务配置。提供集中管理，用于在整个集群中启动，停止和重新配置Hadoop

Jeremy_Lee123·2020-08-25 03:45

DM8共享存储集群搭建 2 节点 DMDSC（DMASM）

DMDSC概述：DMDSC集群是一个多实例、单数据库的系统。多个数据库实例可以同时访问、修改同一个数据库的数据。用户可以登录集群中的任意一个数据库实例，获得完整的数据库服务。数据文件、控制文件在集群系统中只有一份，不论有几个节点，这些节点都平等地使用这些文件。各个节点有自己独立的联机日志和归档日志。这些文件就保存在共享存储上。DMDSC集群得以实现的重要基础就是共享存储。DM支持的共享存储有两种：

chen丨yu·2020-08-25 02:48

Ambari集群搭建

一.软件要求1.yum,rpm2.scpcurlunziptarwget3.jdk1.8.0二.前提环境准备2.1ssh免密生成master机器的ssh密钥#生成master机器的公钥和密钥[@hadoop.master01.comhadoop_install]ssh-keygen-trsa修改ssh登陆配置(禁用严格检查主机)[@hadoop.master01.comhadoop_install

OrangeCat_·2020-08-25 02:57

去中心化redis集群搭建

之前一直没时间去进行实际的分布式搭建，主要是觉得它简单，但最近进行集群搭建的实践操作时却出现了一些错误，故而进行记录学习。

.破晓.·2020-08-25 01:29

docker+elk7.8实战之基于docker-compose搭建单机版zookeeper集群和kafka集群

zookeeper集群搭建1.新建目录mkdir-p/opt/elk7/zookeepercd/opt/elk7/zookeeper2.创建docker-compose.yml文件创建docker内部网络

泽济天下·2020-08-24 23:58

sqoop环境搭建与基本导入导出

sqoop用户指南：http://sqoop.apache.org/docs/1.4.4/SqoopUserGuide.htmlsqoop环境搭建（在hadoop集群搭建好的基础上）1、上传sqoop-

ZqianLOYALTY·2020-08-24 22:52

MySQL MGR 集群搭建（单主模式&多主模式）

1.背景MySQLGroupReplication（MGR）是MySQL官方在5.7.17版本引进的一个数据库高可用与高扩展的解决方案，以插件形式提供，实现了分布式下数据的最终一致性，总结MGR特点如下：高一致性：基于分布式paxos协议实现组复制，保证数据一致性；高容错性：自动检测机制，只要不是大多数节点都宕机就可以继续工作，内置防脑裂保护机制；高扩展性：节点的增加与移除会自动更新组成员信息，新

偏执的工匠·2020-08-24 21:34

【hadoop】5004-Hadoop2.x 集群搭建步骤

1.安装配置zookeeper集群（1）下载ZooKeeper：http://labs.renren.com/apache-mirror/zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz（2）解压：tarxzfzookeeper-3.4.3.tar.gz（3）在conf目录下创建一个配置文件zoo.cfg（4）启动ZooKeeper的Server：s

福利2020·2020-08-24 20:16

2019-12-28

kafka安装准备工作安装java环境搭建zookeeper集群搭建kafka集群1.准备工作1.1安装包jdk-8u162-linux-x64.tarzookeeper-3.4.12.tarkafka

hcyaidi·2020-08-24 18:32

【redisCluster】外网远程连接：Could not get a resource from the pool

最近搭建redisCluster集群做测试遇到些坑耽误了很长时间，记录一下：redisCluster集群搭建在远程阿里云上，搭建过程一切正常，但是在我本地客户端可以正常连接并对立面的值进行编辑，但是在JAVA

冬天里的被窝窝·2020-08-24 18:53

Redis Sentinel集群搭建（哨兵模式，采用Docker Compose搭建）与SpringBoot集成（从0开始搭建）

一、RedisrSentinel集群搭建在linux环境下，使用dockercompose安装redissentinel集群的搭建，需要准备的工作：1.1安装docker•下载安装docker：yum-yinstalldocker

yangzikai1990·2020-08-24 18:39

Redis的复制功能以及Redis复制机制本身的优缺点以及集群搭建问题

2019独角兽企业重金招聘Python工程师标准>>>Redis复制流程概述Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的，也就是说无论你的持久化策略选择的是什么，只要用到了Redis的复制功能，就一定会有内存快照发生，那么首先要注意你的系统内存容量规划，原因可以参考我上一篇文章中提到的Redis磁盘IO问题。Redis复制流程在Slave和Master端各自是一

weixin_33860553·2020-08-24 17:59

一键搭建zookeeper/hadoop/hive/hbase/sqoop/kafka/spark/kylin

如果你已安装可跳过此步骤bashdocker.install安装shyaml如果你已安装可跳过此步骤bashcompose.install启动dockersystemctlstartdockerZookeeper集群搭建环境依赖首选准备

吃饭饭睡觉觉·2020-08-24 17:08

Redis Sentinel 集群搭建常见注意事项

我的配置：1个master，1个slave，3个sentinel搭建的过程网上已经有很多了，这里列几个重点关注：修改sentinel.conf的protected-mode与redis.conf的一致，要么都为yes，要么都为no。若未配置好可能会在主从切换时出现failover-abort-no-good-slave的故障修改sentinel.conf的bind为本地ip。每个redis.con

???111·2020-08-24 16:53

redis aof持久化

系列redis数据淘汰原理redis过期数据删除策略redisserver事件模型redisclustermget引发的讨论redis3.xwindows集群搭建redis命令执行过程redisstring

晴天哥_374·2020-08-24 16:31

linux系统上搭建Hbase分布式集群

Hbase集群搭建在datanode的节点之上,Hbase依赖第三方工具来提供高可用性。

洛轩丶·2020-08-24 16:26

redis集群搭建

redis3.0开始支持cluster搭建环境：centos7,redis4.0.6服务器ip192.168.135.23（7001、7002）192.168.135.196（7004、7005）192.168.135.229（7007、7008）rediscluster安装1、下载，解压，编译安装官网下载需要的版本：http://download.redis.io/releases/#我的安装包

为天空着色·2020-08-24 16:33

hbase集群搭建，hbase单个节点重启

1.1hbase集群结构REGION：是HBASE中对表进行切割的单元HMASTER：HBASE的主节点，负责整个集群的状态感知，负载分配、负责用户表的元数据管理（可以配置多个用来实现HA）为regionserver分配region，负责regionserver负载均衡用户对表的增删改查如果当前的regionserver宕机，会把region迁移REGION-SERVER：HBASE中真正负责管理

to.to·2020-08-24 16:46

推荐频道

集群搭建