——集群搭建

Kafka集群搭建

环境准备服务器集群我用的CentOS-6.7版本的3个虚拟机，主机名为hadoop01、hadoop02、hadoop03，这3台虚拟机既是zookeeper集群，又是kafka集群(但在生产环境中，这两个集群一般搭建在不同的机架中)，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的)关于虚拟机的安装可以参考以下两篇文章：在Windows中安装一台Linux虚拟机通过
CoderJed·2023-02-17 15:32

从0学习Kafka--集群部署

Kafka集群搭建一、搭建环境系统&软件版本系统：CentOSLinuxrelease7.7.1908(Core)JDK：javaversion"1.8.0_171"zookeeper:zookeeper
星源易码·2023-02-06 07:32

centos6 集群搭建网络配置

centos6集群网络配置原始机（最开始配置用于克隆的机器）：修改网卡信息：vim/etc/sysconfig/network-scripts/ifcfg-eth0有的是ens33有的是eth0参数说明:首先要选择root用户或者是拥有管理员权限的用户进行操作ifcfg-eth0是网卡名称默认打开好像都是他如果提升没有的话可以进入/etc/sysconfig/network-scripts/目录查
千世先森·2023-02-06 01:41

nacos集群搭建

在官方文档上面就有结束搭建nacos是介绍官方文档提供了一个Nacos集群的架构图，当我们访问Nacos时，首先会经过SLB，也就是负载均衡，通常是一个nginx，通过nginx来进行分发到具体的Nacos服务器上面。我们需要给不同的服务器进行部署Nacos，我们这里演示的是一个伪的集群，在一台服务器上面搭建三个Nacos。1.环境准备请确保是在环境中安装使用:64bitOSLinux/Unix/
胡尚·2023-02-03 15:56

Hadoop三节点集群搭建

详细参考：Zookeeper三节点集群搭建。安装过程中涉及到的软件：hadoop-2.6.0-cdh5.14.2.tar.gz，下载地址安装过程上传
HideOnStream·2023-02-03 14:41

SpringCloudAlibaba微服务构建

一、父工程搭建，基础框架订单，库存系统搭建父工程搭建测试模块搭建二、注册中心nacos搭建nacos集群搭建三、负载均衡openfeign搭建四、分布式事务seata搭建五、网关gateway搭建六、流量控制
新生代农名工·2023-02-03 11:09

大数据入门知识总结

数据仓库的基本概念2、数据仓库的主要特征3、数据仓库与数据库区别5、数据仓库——ETL三、Hadoop——HDFS分布式存储系统1、Hadoop简介2、HDFS、Yarn、MapReduce3、Hadoop集群搭建
长不大的大灰狼·2023-02-02 14:25

Hadoop集群搭建-01前期准备

原文在这里https://my.oschina.net/finchxu/blog/3076991整个搭建hadoop集群的流程，包括前期准备安装zookeeper并配置环境编译安装hadoop并启动安装HDFS管理namenode和dataname管理集群硬盘资源安装启动yarn建立MapReduce管理cpu和内存资源01前期准备：1.部署环境VMware15CentOS7jdk8首先启动一台c
叫我懒猫·2023-02-02 01:56

redis sentinel集群搭建及备份恢复

操作系统主机IP功能centos710.211.55.8Master：6379/Sentinel:26379centos710.211.55.9Slave：6379/Sentinel:26379centos710.211.55.10Slave：6379/Sentinel:263791.Linux下redis安装官网地址：http://redis.io/download1.1安装GCC编译器//查看
西柚酱_·2023-02-01 22:21

2021——平淡而深刻

01工作今年基本摸清了公司大部分业务，尽可能让自己具有全局观，技术方面向架构师靠近，比较好的一点是上司愿意给我实验机会，所以可以做的事很多，大大小小出了不少方案，开发并落地，年末的k8s集群搭建与应用算是给整体架构的运维部分开了一个好头
刘开心_8a6c·2023-02-01 13:07

ceph实战之ceph集群扩展

在上一篇ceph实战之ceph搭建_Mr.Lilh的博客-CSDN博客介绍了集群搭建但是没有对ceph-mon节点和ceph-mgr节点进行高可用扩展，那如何实现ceph-mon和ceph-mgr的高可用呢
Mr.Lilh·2023-02-01 12:50

ceph实战之ceph集群搭建

上一篇ceph基础_Mr.Lilh的博客-CSDN博客讲了ceph基础这一篇是ceph实战之ceph搭建一：环境要求服务器系统：centos7.9_x86_64ceph版本：octopus二：搭建架构三：各节点服务器资源分配详情节点类型主机IP主机名系统盘数据盘1数据盘2mgr节点10.19.14.10cephmgrsdasdbsdcmon节点10.19.14.23cephstore2sdasdb
Mr.Lilh·2023-02-01 12:19

hadoop集群搭建

集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNode。YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeManager。那mapreduce是什么呢？它其实是一个分布式运
·2023-02-01 12:51

在ubuntu环境下搭建slurm

基于ubuntu的slurm集群搭建前言一、关闭防火墙以及SELinux二、修改主机名/etc/hosts,/etc/hostname三、配置SSH免密、NTP、NFS1.SSH免密2.NTP安装（不安装似乎也没影响
风轻云淡这·2023-02-01 10:29

slurm集群搭建

Slurm是面向Linux和Unix的开源工作调度程序，由世界上许多超级计算机使用，主要功能如下：1、为用户分配计算节点的资源，以执行工作；2、提供的框架在一组分配的节点上启动、执行和监视工作（通常是并行作业）；3、管理待处理作业的工作队列来仲裁资源争用问题；Slurm架构环境配置服务器IP主机名操作系统配置控制节点172.18.0.115masterCentOS7.94核8G计算节点1172.1
zoujiangMr·2023-02-01 10:48

K8S集群搭建及踩坑指南（VirtualBox+centos7.6）！

一、安装虚拟机及配置网络环境1.1virtualBox+centos7.6virtualBox下载centos7.6下载1.2网络环境配置Master节点：至少2GB内存，2个CPU。Node节点：1GB内存，1个CPU。这里我们选择两个网卡（NAT+Bridge）模式，网卡的顺序不能出错，否则会导致虚拟机之间无法通信！1.3集群环境配置主机名IPk8s-master10.222.150.197k
kaiakai111·2023-01-31 23:06

graylog3 日志服务器集群搭建

环境：centos7.6、graylog3版本架构：前端负载采用nginx、后端node分别部署graylog3集群、ES6集群、mongodb集群。Graylog整体组成：Graylog：提供graylog对外接口，webUI，CPUElasticsearch：日志文件的持久化存储和检索，IOMongoDB：存储一些Graylog的配置数据Nginx：负载均衡逻辑架构.png开始部署：1、关闭防
都市小木屋·2023-01-31 15:30

kafka集群搭建文档

1Kafka集群搭建zookeeper集群搭建https://www.jianshu.com/p/6ab2b2cb8f3fzookeeper常见用法https://www.jianshu.com/p/29a1792820aa
条子在洗澡·2023-01-31 12:17

golang 使用grpc前的准备,基于ETCD服务发现、服务注册

主要使用ETCD来实现服务注册和服务发现ETCD集群搭建参考https://www.jianshu.com/p/690d8adcb8c6为什么使用grpc前要实现服务发现、服务注册？
青果山圣斗士·2023-01-31 12:35

k8s集群搭建

k8s集群搭建前言今天我们来使用kubeamd方式搭建一下k8s集群，为后面我们要写的微服务项目做个环境准备工作，首先我们看下搭建步骤关闭防火墙systemctlstopfirewalld.servicesystemctldisablefirewalld.service
janker0718·2023-01-30 18:33

Hadoop集群搭建(二)-网络配置

目录一、VMware网络配置二、Windows网络配置三、CentOS网络配置之前创建虚拟机是选择了NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。一、VMware网络配置编辑->虚拟网络编辑器点击右下角的更改设置选择VMnet8,将子网IP修改成192.168.10.0，点击NAT设置点击NAT设置，修改
HUA_1740·2023-01-30 15:54

Hadoop的集群搭建windows基于VMware虚拟机超详细教程（一主二从）

Hadoop集群搭建（一主二从）文章目录Hadoop集群搭建（一主二从）前言一、VMware安装包以及所需要的jdk，Hadoop安装包二、XSHELL和XFTP下载与安装三、在VMware虚拟机中安装
南风未闻·2023-01-30 15:54

Hadoop 集群搭建

一、模板虚拟机配置1）设置ip地址设置ip是保证ip地址与主机名保持一致，如：192.168.10.100->hadoop1002）设置hostname修改/etc/hostname文件修改3）设置hostname与ip地址的映射映射的配置文件保存在/etc/hosts中，网络中的每一台机器都是独立保存这份配置文件的。4）yum安装额外的rpm包：yuminstall-yepel-release(
weixin_43038102·2023-01-30 15:52

搭建hadoop集群，从安装虚拟机开始直到hadoop成功搭建

要求：1、认真理解集群搭建过程，通过实践成功搭建Hadoop集群。2、结合实践内容和教材的相关章
司空良·2023-01-30 15:20

大数据基石-Hadoop3.x学习教程-Hadoop产品了解与快速上手

版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、Hadoop集群搭建
roykingw·2023-01-30 15:49

大数据集群搭建

目录一、安装jdk二、安装tomcat三、安装mysql四、搭建集群(三台)4.1新增linux系统4.2关闭防火墙4.3关闭selinux4.4配置hosts文件4.5scp远程文件拷贝4.5.1本地机器内容拷贝到远程机器4.5.2远程机器内容拷贝到本地机器4.6ssh远程登录4.6.1使用ssh基于密码的远程登录(了解)4.6.2使用ssh基于秘钥的免密码登录(掌握)4.7三台机器时钟同步4.
铁疙瘩掉了俩·2023-01-30 15:48

搭建这个hadoop集群电脑表示要离家出走！

1.hadoop集群搭建的详细过程实验前的准备：==jdk==jdk-8u11-linux-x64.tar.gz提取码：wgte==hadoop==hadoop-2.10.1.tar.gz提取码：bfxz
♚ 悲欢自饮·2023-01-30 15:17

hadoop3 集群搭建

1环境准备hadoop1192.168.38.150jdk1.8hadoop2192.168.38.151jdk1.8hadoop3192.168.38.152jdk1.82环境准备#3台yuminstallsshpdsh#修改hostvim/etc/hosts192.168.38.150hadoop1192.168.38.151hadoop2192.168.38.152hadoop3#修改主机名
响彻天堂丶·2023-01-30 15:46

大数据之Hadoop集群搭建（4个节点）

大数据必备–搭建Hadoop集群（4个节点）初学大数据肯定第一步先搭建hadoop集群，虽然不知道怎么用，但是先搭建集群是你大数据学习之旅的第一步，操作步骤有以下这几步，用的centos系统对四台虚拟机进网络和静态IP设置Hadoop、jdk的安装创建hadoop文件目录导入jdk和hadoop的环境变量修改hadoop配置文件修改虚拟机主机名绑定hostname与ip地址关闭防火墙配置节点之间的
普通网友·2023-01-30 15:46

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建3、大数据基础平台搭建
dyj095·2023-01-30 14:43

kafka.2 集群搭建

文章目录1.启动kakfa自带的zk2.启动kafka集群3.查看zookeeper的kafka节点信息启停kafka集群脚本创建主题增加分区模拟生产消费模拟消费组消费主题，查看offset1.启动kakfa自带的zk参考：https://blog.csdn.net/justlpf/article/details/127261664?utm_medium=distribute.pc_relevan
yan_baby_liu·2023-01-30 09:19

hadoop大数据平台的构建

hadoop特点hadoop组成hadoop默认端口hadoop分布集群搭建前置准备关闭防火墙修改各个节点的主机名修改自己所用节点的IP映射需要在所有节点上完成网络配置时间同步（三台机器均执行）ssh免密
JeremyHeria·2023-01-30 04:27

大数据平台安装部署（适用虚拟机级真实服务器，亲测）

大数据集群搭建一、基础环境准备（虚拟环境or服务器环境）1.虚拟环境准备（服务器安装跳过此步骤）1.1安装vmware注意：安装centos8系统及以上需要高版本vmware,实测vmware12.x会出现错误
小崔编码·2023-01-30 04:06

Redis高可用篇：Cluster集群能支持的数据量有多大？，中软国际Java笔试题和答案

集群安装====点击->《Redis6.XCluster集群搭建》查看一个Redis集群通常由多个节点（node）组成，在刚开始的时候，每个节点都是相互独立的，它们都处于一个只包含自己的集
普通网友·2023-01-29 13:48

【SpringCloud】Nacos集群搭建

我们接下来要尝试Nacos集群搭建，效果图如下所示：三个nacos节点的地址：节点ipportnacos1localhost8845nacos2localhost8846nacos3localhost8847
面向架构编程·2023-01-29 07:50

redis集群搭建

1.下载redis，解压安装。wgethttps://download.redis.io/releases/redis-6.0.8.tar.gz?_ga=2.61301738.718246181.1603089425-368199388.1603089425tar-zxvfredis-6.0.8.tar.gz\?_ga\=2.61301738.718246181.1603089425-368199
牙齿不帅·2023-01-29 02:56

kafka集群搭建

1.准备3台虚拟机安装jdk、安装zookeeper(上一篇有讲)创建文件存放目录mkdir-p/export/servers/mkdir-p/export/software/mkdir-p/export/data/mkdir-p/export/logs/2.下载安装包及解压tar-zxvfkafka_2.11-1.0.0.tgz-C/export/servers/cd/export/server
染墨安然·2023-01-28 23:51

大数据集群搭建

0.在做大数据集群开发环境的时候，前提是先把网络环境配置好，也就是把虚拟机配置好。1.在搭建好的一台虚拟机的基础上，直接克隆三台出来：masterslave1slave2[自己想叫啥名字就叫啥，这里就用一个主节点，两个从节点]2.分别修改为不同的IP，根据NAT方式可以选择的IP范围，选择三个IP修改/etc/sysconfig/network-scripts下的viifcfg-ens33:例如：
destinyLee·2023-01-27 22:27

Redis集群搭建完整攻略

1.Redis安装和配置#先安装编译环境yumgroupinstall"Developmenttools"cd/home/packages#下载rediscurl-Ohttp://download.redis.io/releases/redis-5.0.0.tar.gz#解压tar-zxfredis-*.tar.gz#将解压的源码目录放到自己的应用目录mv-fredis-5.0.0/usr/loc
Sealin·2023-01-27 21:37

kafka三节点集群搭建

虚拟机VMware®Workstation16Pro(VMware-16.0.0build-16894299)上安装了三个centos7的节点，IP地址分别为：192.168.28.128、192.168.28.129、192.168.28.130。利用xshell访问三个centos节点，启动发送键盘到所有会话，即可同时对三个节点进行操作。zookeeper集群安装下载zookeeper安装包:
michael_fang·2023-01-27 12:24

Mysql PXC集群搭建

一、环境准备1、安装CentOS、安装Docker参考：xxxx2、开启ip转发不开启的话，会出现IPv4forwardingisdisabled.Networkingwillnotwork.警告。vi/usr/lib/sysctl.d/00-system.conf#添加如下代码：net.ipv4.ip_forward=1#重启network服务systemctlrestartnetwork3、下
aiya1017·2023-01-26 19:13

Zookeeper - 节点监听

zk的前篇：Zookeeper-本地安装与参数配置Zookeeper-集群搭建+群起集群脚本Zookeeper-节点目录启动客户端注册监听器1.节点的值变化2.子节点变化启动客户端103，104分别进行启动
不会调制解调的猫·2023-01-26 08:35

Kubernetes集群搭建超详细总结(CentOS版)

学习Kubernetes的关键一步就是要学会搭建一套k8s集群。在今天的文章中作者将最近新总结的搭建技巧，无偿分享给大家！废话不多说，直接上干货！01、系统环境准备要安装部署Kubernetes集群，首先需要准备机器，最直接的办法可以到公有云（如阿里云等）申请几台虚拟机。而如果条件允许，拿几台本地物理服务器来组建集群自然是最好不过了。但是这些机器需要满足以下几个条件：要求64位Linux操作系统，
风平浪静如码·2023-01-26 08:31

超低成本的k8s集群搭建教程

k8s系列入门级教程—超低成本的k8s集群搭建教程k8s可视化管理工具Rancher安装和使用使用rke安装企业级k8s集群—待填坑prometheus+grafana监控搭建教程—待填坑kubectl
不是无心·2023-01-23 06:28

Spark2.2.0 + Scala2.13.0集群搭建

Spark使用了Hadoop的HDFS作为持久化存储层，因此安装Spark时，应先安装与Spark版本相对应的Hadoop。Spark计算框架以Scala语言开发，因此部署Spark首先需要安装Scala及JDK。Hadoop集群参考：ubuntu16+Hadoop2.7.3环境搭建（伪分布式），改为分布式集群JDK版本：1.8.0Scala版本：scala-2.13.0-M1spark版本：2.
sinat_34022298·2023-01-21 16:58

elasticsearch集群搭建，以及kibana和ik分词器的安装（7.3.2）

elasticsearch的安装和集群的搭建1.下载elasticsearch压缩包文件，历史版本下载：https://www.elastic.co/cn/downloads/past-releases/2.将压缩包上传至linux，解压到指定目录:创建文件夹mkdirelasticsearchtar-zxvfelasticsearch-7.3.2-linux-x86_64.tar.gz-C/ho
最后一支迷迭香·2023-01-21 16:20

实战｜Hadoop大数据集群搭建

实验环境：主机名IP地址角色qll251192.168.1.251NameNodeqll252192.168.1.252DataNode1qll253192.168.1.253DataNode2所需软件包：hadoop-2.9.2.tar.gzjdk-8u241-linux-x64.tar.gz软件包下载地址：Hadoop软件包官方下载地址：https://hadoop.apache.org/re
Dark_Ice_·2023-01-21 09:11

本地虚拟机集群搭建数据仓库实战

组件目录一.环境准备二.JDK安装三.Hadoop安装过程四.Zookeeper安装五.Flume安装六.Kafka安装七.MySQL安装八.Sqoop安装九.Hive安装十.安装ES5.2十一.安装Spark2.4.3十二.安装Livy十三.Maven十四.ApacheGriffin编译本文参考尚硅谷的视频配置，组件较多，可根据需要酌情配置一.环境准备内存4G，硬盘50G(根据自己的电脑配置酌情
ZhaoHY KeepRunning·2023-01-21 09:11

Kafka集群搭建实战（二）

案例分为两部分：ZooKeeper集群部署Kafka集群部署（本章）二、kakfa集群部署2.1案例目标了解Kafka分布式发布订阅消息系统搭建Kafka分布式发布订阅消息系统使用Kafka分布式发布订阅消息系统2.2案例分析2.2.1节点规划公网IP内网IP主机名175.27.161.12310.0.0.13ZK0011.13.174.8910.0.0.12ZK0021.13.175.910.0
墨离moli moliyu·2023-01-21 09:11

Linux系统weblogic集群搭建,WebLogic集群配置

WebLogic集群配置通用操作后台批杀进程ps-ef|grepjava|grepwebapp|grep-vgrep|awk'{print$2}'|xargskill简单环境变量exportLANG=CexportPS1='[\u@\H$PWD]\$'sttyerase^Hsttyerase^?注意：LANG=C在HP主机上可以解决乱码文件导致的server无法stage的启动问题，但Linux下
猫少纳言·2023-01-21 09:10
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他