Codis集群搭建

hadoop集群搭建

集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNode。YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeManager。那mapreduce是什么呢？它其实是一个分布式运
·2023-02-01 12:51

在ubuntu环境下搭建slurm

基于ubuntu的slurm集群搭建前言一、关闭防火墙以及SELinux二、修改主机名/etc/hosts,/etc/hostname三、配置SSH免密、NTP、NFS1.SSH免密2.NTP安装（不安装似乎也没影响
风轻云淡这·2023-02-01 10:29

slurm集群搭建

Slurm是面向Linux和Unix的开源工作调度程序，由世界上许多超级计算机使用，主要功能如下：1、为用户分配计算节点的资源，以执行工作；2、提供的框架在一组分配的节点上启动、执行和监视工作（通常是并行作业）；3、管理待处理作业的工作队列来仲裁资源争用问题；Slurm架构环境配置服务器IP主机名操作系统配置控制节点172.18.0.115masterCentOS7.94核8G计算节点1172.1
zoujiangMr·2023-02-01 10:48

K8S集群搭建及踩坑指南（VirtualBox+centos7.6）！

一、安装虚拟机及配置网络环境1.1virtualBox+centos7.6virtualBox下载centos7.6下载1.2网络环境配置Master节点：至少2GB内存，2个CPU。Node节点：1GB内存，1个CPU。这里我们选择两个网卡（NAT+Bridge）模式，网卡的顺序不能出错，否则会导致虚拟机之间无法通信！1.3集群环境配置主机名IPk8s-master10.222.150.197k
kaiakai111·2023-01-31 23:06

graylog3 日志服务器集群搭建

环境：centos7.6、graylog3版本架构：前端负载采用nginx、后端node分别部署graylog3集群、ES6集群、mongodb集群。Graylog整体组成：Graylog：提供graylog对外接口，webUI，CPUElasticsearch：日志文件的持久化存储和检索，IOMongoDB：存储一些Graylog的配置数据Nginx：负载均衡逻辑架构.png开始部署：1、关闭防
都市小木屋·2023-01-31 15:30

kafka集群搭建文档

1Kafka集群搭建zookeeper集群搭建https://www.jianshu.com/p/6ab2b2cb8f3fzookeeper常见用法https://www.jianshu.com/p/29a1792820aa
条子在洗澡·2023-01-31 12:17

golang 使用grpc前的准备,基于ETCD服务发现、服务注册

主要使用ETCD来实现服务注册和服务发现ETCD集群搭建参考https://www.jianshu.com/p/690d8adcb8c6为什么使用grpc前要实现服务发现、服务注册？
青果山圣斗士·2023-01-31 12:35

k8s集群搭建

k8s集群搭建前言今天我们来使用kubeamd方式搭建一下k8s集群，为后面我们要写的微服务项目做个环境准备工作，首先我们看下搭建步骤关闭防火墙systemctlstopfirewalld.servicesystemctldisablefirewalld.service
janker0718·2023-01-30 18:33

Hadoop集群搭建(二)-网络配置

目录一、VMware网络配置二、Windows网络配置三、CentOS网络配置之前创建虚拟机是选择了NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。一、VMware网络配置编辑->虚拟网络编辑器点击右下角的更改设置选择VMnet8,将子网IP修改成192.168.10.0，点击NAT设置点击NAT设置，修改
HUA_1740·2023-01-30 15:54

Hadoop的集群搭建windows基于VMware虚拟机超详细教程（一主二从）

Hadoop集群搭建（一主二从）文章目录Hadoop集群搭建（一主二从）前言一、VMware安装包以及所需要的jdk，Hadoop安装包二、XSHELL和XFTP下载与安装三、在VMware虚拟机中安装
南风未闻·2023-01-30 15:54

Hadoop 集群搭建

一、模板虚拟机配置1）设置ip地址设置ip是保证ip地址与主机名保持一致，如：192.168.10.100->hadoop1002）设置hostname修改/etc/hostname文件修改3）设置hostname与ip地址的映射映射的配置文件保存在/etc/hosts中，网络中的每一台机器都是独立保存这份配置文件的。4）yum安装额外的rpm包：yuminstall-yepel-release(
weixin_43038102·2023-01-30 15:52

搭建hadoop集群，从安装虚拟机开始直到hadoop成功搭建

要求：1、认真理解集群搭建过程，通过实践成功搭建Hadoop集群。2、结合实践内容和教材的相关章
司空良·2023-01-30 15:20

大数据基石-Hadoop3.x学习教程-Hadoop产品了解与快速上手

版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、Hadoop集群搭建
roykingw·2023-01-30 15:49

大数据集群搭建

目录一、安装jdk二、安装tomcat三、安装mysql四、搭建集群(三台)4.1新增linux系统4.2关闭防火墙4.3关闭selinux4.4配置hosts文件4.5scp远程文件拷贝4.5.1本地机器内容拷贝到远程机器4.5.2远程机器内容拷贝到本地机器4.6ssh远程登录4.6.1使用ssh基于密码的远程登录(了解)4.6.2使用ssh基于秘钥的免密码登录(掌握)4.7三台机器时钟同步4.
铁疙瘩掉了俩·2023-01-30 15:48

搭建这个hadoop集群电脑表示要离家出走！

1.hadoop集群搭建的详细过程实验前的准备：==jdk==jdk-8u11-linux-x64.tar.gz提取码：wgte==hadoop==hadoop-2.10.1.tar.gz提取码：bfxz
♚ 悲欢自饮·2023-01-30 15:17

hadoop3 集群搭建

1环境准备hadoop1192.168.38.150jdk1.8hadoop2192.168.38.151jdk1.8hadoop3192.168.38.152jdk1.82环境准备#3台yuminstallsshpdsh#修改hostvim/etc/hosts192.168.38.150hadoop1192.168.38.151hadoop2192.168.38.152hadoop3#修改主机名
响彻天堂丶·2023-01-30 15:46

大数据之Hadoop集群搭建（4个节点）

大数据必备–搭建Hadoop集群（4个节点）初学大数据肯定第一步先搭建hadoop集群，虽然不知道怎么用，但是先搭建集群是你大数据学习之旅的第一步，操作步骤有以下这几步，用的centos系统对四台虚拟机进网络和静态IP设置Hadoop、jdk的安装创建hadoop文件目录导入jdk和hadoop的环境变量修改hadoop配置文件修改虚拟机主机名绑定hostname与ip地址关闭防火墙配置节点之间的
普通网友·2023-01-30 15:46

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建3、大数据基础平台搭建
dyj095·2023-01-30 14:43

kafka.2 集群搭建

文章目录1.启动kakfa自带的zk2.启动kafka集群3.查看zookeeper的kafka节点信息启停kafka集群脚本创建主题增加分区模拟生产消费模拟消费组消费主题，查看offset1.启动kakfa自带的zk参考：https://blog.csdn.net/justlpf/article/details/127261664?utm_medium=distribute.pc_relevan
yan_baby_liu·2023-01-30 09:19

hadoop大数据平台的构建

hadoop特点hadoop组成hadoop默认端口hadoop分布集群搭建前置准备关闭防火墙修改各个节点的主机名修改自己所用节点的IP映射需要在所有节点上完成网络配置时间同步（三台机器均执行）ssh免密
JeremyHeria·2023-01-30 04:27

大数据平台安装部署（适用虚拟机级真实服务器，亲测）

大数据集群搭建一、基础环境准备（虚拟环境or服务器环境）1.虚拟环境准备（服务器安装跳过此步骤）1.1安装vmware注意：安装centos8系统及以上需要高版本vmware,实测vmware12.x会出现错误
小崔编码·2023-01-30 04:06

Redis高可用篇：Cluster集群能支持的数据量有多大？，中软国际Java笔试题和答案

集群安装====点击->《Redis6.XCluster集群搭建》查看一个Redis集群通常由多个节点（node）组成，在刚开始的时候，每个节点都是相互独立的，它们都处于一个只包含自己的集
普通网友·2023-01-29 13:48

【SpringCloud】Nacos集群搭建

我们接下来要尝试Nacos集群搭建，效果图如下所示：三个nacos节点的地址：节点ipportnacos1localhost8845nacos2localhost8846nacos3localhost8847
面向架构编程·2023-01-29 07:50

redis集群搭建

1.下载redis，解压安装。wgethttps://download.redis.io/releases/redis-6.0.8.tar.gz?_ga=2.61301738.718246181.1603089425-368199388.1603089425tar-zxvfredis-6.0.8.tar.gz\?_ga\=2.61301738.718246181.1603089425-368199
牙齿不帅·2023-01-29 02:56

kafka集群搭建

1.准备3台虚拟机安装jdk、安装zookeeper(上一篇有讲)创建文件存放目录mkdir-p/export/servers/mkdir-p/export/software/mkdir-p/export/data/mkdir-p/export/logs/2.下载安装包及解压tar-zxvfkafka_2.11-1.0.0.tgz-C/export/servers/cd/export/server
染墨安然·2023-01-28 23:51

大数据集群搭建

0.在做大数据集群开发环境的时候，前提是先把网络环境配置好，也就是把虚拟机配置好。1.在搭建好的一台虚拟机的基础上，直接克隆三台出来：masterslave1slave2[自己想叫啥名字就叫啥，这里就用一个主节点，两个从节点]2.分别修改为不同的IP，根据NAT方式可以选择的IP范围，选择三个IP修改/etc/sysconfig/network-scripts下的viifcfg-ens33:例如：
destinyLee·2023-01-27 22:27

Redis集群搭建完整攻略

1.Redis安装和配置#先安装编译环境yumgroupinstall"Developmenttools"cd/home/packages#下载rediscurl-Ohttp://download.redis.io/releases/redis-5.0.0.tar.gz#解压tar-zxfredis-*.tar.gz#将解压的源码目录放到自己的应用目录mv-fredis-5.0.0/usr/loc
Sealin·2023-01-27 21:37

kafka三节点集群搭建

虚拟机VMware®Workstation16Pro(VMware-16.0.0build-16894299)上安装了三个centos7的节点，IP地址分别为：192.168.28.128、192.168.28.129、192.168.28.130。利用xshell访问三个centos节点，启动发送键盘到所有会话，即可同时对三个节点进行操作。zookeeper集群安装下载zookeeper安装包:
michael_fang·2023-01-27 12:24

Mysql PXC集群搭建

一、环境准备1、安装CentOS、安装Docker参考：xxxx2、开启ip转发不开启的话，会出现IPv4forwardingisdisabled.Networkingwillnotwork.警告。vi/usr/lib/sysctl.d/00-system.conf#添加如下代码：net.ipv4.ip_forward=1#重启network服务systemctlrestartnetwork3、下
aiya1017·2023-01-26 19:13

Zookeeper - 节点监听

zk的前篇：Zookeeper-本地安装与参数配置Zookeeper-集群搭建+群起集群脚本Zookeeper-节点目录启动客户端注册监听器1.节点的值变化2.子节点变化启动客户端103，104分别进行启动
不会调制解调的猫·2023-01-26 08:35

Kubernetes集群搭建超详细总结(CentOS版)

学习Kubernetes的关键一步就是要学会搭建一套k8s集群。在今天的文章中作者将最近新总结的搭建技巧，无偿分享给大家！废话不多说，直接上干货！01、系统环境准备要安装部署Kubernetes集群，首先需要准备机器，最直接的办法可以到公有云（如阿里云等）申请几台虚拟机。而如果条件允许，拿几台本地物理服务器来组建集群自然是最好不过了。但是这些机器需要满足以下几个条件：要求64位Linux操作系统，
风平浪静如码·2023-01-26 08:31

超低成本的k8s集群搭建教程

k8s系列入门级教程—超低成本的k8s集群搭建教程k8s可视化管理工具Rancher安装和使用使用rke安装企业级k8s集群—待填坑prometheus+grafana监控搭建教程—待填坑kubectl
不是无心·2023-01-23 06:28

Spark2.2.0 + Scala2.13.0集群搭建

Spark使用了Hadoop的HDFS作为持久化存储层，因此安装Spark时，应先安装与Spark版本相对应的Hadoop。Spark计算框架以Scala语言开发，因此部署Spark首先需要安装Scala及JDK。Hadoop集群参考：ubuntu16+Hadoop2.7.3环境搭建（伪分布式），改为分布式集群JDK版本：1.8.0Scala版本：scala-2.13.0-M1spark版本：2.
sinat_34022298·2023-01-21 16:58

elasticsearch集群搭建，以及kibana和ik分词器的安装（7.3.2）

elasticsearch的安装和集群的搭建1.下载elasticsearch压缩包文件，历史版本下载：https://www.elastic.co/cn/downloads/past-releases/2.将压缩包上传至linux，解压到指定目录:创建文件夹mkdirelasticsearchtar-zxvfelasticsearch-7.3.2-linux-x86_64.tar.gz-C/ho
最后一支迷迭香·2023-01-21 16:20

实战｜Hadoop大数据集群搭建

实验环境：主机名IP地址角色qll251192.168.1.251NameNodeqll252192.168.1.252DataNode1qll253192.168.1.253DataNode2所需软件包：hadoop-2.9.2.tar.gzjdk-8u241-linux-x64.tar.gz软件包下载地址：Hadoop软件包官方下载地址：https://hadoop.apache.org/re
Dark_Ice_·2023-01-21 09:11

本地虚拟机集群搭建数据仓库实战

组件目录一.环境准备二.JDK安装三.Hadoop安装过程四.Zookeeper安装五.Flume安装六.Kafka安装七.MySQL安装八.Sqoop安装九.Hive安装十.安装ES5.2十一.安装Spark2.4.3十二.安装Livy十三.Maven十四.ApacheGriffin编译本文参考尚硅谷的视频配置，组件较多，可根据需要酌情配置一.环境准备内存4G，硬盘50G(根据自己的电脑配置酌情
ZhaoHY KeepRunning·2023-01-21 09:11

Kafka集群搭建实战（二）

案例分为两部分：ZooKeeper集群部署Kafka集群部署（本章）二、kakfa集群部署2.1案例目标了解Kafka分布式发布订阅消息系统搭建Kafka分布式发布订阅消息系统使用Kafka分布式发布订阅消息系统2.2案例分析2.2.1节点规划公网IP内网IP主机名175.27.161.12310.0.0.13ZK0011.13.174.8910.0.0.12ZK0021.13.175.910.0
墨离moli moliyu·2023-01-21 09:11

Linux系统weblogic集群搭建,WebLogic集群配置

WebLogic集群配置通用操作后台批杀进程ps-ef|grepjava|grepwebapp|grep-vgrep|awk'{print$2}'|xargskill简单环境变量exportLANG=CexportPS1='[\u@\H$PWD]\$'sttyerase^Hsttyerase^?注意：LANG=C在HP主机上可以解决乱码文件导致的server无法stage的启动问题，但Linux下
猫少纳言·2023-01-21 09:10

大数据集群搭建之Linux安装hadoop3

dfs.namenode.http-address.ns1.hadoop002hadoop002:9870dfs.ha.automatic-failover.enabled.ns1truedfs.client.failover.proxy.provider.ns1org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyPro
m0_67613962·2023-01-21 09:07

Linux环境下hadoop 2.6.0 分布式集群搭建（实战演练）

应用场景之前介绍了单节点，部署伪分布式hadoop集群，可以作为自己使用，但是真正投入生产环境，伪分布式是不够的，仅仅作为个人研究测试使用，此时我们需要部署搭建hadoop完全分布式集群，此hadoop性能将更加强悍，满足生产需求，下面就搭建ApacheHadoop2.6.0环境演示。操作步骤1.配置网络[每个节点]网络配置博客2.关闭防火墙[每个节点]#systemctlstopfirewall
kinzxv·2023-01-21 09:37

Hadoop集群安装和搭建

Hadoop集群安装和搭建前言  Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建，配置和测试
王八变成汤·2023-01-20 18:39

消息队列之kafka

Kafka架构及Filebeat+Kafka+ELK集群搭建一、消息队列（MQ）的介绍二、使用消息队列的好处（1）解耦（2）可恢复性（3）缓冲（4）灵活性&峰值处理能力（5）异步通信三、消息队列的两种模式
白天不懂夜的美♂·2023-01-20 14:03

基于Apache Mesos集群搭建高并发高可用的Jenkins-CI架构

一.持续集成的价值首先讲一下持续集成的优势。过去公司做测试可能需要十几个、二十几个插件，集成一次往往需要一两个小时，费力费时，而且容易出错，且一旦配置出错的话调试排错会更久。因此，一次集成测试一周才会做一次，测试bug要到下一周才能更新，再做测试，这个周期会很漫长。而且持续集成的意义就在于减少风险，和重复的过程，最终提高工作效率。Jenkins是目前持续集成领域应用最为广泛的工具，通过Jenkin
尤达c·2023-01-17 12:52

Ambari HDP集群搭建全攻略

原文：https://cloud.tencent.com/developer/article/2112823世界上最快的捷径，就是脚踏实地，本文已收录【架构技术专栏】关注这个喜欢分享的地方。最近因为工作上需要重新用Ambari搭了一套Hadoop集群，就把搭建的过程记录了下来，也希望给有同样需求的小伙伴们一个参考，作者：图头数据AmbariUbuntu14.04最新版本2.2.1HDPUbuntu
javastart·2023-01-17 09:04

Elasticsearch集群搭建

前言在如今的开发过程中，单节点的Elasticsearch肯定是支撑不了大数据量的，而且还存在单节点故障的问题，所以Elasticsearch也提供了集群功能，像其他中间件也基本都会考虑到这个问题准备信息首先，由于我机器有限，我只能在本地开启虚拟机来进行支持，我这里本地开了3台，不知道怎么安装虚拟机的可以参考我之前的文章：https://blog.csdn.net/zxc_user/article
zxc_user·2023-01-16 07:35

RabbitMQ集群搭建

前言：首先准备好集群环境：下面要演示的是将node02和node03加入node01的rabbitmq集群中说明一下三台机器分别部署了rabbitmq版本是：单机部署就不演示了，想研究的小伙伴可以移步到这里说明的很详细https://blog.csdn.net/Code__rookie/article/details/122829673?spm=1001.2014.3001.5506在Rabbit
weixin_39393393·2023-01-16 07:04

ElasticSearch 集群搭建及相关原理解析

ElasticSearch集群搭建及相关原理解析ES集群架构核心概念集群节点节点类型Mastereligiblenodes和MasterNodeMasterNode的职责MasterNode的最佳实践选主的过程
雨夜星空丶月·2023-01-16 07:02

ES集群搭建

1、拉取包wgetElasticsearch7.8.0|Elastic2、解压tar-zxfxxx.gz3、修改配置文件vim/opt/es/elasticsearch-7.17.8/config/elasticsearch.yml#集群名称cluster.name:cluster-es#当前节点名称，每个节点名称不能重复node.name:node-1#当前节点IPnetwork.host:19
君莫笑_0808·2023-01-16 07:31

nacos原理和实战问题解决方案

nacos原理和集群搭建实战，在开始之前、我们先要知道nacos的官网并熟悉其基本特性官网介绍一、原理：1、多种注册中心对比2、nacos作为注册中心的核心功能2.1、服务注册：NacosClient会通过发送
nandao158·2023-01-15 04:25

七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hadoop集群搭建前安装准备参考：一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）一、Hadoop系统应用之安装准备
七层楼的疯子·2023-01-14 15:36
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他