集群搭建

progect-nginx集群搭建

1.首先准备两个同时启动的tomcat拷贝对应的jar包到对应的tomcat的lib包下commons-pool2-2.0.jarjedis-2.5.2tomcat-redis-session-manager1.2.jar插入上面的jar包的时候需要放入在tomcat文件下面的lib的目录下面才可以2.修改tomcat的下content.xml(加到最下方)需要加在tomcat的服务的server
Diligently_·2020-09-14 15:14

基于zookeeper实现分布式锁&附带详细测试案例

zk1192.168.0.211:2181--zk1192.168.0.211:2181--zk1192.168.0.211:2181--redis192.168.1.211:6379zookeeper集群搭建
fly_鸡肉·2020-09-14 15:18

hadoop启动后某些节点未启动，hadoop主节点无法启动datanode DataNode

项目场景：hadoop集群搭建，主节点hadoop01无法启动datanode要注意的是：它们同时也都是DataNode节点。
文殊师利法王子·2020-09-14 13:30

FastDFS分布式集群搭建，详细教学从入门到使用（生产环境下）

一、FastDFS是什么？FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服
wunanliu·2020-09-14 12:09

Linux高性能集群搭建(3)---MPICH2安装测试

注意：保证各节点系统用户名和mpich2安装路径文件名相同一.MPICH安装1.下载MPICH网址：http://www.mpich.org/static/downloads/下载mpich2-1.0.2p1,因为高级版本已经不支持mpd(mpi管理器),可以下载到任意目录2、解压缩tar-zxvfmpich2-1.0.2p1.tar.gz3、进入mpich2解压目录cdmpich2-1.0.14
generalAI·2020-09-14 12:03

Linux 高性能集群搭建(1)---ssh节点通信

ssh为建立在应用层和传输层基础上的安全协议，ssh不仅能把所有传输的数据加密，还能够防止IP和DNS欺骗ssh的加密方式有RSA,DSA,ECDSA和ED5519四种方式。1.安装sshssh通信分为客户端(openss-client)和服务器端(openssh-server),发送信息的为客户端，接受信息的为服务器端，为了实现机器之间的相互通信，在机器上都安装客户端和服务器端，通过下面命令：s
generalAI·2020-09-14 12:32

Linux高性能集群搭建(2)---NFS共享文件系统安装配置

参考：http://www.linuxidc.com/Linux/2013-08/89154.htmhttp://www.linuxidc.com/Linux/2014-04/100496.htmNFS是共享文件系统，为了方便各节点软件安装和文件拷贝传输，对各节点配置nfs.1、在本地机和各节点执行nfs安装命令：sudoapt-getinstallnfs-kernel-server;2、执行命令
generalAI·2020-09-14 12:32

群集--Redis集群的搭建（实际操作中数据的读写情况，发生故障后的数据读写情况）

文章目录前言一、Redis集群1.1Redis集群介绍1.2Redis集群的优势1.3Redis集群的实现方法1.4Redis-Cluster数据分片1.5Redis-Cluster的主从复制模型二、Redis集群搭建
Chenjian0824·2020-09-14 12:03

mfs分布式高可用集群搭建

一、环境准备1.至少6台4c8G虚拟机,且网络可互相通信2.操作系统版本：CentOSLinuxrelease7.33启用vm.overcommit_memoryecho"vm.overcommit_memory=1">>/etc/sysctl.confsysctlvm.overcommit_memory=14.关闭透明传输（#后为相关命令）#grepHuge/proc/meminfoAnonHu
summer_wqf·2020-09-14 11:16

nginx实现一个简单的反向代理

解压后如图上所示，我们打开nginx.conf文件，设置对tomcat路径代理我这里也设置了一个集群设置这也就是一个简单的一个集群搭建实现负载均衡。
六彡翼彡天使灬·2020-09-14 11:29

centos 7下rabbitmq集群搭建

1rabbit安装见http://blog.csdn.net/lsb2002/article/details/537887502配置服务器rabbitmq节点名称：sudovi/etc/rabbitmq/rabbitmq-env.conf没有则创建在文件中增加NODENAME=rabbit25，即节点名称为rabbit25同理将集群中另外两个节点的名称更为rabbit26，rabbit27将rab
lsb2002·2020-09-14 10:43

NoSql之Redis集群搭建

上一篇我们是说了集群原理，那么这次我们来讲解集群的搭建，我下面使用的是单机多实例。1.ruby环境redis集群管理工具redis-trib.rb依赖ruby环境，首先需要安装ruby环境：yuminstallrubyyuminstallrubygems安装ruby和redis的接口程序拷贝redis-3.0.0.gem至/usr/local下执行：geminstall/usr/local/red
gaibian0823·2020-09-14 10:16

hadoop集群搭建--伪分布式

前情提要。我们搭建了单节点也就是本地hadoop集群。我直接以此为基础扩展到伪分布式集群目录一、hadoop伪分布式操作系统软件要求三、配置详情1.安装虚拟机和配置网络2.上传jdk和hadoop安装VMwaretools设置共享文件夹3.安装jdk和hadoop解压jdk和hadoop创建软链接4.配置环境变量配置hadoop配置文件1.hadoop-env.sh2.croe-site.xml3
MengShi_·2020-09-14 10:41

缓存加速----Redis主从同步集群搭建

Redis集群搭建文章目录Redis集群搭建前言一:Redis群集概述1.1:Redis集群的作用是什么？
一往无前，未来可期·2020-09-14 10:00

Redis集群搭建

文章目录Redis集群介绍Redis集群的优势实现方法Redis-Cluster数据分片Redis-Cluster的主从复制模型Redis集群搭建安装Redis数据库验证集群功能模拟master宕机Redis
做猪呢最主要是开心·2020-09-14 09:39

【Solr】使用solrj管理solr集群

前言集群搭建好了，现在需要管理集群，我们使用solrj，用java代码操作solr集群。
遥寄三山·2020-09-14 07:41

HDFS 集群无法启动 DataNode 节点以及管理界面缺少 DataNode 节点的解决方法

ISSUE22.1解决ISSUE13总结前言搭建了一个HDFS集群，用了3台虚拟机，1台虚拟机是master作为NameNode节点；2台虚拟机分别是slave1和slave2作为DataNode节点，具体的集群搭建过程可参考
CG国斌·2020-09-14 07:52

【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode，总显示0

livenodes总是为0，但是从namenode的机器上可以看到该进程，同时namenode的9000端口也是正常的，但web页面就是显示活跃datanode为0原因：应该是hdfs格式化了多次解决方案：把创建的dfs里面name和data文件夹里面的内容删掉重新跑最终问题解决，ok
一把剑·2020-09-14 06:54

ElasticSearch7.1.1集群搭建(下)

ElasticSearch7.1.1集群搭建(下)1)编写ES集群启动脚本vimes-start.sh#!
JAVAzhangchi·2020-09-14 06:11

一文带你吃透分布式缓存Redis集群搭建，带给你不一样的体验

Redis集群简介RedisCluster即Redis集群，是Redis官方在3.0版本推出的一套分布式存储方案。完全去中心化，由多个节点组成，所有节点彼此互联。Redis客户端可以直接连接任何一节点获取集群中的键值对，不需要中间代理，如果该节点不存在用户所指定的键值，其内部会自动把客户端重定向到键值所在的节点。Redis集群是一个网状结构，每个节点都通过TCP连接跟其他每个节点连接。在一个有N个
Java_msb666·2020-09-14 05:44

【HBase数据开发】集群搭建NameNode未格式化

1.报错如下Encounteredexceptionloadingfsimagejava.io.IOException:NameNodeisnotformatted.上午10点28:19.302分WARNFSNamesystemEncounteredexceptionloadingfsimagejava.io.IOException:NameNodeisnotformatted.atorg.apa
大壮vip·2020-09-14 04:23

k8s上搭建zookeeper集群和kafka集群

k8s上搭建zookeeper集群和kafka集群一.zookeeper集群搭建1.原计划是在一个development下创建三个副本，后来发现不行，如果是一个development，那么三个副本的yml
得之·2020-09-14 02:57

一文带你了解Zookeeper基本概念、集群搭建、使用方法

本文图文并茂的描述了：zookeeper是什么，演示了Zookeeper集群如何搭建、Zookeeper常用命令的使用、如何查看Zookeeper日志；详细描述了Zookeeper数据模型、watch机制、ACL、集群选举机制。非常适合刚接触ZK的小伙伴哟，相信你读完之后，最基本也能描述出Zookeeper是个什么了。ZooKeeper一、ZooKeeper1、Zookeeper概述Zookeep
喝咖啡的睡眠族·2020-09-14 00:51

Ambari HDP集群搭建文档

一、配置主机和节点机器之间SSH无密登录多台外网服务器配置时，需要在/etc/hosts中把本机的IP地址设置为内网IP地址http://2d67df38.wiz02.com/share/s/0JpZYU2X7kl626aE730Q_Flq3daBjm08rAnl2oLpli2uMOfo二、为每台主机关闭iptables,SELinux,启动ntpd服务三、安装Mysql,JDK查看linux发行
aiyong3830·2020-09-14 00:38

关系型数据库-MySQL进阶（四）MHA数据库高可用集群搭建

配置MHA数据库高可用集群环境准备１环境57515253２配置管理主机３配置数据库服务器４测试配置５启动管理服务６测试高可用集群关于MHAMHA（MasterHA）是一款开源的MySQL的高可用程序，它为MySQL主从复制架构提供了automatingmasterfailover功能。MHA在监控到master节点故障时，会提升其中拥有最新数据的slave节点成为新的master节点，在此期间，M
～上善若水～～·2020-09-13 23:04

Cloudera Manager集群搭建

ClouderaManager集群搭建环境说明：Linux版本Centos6.5CDH版本CDH5linux操作用户root一、安装包下载?
yuxiaojianran·2020-09-13 20:39

Flume NG高可用集群搭建（亲测有效）

高可用架构图结构分配agent1配置(flume-client.conf)：#agent1nameagent1.channels=c1agent1.sources=r1agent1.sinks=k1k2#setgruopagent1.sinkgroups=g1#setchannelagent1.channels.c1.type=memoryagent1.channels.c1.capacity=1
不言尘世·2020-09-13 20:01

aerospike 集群搭建

aerospike是一个分布式的kv存储服务，与redis，memcached等相比，最大的特点是支持内存和磁盘的混合存储，并且对ssd的支持非常好，将索引存在内存中，数据存在ssd中，保持极高性能的同时，能有效的节约成本单机安装安装wget-Oaerospike.tgz'https://www.aerospike.com/download/server/latest/artifact/el6't
weixin_33720956·2020-09-13 20:18

10 RabbitＭＱ集群搭建

3.RabbitMQ集群搭建摘要：实际生产应用中都会采用消息队列的集群方案，如果选择RabbitMQ那么有必要了解下它的集群方案原理一般来说，如果只是为了学习RabbitMQ或者验证业务工程的正确性那么在本地环境或者测试环境上使用其单实例部署就可以了
pziwangzhe·2020-09-13 20:32

大数据集群搭建---《hive篇》 --菜鸟小回

大数据集群搭建—《hive篇》--菜鸟小回创建上传解压安装好mysql,需要在mysql里面创建一个数据集hivevi/etc/profilevi/etc/profile//添加exportHIVE_HOME
菜鸟小回·2020-09-13 19:37

最简单的-flume-ng-集群搭建

hadoop集群搭建方案hive单机搭建方案hbase集群搭建方案storm集群搭建方案flume集群搭建方案spark3集群搭建方案机器：10.211.55.67master10.211.55.68slave110.211.55.69slave2
夜幕.思年华·2020-09-13 19:51

aerospike 集群搭建

aerospike是一个分布式的kv存储服务，与redis，memcached等相比，最大的特点是支持内存和磁盘的混合存储，并且对ssd的支持非常好，将索引存在内存中，数据存在ssd中，保持极高性能的同时，能有效的节约成本单机安装安装wget-Oaerospike.tgz'https://www.aerospike.com/download/server/latest/artifact/el6't
hatlonely·2020-09-13 18:37

大数据实操篇 No.3-Hadoop HA高可用集群搭建

第1章hadoop高可用介绍Hadoop高可用，除了数据存储的多副本机制之外，就是Namenode和Resourcemanager的高可用。在Hadoop2.0之前，Namenode只有一个，存在单点问题（虽然Hadoop1.0有SecondaryNamenode，CheckPointNode，BackupNode这些，但是单点问题依然存在），在Hadoop2.0引入了HA机制。Hadoop2.0
pezynd·2020-09-13 18:23

大数据实操篇 No.2-Hadoop集群搭建

第1章集群规划Hadoop100Hadoop101Hadoop102NameNode√DataNode√√√SecondaryNameNode√ResourceManager√NodeManager√√√第2章下载安装到官网下载文件，解压到服务器上，此处略。第3章准备环境3.1配置ssh无密登录在/home/zihao/.ssh目录下（即~/.ssh）执行ssh-keygen-trsa连续三下回车
pezynd·2020-09-13 18:23

大数据实操篇 No.1-Zookeeper集群搭建

第1章集群规划zookeeper110、zookeeper111、zookeeper112三台机器组成zookeeper集群服务端Zookeeper110Zookeeper111Zookeeper112QuorumPeerMain√√√第2章解压安装官网下载压缩包http://zookeeper.apache.org/解压到/opt/module/目录$tar-zxvfapache-zookeep
pezynd·2020-09-13 18:51

Kubernetes之kubefed

前言：前面我有讲到一些集群搭建以及高可用配置，那么今天我们就来讲下这个kubefed，那么什么是kubefed呢？
chengli.zou·2020-09-13 18:16

Flume集群搭建（二）

文章目录1.前言2.下载解压3.安装配置4.分发验证1.前言在Flume基本原理与架构中较为系统的讲解了Flume的作用、组件、架构等知识，本篇文章将讲解Flume集群的搭建。Flume框架在jar包上依赖Hadoop和Zookeeper，并不要求Flume启动时必须启动Hadoop和Zookeeper服务。2.下载解压Flume的下载地址为：Flume-1.6.0下载完毕后，上传安装包到~/so
RivenDong·2020-09-13 18:24

RabbitMQ集群搭建

RabbitMQ集群搭建1.搭建环境Ubuntu18.042.RabbitMQ3.6.10一、服务器配置服务器IPhostnamectl192.168.1.50suny192.168.1.137nagain
庆 、·2020-09-13 18:14

flink1.10.0 on yarn三节点高可用集群搭建

jobmanager高可用jobmanager负责任务调度和资源管理。默认情况下，一个flink集群中只有一个jobmanager实例。这就存在单点故障：当jobmanager宕机时，不仅无法提交新的任务，同时正在运行的任务也会失败。通过配置jobmanager的高可用，就可以从jobmanager的失败中恢复过来，解决jobmanager的单点故障问题。对于standalone集群和yarn集群
ASN_forever·2020-09-13 18:52

Flume-ng 高可用搭建-与测试

前提：1)五台虚拟机（三台也可以）2)flume单节点测试并学会3)hadoop集群搭建完成FlumeNG集群，架构图Flume的存储可以支持多种，这里只列举了HDFS角色分配名称HOST角色Agent1chun1WebServerAgent2chun2WebServerAgent3chun3WebServerCollector1chun4AgentMstr1Collector2chun5Agen
春_·2020-09-13 18:56

大数据集群搭建---《sqoop篇》 --菜鸟小回

大数据集群搭建—《sqoop篇》--菜鸟小回创建上传安装如上篇导入mysql驱动将数据库导到hdfs上面cd/opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin//导入
菜鸟小回·2020-09-13 18:37

Flume集群搭建

Flume集群搭建1.下载apache-flume-1.8.0-bin.tar.gz2.上传到liunx中3.解压apache-flume-1.8.0-bin.tar.gztar-zxvfapache-flume
Mr Cao·2020-09-13 18:32

Flume常见的模式及高可用集群搭建

FlumeNG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持Failover和负载均衡。并且它拥有非常丰富的组件。FlumeNG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和Sink，三者组建了一个Agent。三者的职责如
灵佑666·2020-09-13 17:59

flume集群搭建

数据采集端：source：使用spooldir扫描文件获取资源channel：memorysink：avrosink数据接收端：source：avrosinkchannel：memorysink：loggersink参考：http://www.xuebuyuan.com/2142003.html最近使用Flume1.4做日志收集，分享一下具体的集群环境配置搭建。其中使用到了3台机器，hadoop1
CrazyL-·2020-09-13 17:48

Flume 学习笔记之 Flume NG高可用集群搭建

FlumeNG高可用集群搭建：架构总图：架构分配：角色Host端口agent1hadoop352020collector1hadoop152020collector2hadoop252020agent1
baguashenp74070·2020-09-13 17:50

Flume集群搭建

接下来就要实现Flume集群搭建。文中的集群如下图所示。这里我们需要2台机器，node1作为push推送数据，node2作为pull获取数据后显示出来。
LieBrother·2020-09-13 17:46

flume集群搭建

准备工作JDKflume开始部署解压flume，进入conf目录，配置JAVA_HOMEflume-env.sh.template名称更改为flume-env.sh#配置自己的jdk路径exportJAVA_HOME=/opt/module/jdk1.8.0_231/案例一，监控本机端口监控本机端口使用telnet工具向端口发送数据控制台打印收到的信息conf目录下新建配置文件example.co
零度爱情12138·2020-09-13 17:46

大数据集群搭建---《flume篇》 --菜鸟小回

大数据集群搭建—《flume篇》--菜鸟小回创建：mkdir-p/opt/flume进入：cd/opt/flume上传解压：tar-zxvfapache-flume-1.8.0-bin.tar.gz修改配置文件
菜鸟小回·2020-09-13 17:13

Flume NG高可用集群搭建

软件版本：CentOS6.7hadoop-2.7.4apache-flume-1.6.0一、FlumeNG简述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume将采集到的文件，socket数据包等各种形式的数据源，输出到HDFS、Hbase、hive、kafka等众多外部存储系统中Flume针对特殊场景也具备良好的自定义扩展能力，因此flu
jinYwuM·2020-09-13 17:06

大数据实操篇 No.4-Flume集群搭建

第1章集群规划Flume集群，负载均衡和故障转移模式，笔者准备了3台机器安装了flume，其中webapp200是应用服务器，flume安装在这里，目的是收集应用服务器上的日志，通过2个avrosink分别对接到flume130和flume131机器；再通过flume130和flume131将数据传输到HDFS。（注：吞吐量大的channels可以换成kafka）。Webapp200Flume13
pezynd·2020-09-13 17:04
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他