slaves

彷徨 | Hadoop各配置文件的配置及其作用

目录1.slaves2.core-site.xml3.hdfs-site.xml4.mapred-site.xml:（注意要将mapred-site.xml.template重命名为.xml的文件）5.
俊杰梓·2020-07-12 10:07

Hadoop集群的搭建——完全分布式的安装配置（3节点）

目录集群节点分配准备工作hadoop安装配置配置hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置slaves
咕噜oo·2020-07-11 21:02

【终极版】大数据环境搭建汇编 cent os 7(权限问题详解)

参数为staticIp地址子网掩码网关dns服务器Onboo参数为yes，如下图编辑结束，重启机器或者运行：servicenetworkstart使得配置生效配置/etc/hosts使得master和slaves
长河落日渊·2020-07-11 20:10

bonding配置

yesTYPE=EthernetNM_CONTROLLED=noPEERDNS=noIPADDR=10.255.250.16NETMASK=255.255.255.0GATEWAY=10.255.250.1SLAVES
无名a先生·2020-07-11 19:47

Hadoop集群启动后在网页无法看到DataNode信息

网页显示：各节点之间都可以ping解决方案：1.首先在Master上pingslave，发现都可以ping通，这是可以找到的2.首先在slaves上pingMaster，直接pingMaster的hostname
大鱼-瓶邪·2020-07-11 15:34

Hadoop中的配置说明

的环境变量.可以使用这些配置来改变Hadoop后台线程的行为.比如：修改日志文件的存储位置,以及Hadoop可以使用的最大堆数量等.此文件中唯一需要修改的变量是JAVA_HOME,以用来指定JDK的安装目录.slaves
huiwen_82132000·2020-07-11 08:28

hadoop live nodes: 0 的问题

网上搜到的解决方案里的错误在/etc/hosts文件的文件没有写master和slaves的ip，虽然都会在slave的log里显示“重新尝试连接master的9000端口”之类的，但我的一开始就吧hosts
一根优雅的腋毛·2020-07-11 07:49

Mysql Master-Master Replication Manager

目录一、概述4二、典型的应用52.1两个节点的环境52.2两个master+一个或者多个slaves的环境5三、需求63.1monitoringhost需求63.2nodes需求63.3使用MMMtools
wulantian·2020-07-10 12:59

spark 任务运行流程

正常启动Spark集群时往往使用start-all.sh，此脚本中通过调用start-master.sh和start-slaves.sh启动mater及workers节点。
felix_feng·2020-07-10 03:07

hadoop集群及HBase+ZooKeeper+Hive完全分布式集群部署安装

[email protected]远程登录[email protected]/hadoop/hdfs-site.xmlvietc/hadoop/slaves
孙彬不像个好程序员·2020-07-10 02:03

HDFS 启动与关闭

2）执行启动脚本：bin/start-dfs.sh这一脚本会启动NameNode，然后根据conf/slaves中的记录逐个启动DataNode，
lzxyzq·2020-07-09 20:47

kernel（十三）1-wire (DS18B20)

参考文档：Documentation/w1/masters/w1-gpioDocumentation/w1/slaves/w1_therm查看TQ210原理图XEINT8对应的GPIO为GPH1_0在mach-smdkv210
LouisGou·2020-07-09 11:07

mysql 主从同步

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
centos2015·2020-07-09 06:29

IDEA的使用

2，启动spark的master和slaves，本地测试无需启动。packagesparkIDEProgramimportorg.apac
yoghurt2016·2020-07-09 03:15

高性能Mysql主从架构的复制原理及配置详解

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
weixin_30311605·2020-07-08 13:06

Spark on YARN集群动态扩容

ExternalShuffleService功能，添加worker需要采用如下方式新增节点启动验证基础工作新增节点上安装scala;新增节点上新建用于存放spark数据和日志的目录;将新增节点的主机名添加到slaves
逝水-无痕·2020-07-08 12:02

flink集群搭建（stanlone cluster）

目录1：下载压缩包2：修改配置文件conf/flink-conf.yaml3：修改配置文件conf/masters4：修改配置文件conf/slaves5：将flink复制到其他节点（相同位置）6：StartanHA-cluster
千里风雪·2020-07-08 10:10

hadoop学习总结（一）

环境变量解压hadoop安装包配置hadoop的核心文件hadoop-env.sh，core-site.xml,mapred-site.xml，hdfs-site.xml，yarn-site.xml，slaves
⑨笙清栀·2020-07-07 16:25

面试积累-MySQL-关于MySQL的复制

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
Rick1024·2020-07-07 12:06

分布式资源调度框架YARN

hadoop1.x的架构如图所示，1.x的架构也采用的是主从结构：即master-slaves架构，一个JobTracker带多个TaskTrackerJobTracker：负责资源管理和作业调度；Tasktracker
hitchenghengchao·2020-07-07 09:00

Hadoop之客户端获取NameNode集群信息

环境描述：master和slaves在同一局域网，并且只有master可以连接外网，在master上同时部署一个web应用。问题需求：在web程序里可以输出Map和Reduce的日志信息。
Java_KFC·2020-07-06 22:44

Spark（二）部署方式

第一篇中，我们启动了Spark，有没有发现我们启动了三个节点，一个是Sparkmaster节点，另外两个是slaves节点。这其实就是用的Spark自带的standalone模式启动的。
刘二郎·2020-07-06 17:47

Spark脚步文件作用说明

可以说我闲的蛋疼，反正我已经做了记录了，哈哈sbin目录下的脚本文件slaves.sh               在所有定义在${SPARK_CONF_DIR}/slaves的机器上执行一个shell
weixin_33991418·2020-07-05 23:28

Redis主从同步 和 持久化 Pipeline 原理

redis主从复制:1.同一个master可以有多个slaves2.slave可以接受其它slaves的连接和同步请求,这样会有效地分载master的同步压力.3.master以非阻塞方式为其slave
weidenglu11·2020-07-05 20:52

hadoop之slaves文件详细分析

hadoop之saves文件详细分析（一）注：所有操作基于hadopp-2.7.5，本篇文章主要涉及一些对于slaves文件之于hadoop平台的思考首先大家都知道，要想配置一个完全分布式平台，首先要配置
韩冬_Yeah·2020-07-05 07:43

Apache Spark配置Python环境及实例

1.安装Python3环境(Centos7)首先是安装Python3.6环境教程，采用以下方式安装比较简单，需要在Master节点和Slaves节点上都安装Python3.6的开发环境。
Michaelhbjian·2020-07-05 07:57

大数据分享Spark任务和集群启动流程

任务和集群启动流程，Spark集群启动流程1.调用start-all.sh脚本,开始启动Master2.Master启动以后,preStart方法调用了一个定时器,定时检查超时的Worker后删除3.启动脚本会解析slaves
好程序员IT·2020-07-05 05:38

Redis学习手册(主从复制)

1).同一个Master可以同步多个Slaves。2).Slave同样可以接受其它Slaves的连接和同
hujiao_jingling·2020-07-04 18:13

11、 Hadoop 2.x各个服务组件如何配置在那台服务器运行并测试

slaves文件中；hadoop-senior.ibeifeng.com配置项SecondaryNameNode：是由哪个文件中的哪个配置属
banliao3463·2020-07-04 11:47

spark 2.3.1集群搭建(Master,Slave,Slave)

/conf/slaves.template./conf/slaves#slaves文件设置Worker节点。
「已注销」·2020-07-04 06:07

Spark高频面试题总结

Standalone:构建一个基于Mster+Slaves的资源调度集群，Spark任务提交给Master运行。是Spark自身的一个调度系统。
AiBigData·2020-07-04 04:20

Hive on Spark 搭建&踩坑

环境：一台1C2G的ECS，渣渣机器；需要搭建集群的只需要更改yarn、slaves的配置即可。接下来肯定会关注的问题就是版本了，版本的选择有千千万万种，这边的参考版本可在下面的参考配置中获得。
Deegue·2020-07-04 04:35

Spark运行模式及命令示例

/lib/spark-examples-1.3.1-hadoop2.4.0.jar100Standalone集群模式：需要的配置项(1)slaves文件(2)spark-env.shexportJAVA_HO
尘世中一介迷途小码农·2020-07-01 07:36

深入学习Redis高可用之Sentinel机制

Sentinel相关概念目录一、Sentinel相关概念二、Sentinel的配置实例三、Sentinel的“仲裁会”四、配置版本号五、配置传播六、SDOWN和ODOWN的更多细节七、Sentinel之间和Slaves
爱思考的实践者·2020-07-01 02:00

redis cluster中info replication主节点没有获取到从节点信息

但是进入一个主节点，但是inforeplication查询信息，connected_slaves却为0，如下：而且，192.168.2.1187004是192.168.2.1077001的从节点，但是主节点写的数据
zjuwzp·2020-06-30 18:57

HDFS文件读取、写入过程详解

HDFS是master/slaves架构，由一个名称节点以及多个数据节点构成。namenode负责namespace管理以及client的访问。内部文件被切块存储在数据节点的集合中。
汉森X·2020-06-30 03:09

Spark Standalone如何通过start-all.sh启动集群

1.start-all.sh脚本分析图1start-all.sh部分内容我们可以从start-all.sh脚本源文件中看到它其实是start-master.sh和start-slaves.sh两个脚本的组合
lehi·2020-06-30 00:21

Redis学习 master/slave(主从)、sentinel(哨兵)、Cluster简单总结

对主从模式的理解：一个Master可以有多个Slaves默认配置下，master节点可以进行读和写，slave节点只能进行读操作，写操作被禁止不要修改配置让slave节点支持写操作，没有意义，原因一
刘德华一不小心就打代码·2020-06-29 00:37

Locust的hack之路- 压测脚本的传输及自启动slaves

刚开始使用Locust压测脚本进行分布式压测的时候，往往需要8个或更多的slave来支持性能测试，因为一直以来都是习惯在windows下写python脚本，所以在windows下写好脚本，然后调试好后，而压测机是linux机器，每次压测都要先把压测文件拷贝到linux的压测机，然后手动一个一个slave的启动，很费时费力。这个时间就考虑有没有更好的方式支持一条命令行就把这些事给干了，而我只要关注压
weixin_39394499·2020-06-28 22:47

HDFS的基础组成部分及基础操作

组件结构图解说：1、如图所示中，NameNode充当master角色，职责包括：管理文档系统的命名空间(namespace)；调节客户端访问到需要的文件(存储在DateNode中的文件)2、DataNodes充当slaves
Joe?·2020-06-28 16:21

mysql的复制原理以及复制类型

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
weixin_33964094·2020-06-28 08:03

Hadoop集群配置（最全面总结）

这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.ht
weixin_30748995·2020-06-28 00:51

MySQL主从复制(Replication for Backup)

12-Pro，Windows-10，CentOS-7.5，Xshell51.基本概念和操作思路主从复制能做什么数据库的主从复制，是一台主数据库机器(Master)把自己的数据，复制到一台或多台从机器(Slaves
weixin_30632899·2020-06-27 22:24

redis集群遇到的坑

.*:6373>inforeplication#Replicationrole:masterconnected_slaves:0master_replid:8b951309b24a4
weixin_30532759·2020-06-27 21:44

Redis--集群--主从模式--哨兵模式

主从复制1.一个redis服务有多个该服务的复制品，这个redis服务称为master,其他复制品称为slaves2.主从会保持数据同步3.只有master可以执行写命令，slave只能执行读命令（默认
wang123459·2020-06-27 12:17

Hadoop： 主节点9000端口拒绝访问Call From hadoop3/192.168.91.132 to hadoop1:9000 failed on connection exception

注：master：hadoop1；slaves：hadoop2,hadoop3CallFromhadoop3/192.168.91.132tohadoop1:9000failedonconnectionexception
机智的小蔡·2020-06-27 00:29

redis主从复制与哨兵模式

一个Redis服务可以有多个复制品，这个Redis服务称为Master，其它复制品称为Slaves；Master会一直将自己的数据更新同步到Slaves，保持主从一致。
当编程已成习惯·2020-06-26 17:24

RHEL 5下配置Hadoop集群：java.net.NoRouteToHostException: No route to host问题的解决

最近，要把原来基于Ubuntu下配置的Hadoop集群迁移到RHEL5下，结果在启动的时候，出现了莫名其妙的问题：Namenode进程启动起来了，但是在登录到Datanode上启动集群slaves的时候
千与·2020-06-26 09:32

hadoop高可用集群搭建

元数据存放目录为该目录指定zookeeper/conf/配置文件zoo.cfg中配置zookeeper元数据存放目录为该目录2、检查三大文件1>vietc/hosts文件中配置四台服务器的域名地址2>slaves
夙夜M·2020-06-25 15:06

MySQL主从复制原理以及架构

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
落叶不如离思多·2020-06-25 08:12
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他