slaves

API实现HDFS的读写数据流JAVA代码及流程详解

环境准备1.集群配置文件如图，一般对文件的读取，会将core-site.xml，hdfs-site.xml，slaves文件拷贝到项目的根目录下；如果项目中涉及到MapReduce的，需要将mapred-site.xm
生命不息丶折腾不止·2017-09-05 15:18

Spark集群的安装

exportJAVA_HOME=/usr/java/jdk1.7.0_45exportSPARK_MASTER_IP=cloudera-aexportSPARK_MASTER_PORT=70773.修改slaves
山歌在努力·2017-09-01 11:28

Hadoop集群搭建1Master、3Slaves

master.hadoop10.9.148.193slave1.hadoop10.9.148.190slave2.hadoop10.9.148.191slave3.hadoop10.9.148.192root123456hadoop1234561.重装系统Centos62.设置固定IPIPv4：手动地址子网掩码网关10.9.148.193255.255.255.010.9.148.1DNS：10.
拉普达男孩·2017-08-29 13:56

Hadoop集群中改变了其中一个节点的主机名之后 的ssh连接问题

：ssh-keygen-trsa第四步：vim~/.ssh/known_hosts第五步：ssh-copy-id-iid_rsa.pub@第六步：vim$HADOOP_HOME/etc/hadoop/slaves
小脑壳·2017-08-24 22:00

解决百度BMR的spark集群开启slaves结点的问题

前言最近一直忙于和小伙伴倒腾着关于人工智能的比赛，一直都没有时间停下来更新更新我的博客。不过在这一个过程中，遇到了一些问题，我还是记录了下来，等到现在比较空闲了，于是一一整理出来写成博客。希望对于大家有帮助，如果在此有不对的地方，请大家指正，谢谢！比赛遇到spark开启的问题疑惑之处在使用百度BMR的时候，出现了这样子一个比较困惑的地方。但百度那边帮我们初始化了集群之后，我们默认以为开启了spar
Kwongtai·2017-08-13 17:55

linux6.4搭建mysql主从复制

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
crpp0902·2017-07-26 11:06

Mongodb笔记，半截的

--Master/Slaves主从模式-新建master>mongod--dbpathD:\Data\master--port10000--master-新建slave>mongod--dbpathD:
281824088·2017-07-22 22:19

Mysql （master/slave）主从复制原理及配置

将mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
魔法师_·2017-07-17 09:56

shell脚本（查看多台服务器端口）

/bin/bashparams=$@hosts=`cat/soft/hadoop/etc/hadoop/slaves`tputsetaf2echo=============localhost======
wx5955e325d6bfb·2017-07-01 14:21

spark启动

spark启动流程sbin/start-all.sh->start-master.sh->start-slaves.shsbin/start-master.sh->先读取变量sbin/spark-daemon.shstartorg.apache.spark.deploy.master.Master1
博瑜·2017-06-28 10:45

spark启动

spark启动流程sbin/start-all.sh->start-master.sh->start-slaves.shsbin/start-master.sh->先读取变量sbin/spark-daemon.shstartorg.apache.spark.deploy.master.Master1
博瑜·2017-06-21 08:27

Mesos概念

Mesos由一个masterdaemon来管理slavedaemon在每个集群节点上的运行,mesosapplications（也称为frameworks）在这些slaves上运行tasks。
银盾泰安·2017-06-01 11:00

Spark集群完全分布式安装部署

Spark集群完全分布式安装部署下载安装配置Spark1spark-envsh配置2slaves配置3profile配置复制到其他节点测试总结Spark集群完全分布式安装部署本文中所提到的Spark集群所用的系统环境是
Lee_Sung·2017-05-18 16:32

Spark java.lang.OutOfMemoryError: Java heap space

rq=1Mycluster:1master,11slaves,eachnodehas6GBmemory.Mysettings:spark.executor.memory=4g,Dspark.akka.frameSi
dufufd·2017-05-18 10:19

Linux安装单机版Spark(CentOS7+Spark2.1.1+Scala2.12.2)

Scala1.2为Scala配置环境变量1.3验证Scala2下载和解压缩Spark3Spark相关的配置3.1配置环境变量3.2配置conf目录下的文件3.2.1新建spark-env.h文件3.2.2新建slaves
陈南志·2017-05-17 13:42

Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)

Scala2下载和解压缩Spark2.1下载Spark压缩包2.2解压缩Spark3Spark相关的配置3.1配置环境变量3.2配置conf目录下的文件3.2.1新建spark-env.h文件3.2.2新建slaves
陈南志·2017-05-16 22:15

Spark:Master High Availability（HA）高可用配置的2种实现

Spark:MasterHighAvailability（HA）高可用配置的2种实现SparkStandalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样
belovedmilan·2017-05-10 16:00

HDFS完全分布式安装

【步骤】•下载•解压•检查java环境和ssh的免密码登陆•修改core-site.xml•修改hdfs-site.xml•修改masters文件和slaves文件•复制hadoop配置文件到其他主机上
Wiki-9527·2017-05-02 23:46

linux下Hadoop2.7.2集群部署日志

一致）2）先处理好主机名和hosts文件，部署hadoop3）需要往hadoop-env.sh文件重新引入JAVA_HOME路径4）需要在$HADOOP_HOME/etc/hadoop路径下，创建或修改slaves
eucalyptus_lin·2017-04-07 11:29

Flink入门之Standalone模式集群伪分布式搭建

2：接下来看看Flink的conf的配置文件：                         这里面需要我们配置的有：slaves和flink-conf.yaml文件，这里面masters文件是用来配置
javartisan·2017-03-22 00:00

Hadoop Overview显示Livenode为0

CentOS6.6+JDK1.7+hadoop2.7.2拓扑结构：1master，2slaves。
9命怪猫·2017-03-16 14:40

MySQL的主从复制原理

一.主从复制MySQL的复制是通过将一台主（master）服务器的数据复制到其他主机(slaves)上。从服务器可以有很多。而复制的原理跟MySQL的二进制日志是分不开关系的。
Ghost_02·2017-03-07 21:58

Spark -10：高可用模式配置

默认情况下，Standalone的Spark集群是Master-Slaves架构的集群模式，由一台master来调度资源，这就和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题
GE12·2017-02-23 11:52

Flink之二 Flink安装及入门案例

Flink安装（集群模式）：  1：下载安装flink的安装包，注意hadoop的版本兼容问题    2：解压安装包，进入conf配置文件目录下，主要配置文件为flink-conf.yaml和slaves
剑昙说·2017-02-03 14:27

2 Hadoop的安装与配置

需要JDK、SSH对于伪分布式，Hadoop会采取与集群相同的处理方式：按次序启动文件conf/slaves中记载的主机上的进程，只不过在伪分布式中Slave为localhost（自身）。 
weixin_37289816·2017-01-23 21:00

mysql主从数据库复制

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
xiaoxiongmao8·2016-12-22 14:43

linux下为hadoop开启SSH免密钥登录

在slaves.sh中有SSH
post_bird·2016-12-08 14:11

Hadoop 集群启动后，从节点的NodeManager没有启动解决

1.slaves节点报错，报的是启动nodemanager所需内存不足解决：a:修改yarn-site.xml中的yarn.scheduler.minimum-allocation-mb内存大于1024
holomain·2016-11-25 22:08

redis主从复制

二、redis主从复制特点1、同一个Master可以拥有多个Slaves。
俯身吻你·2016-11-25 15:36

DNS主从复制、子域授权和转发及智能解析

TCP53：负责主从服务器的数据复制传输UDP53：负责解析主配置文件：/etc/named.conf区域配置文件存放目录：/var/named/从服务器的区域配置文件存放目录：/var/named/slaves
cszdz123·2016-11-24 17:05

HDFS的基础组成部分及基础操作

组件结构图解说：1、如图所示中，NameNode充当master角色，职责包括：管理文档系统的命名空间(namespace)；调节客户端访问到需要的文件(存储在DateNode中的文件)2、DataNodes充当slaves
DBAspace·2016-11-20 01:46

spark集群详细搭建过程及遇到的问题解决（四）

spark$ cd hadoopspark@master:~/spark/hadoop$ cd $SPARK_HOME/confspark@master:~/spark/spark/conf$ cp slaves.template
lefteva·2016-11-18 14:48

spark streaming + flume+python(编程)初探

不再赘述三台机器：master，slave1,slave2二、启动集群环境1.启动hadoop集群start-all.sh2.启动spark集群start-master.shstart-slaves.sh
玄月府的小妖在debug·2016-11-15 14:36

hadoop datanode 不能连接 namenode

65456Jps64881NameNode65057DataNode7380NodeManager65276SecondaryNameNodeslave:3607DataNode7380NodeManager3675Jpshadoop下：slaves
moviebat·2016-11-08 13:07

高性能Mysql主从架构的复制原理及配置详解

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
冷暖己知·2016-10-31 11:48

mysql主从复制配置

windows系统下的配置：master:localhost:3306slaves1:localhost:3307一：配置主库（1）修改主配置文件在mysql的配置文件my.ini里面加入如下配置：server-id
李秀才·2016-10-28 17:30

myaql 主从复制

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
大屁孩儿·2016-10-26 12:11

Hadoop集群搭建过程中DataNode与TaskTracker节点的问题

在Hadoop集群搭建的过程中,我们总会发现在slaves文件中的主机名既是DataNode也是TaskTracker，这是为什么呢？
a2011480169·2016-10-23 10:00

spark筑基篇-00-Spark集群环境搭建

3配置ssh免登陆集群搭建1配置环境变量2配置hadoop21core-sitexml22hdfs-sitexm23mapred-sitexml24yarn-sitexml25hadoop环境变量26slaves27
hylexus·2016-10-15 18:00

redis应用之主从架构配置

2、redis主从复制特点同一个Master可以拥有多个Slaves。Master下的Slave还可以接受同一架构中其它slave的链接与同步请
xingliguang·2016-10-14 19:54

redis 单台服务器主从设置

1).同一个Master可以同步多个Slaves。2).Slave同样可以接受其它Slaves的连接和同步请求，这样可以有效的分载Master的同步压力。
sky8686·2016-09-13 16:27

Hadoop之机架感知

在没有机架信息的情况下，namenode默认将所有的slaves机器全部默认为在/default-rack下而当Hadoop集群中配置
wangwei4078·2016-08-18 10:02

hadoop的伪分布模式配置

主要配置5个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。
liufunan·2016-08-14 18:20

mysql的主从复制原理

将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
Debug_zhang·2016-08-10 09:04

Hadoop2.7.0学习——移除节点

Hadoop2.7.0学习——移除节点添加黑名单文件在主节点的Hadoop安装目录/etc/hadoop目录下添加文件excludes和slaves类似每个节点名一行添加上要移除的节点名hadoop-node2
-贫寒豌豆·2016-08-09 16:17

在Kubernetes中部署YARN

启动YARN/HDFS集群在YARN默认配置中，集群节点通过ssh启动:配置集群中的节点可以无密码互访[1]修改slaves文件，在该文件中加入集群节点的主机名或IP通过star
少数pai·2016-08-04 08:45

Starting namenodes on [master] hadoop@master's password:

只设置了master和slaves之间的无密码连接，
wisdomB·2016-07-31 17:21

构建高性能数据库缓存之redis主从复制

二、redis主从复制特点1、同一个Master可以拥有多个Slaves。2、Master下的Slave还可以接受同一架构中其它slave的链接与同步请求，实现数据的级联复制，即Mast
daunty·2016-07-26 10:00

hadoop节点nodemanager启动失败原因小结~

slaves节点报错，报的是启动nodemanager所需内存不足报错内容：ERRORorg.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl
依然那么楞·2016-07-12 12:37

Hadoop部署心得

配置以下文件：hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，1)masters记录运行第二名称节点的机器名（在namenode进行）2)slaves
aeolus1983·2016-06-28 11:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他