SparkMaster

spark集群搭建（完全分布式）

安装的节点如下（标红的为本次安装）：机器安装软件进程focuson1zookeeper;hadoopnamenode;hadoopDataNode;hbasemaster;hbaseregionrerver;sparkmaster
focuson_·2018-05-05 20:58

大数据面试题集锦(一)

1.Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
Zzreal·2018-04-14 22:42

Spark 源码阅读（4）——Master和Worker的启动流程

启动脚本中调用的是Master的main方法，所以我们找到Master的main方法：private[spark]objectMasterextendsLogging{ valsystemName="sparkMaster
21989939·2018-03-15 17:20

ubuntu 用户管理指令

超级用户初始设置kaen@sparkmaster:~$sudo-s[sudo]passwordforkaen:root@sparkmaster:~#passwdrootEnternewUNIXpassword
Kean_L_C·2017-10-09 15:27

Hadoop-2.7.2集群的搭建——集群学习日记

具体打算配置如下的集群主机名IP地址（内网）SparkMaster10.21.32.106SparkWorker11
AndyLizh·2017-09-08 13:10

Hadoop-2.7.2集群的搭建——集群学习日记

具体打算配置如下的集群主机名IP地址（内网）SparkMaster10.21.32.106SparkWorker11
a545415·2017-08-04 17:58

安装Scala-2.11.7——集群学习日记

scala-2.11.7下载为了方便，我现在我的SparkMaster主机上先安装，把目录打开到/usr目录下，与我的Java目录相一致。
Kwongtai·2017-07-26 11:36

Hadoop-2.7.2集群的搭建——集群学习日记

具体打算配置如下的集群主机名IP地址（内网）SparkMaster10.21.32.106SparkWorker11
Kwongtai·2017-07-25 13:22

配置ssh免密码登录——集群学习日记

具体打算配置如下的集群主机名IP地址（内网）SparkMaster10.21.32.106SparkWorker11
Kwongtai·2017-07-25 11:40

第三步：kafka的server启动过程 源代码运行内幕机制

 kafka分布式集群启动比spark分布式集群启动相对简化的思考,1、spark分布式集群节点的启动，只在sparkmaster节点执行start-all.sh，master节点会自动ssh到分布式的其他
duan_zhihua·2016-05-03 08:00

spark-sql部署实现与Hive交互

spark-sql部署版本Hadoop-2.5.0-cdh5.3.2 Hive-0.13.1-cdh5.3.2Spark-1.5.1以CNSH001节点为例sparkmaster在CNSH001上：spark
vfgbv·2016-04-11 15:00

Spark Job 详细执行流程（二）

SparkJob执行流程大体如下：用户提交Job后会生成SparkContext对象，SparkContext向ClusterManager（在Standalone模式下是SparkMaster）申请Executor
imarch1·2016-04-08 14:28

Spark Job 详细执行流程（一）

大体流程如下图所示Spark集群运行架构用户提交Job后会生成SparkContext对象，SparkContext向ClusterManager（在Standalone模式下是SparkMaster）
imarch1·2016-03-23 17:38

启动Hadoop集群

以下执行环境是在一个有2个节点的集群当中，namenode：sparkmaster，datanode：sparkmaster和sparkworker1在namenode上统一启动整个集群的方法首先，要在
飞鸿踏雪Ben归来·2016-01-20 12:13

关于MASTER=spark://SparkMaster:7077 ./spark-shell问题

http://bbs.csdn.net/topics/390941085在运行MASTER=spark://SparkMaster:7077 .
buster2014·2015-12-06 21:00

spark-sql部署实现与Hive交互

spark-sql部署版本Hadoop-2.5.0-cdh5.3.2 Hive-0.13.1-cdh5.3.2Spark-1.5.1以CNSH001节点为例sparkmaster在CNSH001上：spark
developerinit·2015-11-25 09:00

spark Association failed with [akka.tcp:sparkMaster@ip:7077]

今搭建spark集群， conf/spark-env.sh 配制如下 export SPARK_MASTER_IP=masterexport SPARK_MASTER_PORT=7077export SPARK_WORKER_MEMORY=1024m export SCALA_HOME=/usr/local/scala-2.11.2export JAVA_HOME=/usr/local/jdk
·2015-11-11 07:44

让spark运行在mesos上 -- 分布式计算系统spark学习(五)

运行在mesos上面和sparkstandalone模式的区别是：1）standalone需要自己启动sparkmaster需要自己启动sparkslaver（即工作的worker）2）运行在mesos
GZ.Jackey·2015-11-05 16:00

Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

zhouzhihubeyondspark-submit脚本应用程序提交流程在运行Spar应用程序时，会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下：root@sparkmaster
lovehuangjiaju·2015-10-19 12:00

Spark修炼之道（基础篇）——Linux大数据开发基础：第十一节：Shell编程入门（三)

具体如下://用()定义一个数组，注意数组元素间不能用,否则达不到预期目的 root@sparkmaster:~/ShellLear
lovehuangjiaju·2015-10-05 15:00

Spark修炼之道（基础篇）——Linux大数据开发基础：第十节：Shell编程入门（二)

本节主要内容shell命令行中的基本运算文件描述符与文件重定向1.shell命令行中的基本运算通过上一节我们知道，LinuxBashshell命令行的变量都被解析成字符串，如//变量被解析为字符串 root@sparkmaster
lovehuangjiaju·2015-10-04 21:00

spark standalone zookeeper HA部署方式

虽然sparkmaster挂掉的几率很低，不过还是被我遇到了一次。以前在sparkstandalone的文章中也介绍过standalone的ha,现在详细说下部署流程，其实也比较简单。
lsshlsw·2015-08-17 16:00

Spark-1.4.0集群搭建

Ubuntu10.04系统设置ZooKeeper集群搭建Hadoop-2.4.1集群搭建Spark1.4.0集群搭建假设已经安装好Ubuntu操作系统Ubuntu10.04设置1.主机规划主机名IP地址进程号SparkMaster192.168.1.103ResourceManagerDataNode
lovehuangjiaju·2015-07-14 21:00

hadoop-2.2.0集群上运行Hive 0.13 出错的解决方案

集群配置IP地址主机名运行进程192.168.1.104cluster04QuorumPeerMain(ZooKeeper进程）Master（SparkMaster进程）DataNodeJournalNodeResourceManager
lovehuangjiaju·2015-07-13 22:00

蜗龙徒行-Spark学习笔记【三】Spark集群中worker节点扩展实战经验

一、集群原先配置：                 主机名sparkMaster，Ubuntu12.04-32，用户名Root,内存4g   （只用于任务调度和分配，不做计算节点）          从机名
cafuc46wingw·2015-04-14 11:00

为spark添加入口机

从sparkmaster:/user/hadoop/home/setupSpark目录下以root用户执行以下命令exportENTRANCE_IP=*.*.*.
houzhizhen·2015-01-23 11:00

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）(12)

第三步：测试Spark集群把Spark安装包下的”README.txt”上传到通过hdfs的web控制台可以发现成功上传了文件：使用“MASTER:spark://SparkMaster:7077 .
Spark亚太研究院·2014-11-19 13:00

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）(11)

此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040” 从Web的角度看一下SparkUI的情况，如下图所示：当然，你也可以查看一些其它的信息
Spark亚太研究院·2014-11-18 22:00

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）(9)

www.scala-lang.org/download/2.10.4.html 在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载； 2，安装和配置Scala我们需要在SparkMaster
Spark亚太研究院·2014-11-17 20:00

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（5）

第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：而在SparkWorker1和SparkWorker2上则分别启动了No
HiHeartFirst·2014-10-21 09:57

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（5）

第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：而在SparkWorker1和SparkWorker2上则分别启动了No
Spark亚太研究院·2014-10-21 09:00

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（4）

7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到
HiHeartFirst·2014-10-16 14:02

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第五步）（4）

7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到
Spark亚太研究院·2014-10-16 14:00

[Hadoop]hadoop2.2安装（2）——Hadoop安装

：1.1设置hostname（以namenode机子为例）-修改/etc/sysconfig/networkNETWORKING=yes #HOSTNAME=centos6-FTP HOSTNAME=sparkMaster
nocturne1210·2014-06-17 17:00

Spark独立部署模式

除了部署在Mesos之上,Spark也支持独立部署模式,包括一个Sparkmaster进程和多个Sparkworker进程.独立部署模式可以运行在单机上作为测试之用，也可以部署在集群上.如果你打算部署在
bluetropic·2013-07-22 16:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他