SparkMaster

spark常见面试题

8.SparkMaster使
爱敲代码的小黑·2024-09-12 18:51

大数据之 Spark 常用的端口号

SparkMaster服务端口：7077，这是Spark在Standalone模式下的主节点（Master）与Worker节点通信的服务端口，客户端提交应用时也会连接此端口。
转身成为了码农·2024-01-21 07:11

spark 内核源码剖析五：Master主备切换机制原理

SparkMaster主备切换可以基于两种机制，一种是基于文件系统的，一种是基于Zookeeper(生产中用的多)；基于文件系统的主备切换机制，需要在ActiveMaster挂掉之
雪飘千里·2023-12-14 23:08

Spark---Master启动及Submit任务提交

一、SparkMaster启动1、Spark资源任务调度对象关系图2、集群启动过程Spark集群启动之后，首先调用$SPARK_HOME/sbin/start-all.sh，start-all.sh脚本中调用了
30岁老阿姨·2023-11-29 07:38

Spark Worker 启动流程及源码详解

环境：spark2.3.3scala2.11.8Java1.8.0_141可以参考【SparkMaster启动流程及源码详解】${SPARK_HOME}/sbin/start-slaves.sh#Launchtheslaves
ustbxyls·2023-11-13 17:59

【Spark】Master原理剖析-3个机制

实际上可以配置2个，Spark原生的standalone模式是支持Master主备切换的，也就是说，当ActiveMaster节点挂掉的时候，我们可以将StandbyMaster切换为ActiveMaster.SparkMaster
果果小姚·2023-04-18 13:15

为什么在Nodes of the cluster页面没有显示所有的node？

启动整个Hadoop集群：[root@sparkmaster~]#start-dfs.sh[root@sparkmaster~]#yarn-daemon.shstartresourcemanagerstartingresourcemanager
飞鸿踏雪Ben归来·2023-04-13 04:56

Spark Standalone 单机起多个Worker

/sbin/start-slaves.sh手动启动Worker并连接到SparkMaster.
mrknowledge·2023-03-29 10:43

Spark 集群执行任务失败的故障处理方法

引言昨天（2023-02-22）开始发现公司Spark集群上出现一些任务执行时间过长最后失败，具体表现包括：大量执行失败的Task，最终任务也是失败的在SparkMaster管理界面上看到任务的Driver
·2023-02-23 14:14

Spark 集群执行任务失败的故障处理

昨天（2023-02-22）开始发现公司Spark集群上出现一些任务执行时间过长最后失败，具体表现包括：大量执行失败的Task，最终任务也是失败的在SparkMaster管理界面上看到任务的Driver
·2023-02-23 11:27

Spark Job 运行流程

大体流程如下图所示1729304-0fb8aae3eaafa180.png当action触发执行后，Driver会创建SC对象，SC向ClusterManager(在standalone模式下是SparkMaster
雨果等夏天·2023-01-27 00:24

Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

zhouzhihubeyondspark-submit脚本应用程序提交流程在运行Spar应用程序时，会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下：root@sparkmaster
weixin_34113237·2020-09-15 03:29

Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

spark-submit脚本应用程序提交流程在运行Spar应用程序时，会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下：root@sparkmaster
五柳-先生·2020-09-15 02:27

Call From SparkMaster/192.168.237.128 to 0.0.0.0:10020 failed on connection exception

在Hadoop集群中运行作业报如下错误：17/05/1621:03:01INFOclient.RMProxy:ConnectingtoResourceManageratSparkMaster/192.168.237.128:803217/05/1621:03:02INFOmapred.ClientServiceDelegate:Applicationstateiscompleted.FinalAp
是可大吖哈·2020-09-13 06:27

使用Zeppelin来实现大数据分析的可视化

Zeppelin官网我们可以直接下载zeppelin-0.5.6-incubating-bin-all.tgz，然后部署到服务器上，个人感觉部署到SparkMaster节点上会更好。
linkse7en·2020-08-24 13:36

Spark修炼之道（基础篇）——Linux大数据开发基础：第十节：Shell编程入门（二)

本节主要内容shell命令行中的基本运算文件描述符与文件重定向1.shell命令行中的基本运算通过上一节我们知道，LinuxBashshell命令行的变量都被解析成字符串，如//变量被解析为字符串root@sparkmaster
五柳-先生·2020-08-21 04:19

使用Zeppelin来实现大数据分析的可视化

Zeppelin官网我们可以直接下载zeppelin-0.5.6-incubating-bin-all.tgz，然后部署到服务器上，个人感觉部署到SparkMaster节点上会更好。
linkse7en·2020-08-20 20:34

使用Zeppelin来实现大数据分析的可视化

Zeppelin官网我们可以直接下载zeppelin-0.5.6-incubating-bin-all.tgz，然后部署到服务器上，个人感觉部署到SparkMaster节点上会更好。
linkse7en·2020-08-20 20:33

高可用Spark集群的主备切换过程(原理概要)

Spark在standalone运行模式下，可以配置sparkmaster的HA，当activemaster节点宕机，就能把standbymaster切换成active。
Tony_仔·2020-08-16 07:23

Spark面试题整理(更新中)

**1.Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
GYDITLife·2020-08-08 20:08

Spark:SparkContext原理剖析与源码分析

，甚至是python编写都必须要有一个SparkContext，它的主要作用，包括初始化Spark应用程序所需的一些核心组件，包括调度器（DAGSchedule、TaskScheduler），还会去到SparkMaster
焦焦^_^·2020-08-03 18:58

Spark集群配置和Spark-shell 一些列命令

spark-env.sh和slaves)vimspark-env.sh#指定JAVA_HOME位置exportJAVA_HOME=/home/hadoop/appp/java/jdk1.7.0_45#指定sparkMaster
zkhong07·2020-07-29 03:34

spark内存参数的理解

SPARK_DAEMON_MEMORY：分配给sparkmaster/worker守护进程的内存（默认1g）SPARK_DRIVER_MEMORY:driver进程使用的内存数;使用spark-submmit
jimmyxyalj·2020-07-29 00:47

关于yarn的spark配置属性

spark1.2.0TheseareconfigsthatarespecifictoSparkonYARNPropertyNameDefaultMeaningspark.yarn.applicationMaster.waitTries10ApplicationMaster链接Sparkmaster
weixin_33943347·2020-07-28 18:09

Spark踩坑之旅

1、Sparkstandalone模式集群，使用zk作为服务状态一致性协调器，当zkleader宕机，sparkmaster也跟着挂掉问题描述：zkleader宕机之后，sparkmaster节点也出现宕机情况
wwd_hb·2020-07-28 15:06

Spark面试相关

SparkCore面试篇01一、简答题1.Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
aeluwl2038·2020-07-15 14:36

Spark面试近300题初始版本

1-40一、简答题1.Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
MagicStarts·2020-07-15 13:49

hadoop组件---spark实战----spark on k8s模式Spark Standalone on Docker方式安装spark

你将使用Sparkstandalone模式安装一个Sparkmaster服务和一组Sparkworkers。
张小凡vip·2020-07-13 09:42

windows环境下spark 源码搭建和调试

当前github上Sparkmaster版本使用sbt和maven都可以使用IDEA进行工程导入，和版本构建。我是以maven进行导入和构建。sbt构建问题始终没有解决而放弃，不再赘述。
吐思圈·2020-07-09 01:17

Spark常见问题汇总

sparkmaster和sparkworker挂掉application恢复问题首先分5中情况：1，sparkmaster进程挂掉了2，sparkmaster在执行中挂掉了3，sparkworker提交任务前全部挂掉了
mishidemudong·2020-07-08 08:29

Spark部署方式---Standalone

：http://spark.apache.org/docs/latest/spark-standalone.html1、搭建Standalone模式集群2、手动启动集群2-1)在master节点上启动SparkMaster
无名氏0428·2020-07-07 02:47

Spark（二）部署方式

第一篇中，我们启动了Spark，有没有发现我们启动了三个节点，一个是Sparkmaster节点，另外两个是slaves节点。这其实就是用的Spark自带的standalone模式启动的。
刘二郎·2020-07-06 17:47

Spark精选面试题三（Spark core面试篇01-03）

SparkCore面试篇011、Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
俊杰梓·2020-07-06 01:34

Spark实战（4）_Master原理剖析与源码分析

SparkMaster主备切换可以基于两种机制，一种是基于文件系统的，一种是基于ZooKeeper的，基于文件系统的主备切换机制，需要在ActiveMaster挂掉之后，手动去切换到StandbyMaster
padluo·2020-07-05 22:41

PySpark实际应用踩坑

PySpark实际应用踩坑PySpark踩坑记录1.spark-cassandra-connector2.配置sparkmaster和worker节点的python环境3.PySpark操作Cassandra4
VinLSJ2020·2020-07-04 17:04

Hadoop和Spark修改shh端口以及web监控端口

如：exportHADOOP_SSH_OPTS="-p18921"spark在spark-env.sh添加exportSPARK_SSH_OPTS="-p37294"ps:sparkmaster默认web
le119126·2020-07-04 00:43

spark-sql部署实现与Hive交互

spark-sql部署版本Hadoop-2.5.0-cdh5.3.2Hive-0.13.1-cdh5.3.2Spark-1.5.1以CNSH001节点为例sparkmaster在CNSH001上：spark
developerinit·2020-06-23 03:52

Spark面试题修改版本

1-40一、简答题Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
MagicStarts·2020-06-22 01:13

Spark Job运行（下）

SparkJob执行流程大体如下：用户提交Job后会生成SparkContext对象，SparkContext向ClusterManager（在Standalone模式下是SparkMaster）申请Executor
雨果等夏天·2020-03-30 01:25

spark题01

1.Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
博弈史密斯·2020-03-06 13:30

搭建Spark集群？没想到你是这样的k8s

你将使用Sparkstandalone模式安装一个Sparkmaster服务和一组Sparkworkers。对于已熟悉这部分内容的读者，可以直接跳到tl;dr章节。
Tenxcloud·2020-02-21 06:40

Spark注意事项

spark快速入门要让spark在集群模式下运行，需要正确设置spark-submit--masterspark://master_hostname:7077注意master默认要用sparkmaster
wumingkeqi·2020-02-09 15:15

Standalone&&Yarn

Standalone运行方式–masterspark://sparkmaster:7077采用Spark自带的资源管理器进行集群资源管理//standalone运行，指定--masterspark://
丹之·2020-02-01 03:23

spark master和spark worker挂掉application恢复问题

首先分5中情况：1，sparkmaster进程挂掉了2，sparkmaster在执行中挂掉了3，sparkworker提交任务前全部挂掉了4，sparkworker在执行application过程中挂掉了
HxLiang·2019-12-15 08:35

spark面试题

一、简答题1.Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
summer2381·2019-09-19 23:19

在Docker上一键部署你的Spark计算平台

Spark相关知识点：Spark集群安装及配置；Sparkmaster及worker启动与协
姜文奇·2019-04-08 13:52

Spark Web UI 监控

localhost:8080即可访问master的监控界面，此端口号默认是8080，若此端口不可用，也可通过修改配置文件conf/spark-env.sh进行修改如上图所示，此页面自上而下包括：spark版本信息，sparkmaster
zhangvalue·2018-11-22 20:36

Cannot assign requested address: Service 'sparkMaster' failed after 16 retries (starting from 7077)!

bin-hadoop2.7安装完成在启动时出现：“Exceptioninthread“main”java.net.BindException:Cannotassignrequestedaddress:Service‘sparkMaster
chenxb1986·2018-11-20 10:05

Spark面试题、答案

一、简答题1.Sparkmaster使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？
Ethan130·2018-11-03 20:31

Exception in thread "main" java.net.BindException: 无法指定被请求的地址: Service 'sparkMaster' failed 错误处理

1、搭建Spark的HA环境时报如下错误SparkCommand:/root/training/jdk1.8.0_144/bin/java-cp/root/training/spark-2.1.0-bin-hadoop2.7/conf/:/root/training/spark-2.1.0-bin-hadoop2.7/jars/*-Xmx1gorg.apache.spark.deploy.mast
奶茶多冰三分糖·2018-05-13 13:47
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他