Spark单节点多应用启动失败

单节点多应用：指在单个节点上，运行了多个应用程序（driver）—— 包含client或cluster模式。
1. 问题：在同一个节点启动多个应用 时，报java.net.BindException：地址已在使用，报错信息如下：

2. 原因：driver会启动一个jetty server，此时会绑定一个driver上的默认端口（4040），如果driver所在节点已经启动了一个应用的话，则该端口绑定会失败。
3. 解决方法：查看代码 – SparkUI.scala

def getUIPort(conf: SparkConf): Int = {
  conf.getInt("spark.ui.port", SparkUI.DEFAULT_PORT)
}

根据修改对应配置即可，修改方法：通过在提交时，添加：–conf “spark.ui.port”=4041 即可。通过指定配置文件等方式也可以修改。
如果port的值为0，系统就会随机选取一个端口号
—— 参考：java.net. ServerSocket ：ServerSocket对象的绑定端口为0，getLocalPort方法返回一个随机的端口（这类端口被称为匿名端口）。