hadoop组件---spark实战----spark on k8s模式k8s原生方式---cluster mode调用运行spark程序

我们在上篇文章中已经记录了 如果 安装spark on k8s模式k8s原生方式—cluster mode。

hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode

本章记录 cluster mode这种方式的spark集群使用方法。

首先注意 提交spark命令需要借助 spark的安装包中的spark-submit命令。

如果没有的话 可以去官网下载

下载官方编译好的包

进入到官网下载地址，选择我们需要的包

备用下载地址 http://mirror.bit.edu.cn/apache/spark/

下载到安装包后解压

tar -xzvf spark-2.4.4-bin-hadoop2.7.tgz

Native 模式简而言之就是将 Driver 和 Executor Pod 化，用户将之前向 YARN 提交 Spark 作业的方式提交给 Kubernetes 的 apiserver，提交命令如下：