hadoop组件---spark实战----spark on k8s模式k8s原生方式spark2.4.4在python程序中通过conf创建sparkSession

我们在之前的文章中已经尝试了使用spark on k8s。

hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序和运行pyspark

不过 使用的方式 是spark-submit 或者 pyspark 来启动 spark on k8s。

但是 一般 我们进行业务编程，都会 有其他的处理逻辑， 然后在 处理逻辑的一部分 才会调用 spark进行处理。

也就是说 我们需要在 程序内部去调用spark，而不是 在外部 通过shell等命令来提交。

如果我们使用的是 python，则需要在python程序中能够通过conf来创建sparkSession来使用。

本篇文章来记录 如何在 python程序中 配置conf连接 spark on k8s创建sparkSession来调用。

运行python的程序 需要与spark on k8s有很好的连通性，所以我们还是使用client 模式，使用k8s中的一个pod作为driver进行提交。

那么 我们还是在之前文章 的基础上进行 后续步骤。

详情参考

hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode和使用

使用命令进入pod

kubec