hadoop组件---spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode

目前最新稳定版本2.4.4的官方安装文档

环境准备

1、使用spark2.3以上的spark版本
2、已经在运行的k8s集群版本需要大于1.6

使用命令查询

kubectl version

输出为:

zhangxiaofans-MacBook-Pro:Downloads joe$ kubectl  version
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.2", GitCommit:"456", GitTreeState:"clean", BuildDate:"2018-05-12T04:12:47Z", GoVersion:"go1.9.6", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.9", GitCommit:"123", GitTreeState:"clean", BuildDate:"2019-05-27T15:58:45Z", GoVersion:"go1.10.8", Compiler:"gc", Platform:"linux/amd64"}

3、拥有可以访问k8s集群的kubectl命令控制台
4、执行kubectl命令的用户需要有权限创建编辑和删除pod。
可以使用如下命令进行是否拥有权限的查询

kubectl auth can-i list  pods
kubectl auth can-i create pods
kubectl auth can-i edit pods
kub