打包CDH6.3.2版本的pyspark到conda中进行日常开发

注意关于CDH6.3.2源码打包相关博客请看以下链接
https://editor.csdn.net/md/?articleId=128264205

关于支持python3只需要安装anaconda3.5.2
https://blog.csdn.net/u012228523/article/details/128268318

1、pyspark的python版本需要在3.7.x以上版本
执行执行以下命令安装

cd /opt/softwear/spark-3.3.1/python

python3 setup.py sdist bdist_wheel || true

打包完成，文件在
/opt/softwear/spark-3.3.1/python/dist

2、将文件下载到本地安装到本地conda中进行日常开发
执行命令

conda create -n spark_env python=3.7.2

conda activate spark_env

pip install /Users/admin/Documents/softwares/pyspark-3.3.1-py2.py3-none-any.whl

安装完成可以再仓库中看到