spark如何配置Python虚拟环境

// 这是创建的虚拟环境
python3 -m venv ../venv/python

方式一

# 在代码中配置环境变量
import os
os.environ["SPARK_HOME"] = "/user/venv/python/bin/python"
os.environ["PYSPARK_PYTHON"] = "/user/venv/python/bin/python"

方式二

# ~/.bashrc 添加环境变量
vim ~/.bashrc
export PYSPARK_PYTHON=/user/venv/python/bin/python       
export PYSPARK_DRIVER_PYTHON=/user/venv/python/bin/python

方式三(好像没有起作用)

# spark-env.sh 添加环境变量
vim spark-env.sh
export PYSPARK_PYTHON=/user/venv/python/bin/python       
export PYSPARK_DRIVER_PYTHON=/user/venv/python/bin/python

有问题或不足的地方,欢迎留言指出

你可能感兴趣的:(spark)