关于在windows平台下使用ipython运行pyspark的问题

最近读了一本书 ,在第三章中讲到用增强的交互式ipython运行pyspark,也就是用如下命令:

                                                    > IPYTHON=1 IPYTHON_OPTS="--pylab" ./bin/pyspark

本人在windows平台下的shell中跑spark,上述命令运行失败。查阅了多个文献,大都是讲在linux平台下的ipython配置来运行 pyspark。在 spark的conf目录下配置也不起作用,这下犯难了!!!


假设您已经安装了 python及相关的库,下面是解决办法:

在spark配置文件中,%SPARK_HOME%/bin目录下有pypspark, pyspark.cmd, pyspark2.cmd三个文件,第一个是.sh文件(linux),第二、三个windows的脚本文件,其中pyspark2.cmd是主要执行文件,其内容如下:

-------------------------------------------------------------------------------------------------------------------------------------------------------------

set SPARK_HOME=%~dp0..

call %SPARK_HOME%\bin\load-spark-env.cmd
set _SPARK_CMD_USAGE=Usage: bin\pyspark.cmd [options]

rem Figure out which Python to use.
if "x%PYSPARK_DRIVER_PYTHON%"=="x" (
set PYSPARK_DRIVER_PYTHON=python
if not [%PYSPARK_PYTHON%] == [] set PYSPARK_DRIVER_PYTHON=%PYSPARK_PYTHON%
)

set PYTHONPATH=%SPARK_HOME%\python;%PYTHONPATH%
set PYTHONPATH=%SPARK_HOME%\python\lib\py4j-0.8.2.1-src.zip;%PYTHONPATH%

set OLD_PYTHONSTARTUP=%PYTHONSTARTUP%
set PYTHONSTARTUP=%SPARK_HOME%\python\pyspark\shell.py

call %SPARK_HOME%\bin\spark-submit2.cmd pyspark-shell-main --name "PySparkShell" %*

-------------------------------------------------------------------------------------------------------------------------------------------------------------------

PYSPARK_DRIVER_PYTHON参数是指用什么来运行pyspark,只需要将红色部分改为

                            PYSPARK_DRIVER_PYTHON=ipython

保存后,在运行pyspark,就可以直接用ipython运行pyspark了。

关于在windows平台下使用ipython运行pyspark的问题_第1张图片

你可能感兴趣的:(关于在windows平台下使用ipython运行pyspark的问题)