Spark 学习(二)

继续学习spark

认真查看了一下${SPARK_HOME}/bin/pyspark 的脚本，原来开启spark 的python 交互挺简单的。

主要操作

export PYTHONPATH=${SPARK_HOME}/python/:${SPARK_HOME}/python/lib/py4j-0.8.1-src.zip;
export PYTHONSTARTUP=${SPARK_HOME}/python/pyspark/shell.py;
python;

变量 PYTHONPATH，是指定它的lib 库的路径，参考web:http://www.afewords.com/blog/50191534372517299a00000b

至于变量 PYTHONSTARTUP 的作用，网上查找了一下（web:http://www.verydemo.com/demo_c122_i27237.html）

使用 Python 解释器的时候，我们可能需要在每次解释器启动时执行一些命令。你可以在一个文件中包含你想要执行的命令，设定一个名为 PYTHONSTARTUP 的环境变量来指定这个文件。这类似于 Unix shell 的.profile 文件。

后续要学习spark 的python 驱动，就可以跟着shell.py 的程序来学习。