『pyspark』〇：spark的安装、配置和使用
1、PySpark安装配置
操作系统：Ubuntu 18.04, 64位
所需软件：Java 8 +, Python 3.6.5, Scala 2.13.1, spark 2.4.8
安装步骤：
1.1 安装Java 8
sudo apt-get update
sudo apt-get install openjdk-8-jdk # 如果apt-get无法安装，看这里https://blog.csdn.net/weixx3/article/details/94109337
java -version
1.2 安装Scala
wget https://downloads.lightbend.com/scala/2.13.8/scala-2.13.8.tgz
sudo tar xvf scala-2.13.8.tgz
mv scala-2.13.8 scala
配置:
vim /etc/profile
# 文件中加入这两行
SCALA_HOME=/home/zh/scala # 改为自己的scala安装路径，通过pwd查看scala所在路径
PATH=$SCALA_HOME/bin:$PATH
# 让配置文件生效，激活环境变量
source /etc/profile
1.3 安装 py4j
Py4J在驱动程序上用于Python和Java SparkContext对象之间的本地通信，大型数据传输是通过不同的机制执行的。
pip install py4j
1.4 安装 Spark
wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz
tar xvf spark-2.4.8-bin-hadoop2.7.tgz
mv spark-2.4.8-bin-hadoop2.7.tgz spark
如发生wget ERROR 404: Not Found.错误，我们需要手动在浏览器中打开网址，看看能不能访问，如果不能访问，我们可以退回到该下载地址的上一层或者上二层目录，这样说不定就可以访问了（由于版本更新，老版本路径失效）。当确定可以访问后，我们就可以直接用wget下载了。
配置:
vim /etc/profile
# 文件中加入这两行
SPARK_HOME=/home/zh/spark # 改为自己的spark安装路径，通过pwd查看spark所在路径
PATH=$SPARK_HOME/bin:$PATH
source /etc/profile
安装过程中没有截图，如果每个步骤都没有报错，应该就不会有问题，如有报错，可以根据报错信息查找解决方法，一般都是些小问题，肯定都能找到。
1.5 启动pyspark
命令行运行pyspark，输出界面如下：
验证Spark是否正常运行：
cd ./spark
./bin/run-example SparkPi 10
运行之后，输出结果太多，我们还需要配置下环境，降低log4j.properties中log4j记录器的详细级别
cp conf/log4j.properties.template conf/log4j.properties
vim conf/log4j.properties
打开文件 ‘log4j.properties’ 后，作如下修改：
log4j.rootCategory=INFO, console
替换为
log4j.rootCategory=ERROR, console
再次运行
./bin/run-example SparkPi 10
可以查看到输出结果：
2、使用PySpark
2.1 命令行
进入spark环境，直接使用：
from pyspark import SparkContext
from pyspark import SparkConf
data = list(range(1,1000))
rdd = sc.parallelize(data)
rdd.collect()
在命令行中写pyspark有点麻烦，我们是不是也能像python一样在jupyter中写pyspark，当然可以。
2.2 jupyter
在jupyter中使用pyspark有两种方式：
（1）修改环境变量
更新PySpark驱动程序环境变量：将下面两行添加到~/.bashrc文件中
配置如下:
vim /etc/profile
# 文件中加入这两行
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
source /etc/profile
重新启动终端，再次进入PySpark：
将网址复制到浏览器中即可使用jupyter：
（2）使用findSpark
在Jupyter Notebook中使用PySpark还有另一种更通用的方法：使用findSpark包在代码中提供Spark Context。
findSpark包不是特定于Jupyter Notebook，你也可以在你喜欢的IDE中使用这个技巧。使用前要先安装findspark：
pip install findspark
然后就可以使用jupyter notebook。
（3）pycharm使用pyspark
PyCharm 安装配置 Pyspark环境