pySpark 从0搭建（ubuntu16.04）

1，下载

spark-2.3.0-bin-hadoop2.7

hadoop-2.8.1/

2，配置

export JAVA_HOME=/usr/jdk1.8.0_171

export HADOOP_CONF_DIR=/usr/hadoop-2.8.1/etc/hadoop

export SPARK_HOME=/usr/spark-2.3.0-bin-hadoop2.7

#export SPARK_LOCAL_IP=192.168.0.104

#export SPARK_MASTER_IP=192.168.0.104

export SPARK_MASTER_IP=192.168.0.104

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_MEMORY=1G    #内存设置根据自身调整，可以100m

export SPARK_WORKER_INSTANCES=1

export SPARK_LOCAL_IP=192.168.0.104

3, 重要

vim /etc/hostname

vim /etc/hosts

查看本地地址：

127.0.1.1 绑定的端口，是外部访问不到的。

修改成0.0.0.0

4，测试

spark-shell

start-all.sh