ubuntu-16.04.3-server+spark

1、spark软件

mongodb-linux-x86_64-ubuntu1604-3.6.3.tgz
jdk-8u161-linux-x64.tar.gz
scala-2.12.4.tgz
spark-2.3.0-bin-hadoop2.7.tgz

2、配置环境变量

vim ~/.bashrc

# Java Env
export JAVA_HOME=/home/zhang/awin/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

# mongodb env
export MONGODB_HOME=/home/zhang/awin/mongodb-linux-x86_64-ubuntu1604-3.6.3
export PATH=$MONGODB_HOME/bin:$PATH

# scala Env
export SCALA_HOME=/home/zhang/awin/scala-2.12.4
export PATH=$SCALA_HOME/bin:$PATH

# spark Env
export SPARK_HOME=/home/zhang/awin/spark-2.3.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

3、mongodb安装略

4、配置spark

进入spark安装目录conf, 执行命令：
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

在后面加上：

export JAVA_HOME=/home/zhang/awin/jdk1.8.0_161
export SCALA_HOME=/home/zhang/awin/scala-2.12.4

5、启动spark

进入spark安装目录sbin，执行命令：
./start-all.sh

6、验证

浏览器中输入：http://192.168.1.121:8080/jobs

7、java中连接mongo运行spark：

https://docs.mongodb.com/spark-connector/master/java-api/