在linux上搭建spark环境

1、安装jdk

a. 在root用户下 进入 /usr 文件目录下
b. 创建java文件夹
mkdir java
c. 拷贝jdk文件压缩包到 /usr/java/ 路径下
cp /mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz /usr/java/
d. 解压压缩包
tar -zxvf jdk-8u60-linux-x64.tar.gz
f. 可以为他设置一个链接（可以不用，最好不用没试过，黏贴别人的）
ln -s /usr/java/jdk1.8.0_60/ /usr/jdk
e. 设置环境变量

vim /etc/profile

//在最底部添加一下代码并保存
JAVA_HOME=/usr/java/jdk1.8.0_60
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH


//执行该命令或者重启计算机
source /etc/profile

2、安装scala

a. 将scala安装包移动需要安装的 /usr/scala 目录下
mv scala-2.11.8.tgz /usr/scala
b.安装scala 执行如下命令

 chmod 755 scala-2.11.8.tgz
 tar -xzvf scala-2.11.8.tgz  

c. 配置环境

vim /etc/profile

//在最底部添加一下代码并保存
#set scala 
export SCALA_HOME=/usr/scala /scala-2.11.8
export PATH = $SCALA_HOME/bin

//执行该命令或者重启计算机
source /etc/profile

3、安装spark

a. 将spark 安装包移动需要安装的 /u01/spark 目录下
mv spark-1.6.2-bin-hadoop2.6.tgz /u01/spark
b.安装spark执行如下命令

 chmod 755 spark-1.6.2-bin-hadoop2.6.tgz 
 tar -xzvf spark-1.6.2-bin-hadoop2.6.tgz  

c. 配置环境

vim /etc/profile

//在最底部添加一下代码并保存
#set spark
export SPARK_HOME= /u01/spark/spark-1.6.2-bin-hadoop2.6

//执行该命令或者重启计算机
source /etc/profile