centos7安装部署Spark单机版 不依赖hadoop

1. 安装JDK，可参考。
2. 前往官网下载压缩包，地址。

   因为自己没有是为了学习，所以可以直接下载推荐的版本。

3. 利用ftp工具将压缩包上传到linux，然后解压。

    sudo tar -zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz 

    

4.  

   修改文件夹的名字，然后将文件夹移动到更容易管理的文件路径中。

    

   mv spark-3.0.0-preview2-bin-hadoop2.7 spark
   mv spark /usr/local

    

5. 配置环境变量。

   1.  

      打开配置文件。

       

      vim /etc/profile

       

   2. 增加spark所在的环境路径。

      export SPARK_HOME=/usr/local/spark
      export PATH=$PATH:$SPARK_HOME/bin

       

   3. source /etc/profile。

6. 配置spark

   1. 复制spark-env.sh.template并修改。

      cp spark-env.sh.template spark-env.sh
      
      vim spark-env.sh
      
      export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
      export SPARK_HOME=/usr/local/spark
      export SPARK_MASTER_IP=10.0.0.133
      #路径为对应你的jdk和spark路径。
      #master对应你本机的ip

       

   2. 复制slaves.template并修改

      1. 注意，本版本的spark已经内置了localhost参数，所以可以不用修改。

   3. source 两个文件，使其生效。

      [root@localhost conf]# source spark-env.sh
      [root@localhost conf]# source slaves
      

       

7. 启动项目

   1. 进入sbin文件夹。

   2. 启动

      ./start-all.sh 
      

      会要求你输入当前用户的密码。

   3. jps会查看到结果。

至此，spark单机版就搭建完成了。其实这里也给出了集群的搭建方案了。但是因为硬件资源有限，就不写了。