CentOS7 从零搭建Spark 2.0 单机环境

  • 序言
  • 配置网络环境
  • 更新安装基础软件
  • 安装Spark 20
  • 单机模式下运行

序言

预先以Minimal方式在VMVare虚拟机内安装 CentOS7。

配置网络环境

  1. 获得网络配置信息。VMWare: 编辑->虚拟网络编辑器->VMnet信息->NAT 设置。 记下 子网IP, 子网掩码,网管IP信息。
    CentOS7 从零搭建Spark 2.0 单机环境_第1张图片
  2. 编辑CentOS网络配置文件。

    vm /etc/sysconfig/network-scripts/ifcfg-eno16777736

    CentOS7 从零搭建Spark 2.0 单机环境_第2张图片
  3. 移除rule 文件
    shell
    rm /etc/udev/rules.d/70-persistent-net.rules
  4. 修改主机名

    hostname hangzhi
    vi /etc/hostname #替换localhost.localdomian 为hangzhi
    vi /etc/hosts #替换localhost.localdomian 为hangzhi
  5. 重启虚拟机

    reboot

更新/安装基础软件

  1. 更新yum.

    yum upgrade
  2. Install tools

    yum install weget

安装Spark 2.0

  1. 安装配置OpenSDK

    • 安装Java

      sudo yum install java-1.8.0-openjdk-devel.x86_64
      
    • 配置环境变量

    vim /etc/profile
    
    #在文件末尾位置加入以下代码
    
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64 #路径可能因jdk版本不同而有所差异
    export JRE_HOME=$JAVA_HOME/jre
    export PATH=$PATH:$JAVA_HOME/bin#注意冒号
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    • 载入环境变量配置
    source /etc/profile
  2. 安装配置scala

    • 下载并解压scala 2.11.8

      http://www.scala-lang.org/files/archive/scala-2.11.8.tgz
      
      tar -zxf scala-2.11.8.tgz
      
      mv scala-2.11.8 /usr/lib
    • 配置环境变量

    vim /etc/profile
    
    # 在文件末尾位置加入以下代码
    
    export SCALA_HOME=/usr/lib/scala-2.11.8
    export PATH=$PATH:$SCALA_HOME/bin
    
    • 载入环境变量配置
    source /etc/profile
  3. 下载并配置 spark 2.0

    • 下载Spark 2.0
    cd ~
    wget  http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
    
    tar -zxf spark-2.0.0-bin-hadoop2.7.tgz
    • 配置环境变量
        vim /etc/profile
        # 在文件末尾位置加入以下代码
        export SPARK_HOME=$HOME/spark-2.0.0-bin-hadoop2.7

    单机模式下运行

     cd $SPARK_HOME
     ./bin/run-example SparkPi
    

CentOS7 从零搭建Spark 2.0 单机环境_第3张图片

引用:
http://www.scala-lang.org/
http://spark.apache.org/
http://www.tuicool.com/articles/Vza63m
http://shiyanjun.cn/archives/696.html

你可能感兴趣的:(CentOS,Spark)