win10简单安装spark

win10安装spark

安装步骤分为java, hadoop, scala和 spark四步。

一、Java环境搭建

首先从网站
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下载匹配Windows x64的JDK安装文件。之后按流程一步步安装即可。最后修改系统环境变量。

右键我的电脑—属性—-高级系统设置就会看到下面的界面：

新建JAVA_HOME环境变量，变量值为jdk的安装目录。

将bin目录添加到PATH环境变量，双击或者点编辑都可。

新建%JAVA_HOME%\bin环境变量，最好将其通过上移到最上，避免有其它冲突的java环境变量。

所有变量添加完毕，一路确认后，win+r打开命令行，输入cmd。
输入java -version,看到下面界面，说明已经成功。

二、安装hadoop

安装好JDK之后在
http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common
网站上下载hadoop并解压，我解压到了D盘的根目录下，在D:\hadoop-2.8.5\etc\hadoop找到下面4个文件并进行以下修改：

打开D:\hadoop-2.8.5\etc\hadoop\core-site.xml将以下部分复制到configuration中：

<configuration>
 
        <property>
 
                <name>fs.defaultFS</name>
 
                <value>hdfs://localhost:9000</value>
 
        </property>
 
 
</configuration>

打开D:\hadoop-2.8.5\etc\hadoop\mapred-site.xml将以下部分复制到configuration中：

<configuration>
 
        <property>
 
                <name>mapreduce.framework.name</name>
 
                <value>yarn</value>
 
        </property>
 
 
</configuration>

打开D:\hadoop-2.8.5\etc\hadoop\yarn-site.xml将以下部分复制到configuration中：

<configuration>
 
 
<!-- Site specific YARN configuration properties -->
 
        <property>
 
                <name>yarn.nodemanager.aux-services</name>
 
                <value>mapreduce_shuffle</value>
 
        </property>
 
 
<property>
 
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
 
                <value>org.apache.hahoop.mapred.ShuffleHandler</value>
 
        </property>
 
</configuration>

打开D:\hadoop-2.8.5\etc\hadoop\hdfs-site.xml 将以下部分复制到configuration中：

<configuration>
 
    <property>
 
        <name>dfs.replication</name>
 
        <value>1</value>
 
    </property>
 
    <property>    
 
        <name>dfs.namenode.name.dir</name>    
 
        <value>file:/hadoop/data/dfs/namenode</value>    
 
    </property>    
 
    <property>    
 
        <name>dfs.datanode.data.dir</name>    
 
        <value>file:/hadoop/data/dfs/datanode</value>  
 
    </property>
 
</configuration>

之后修改系统的环境变量，把D:\hadoop-2.8.5\bin;D:\hadoop-2.8.5\sbin加入到环境变量中，并新建变量HADOOP_HOME，其变量值为：D:\hadoop-2.8.5\bin。
此时hadoop安装成功。

打开cmd进入hadoop安装路径并输入以下命令：
D:>cd D:\hadoop-2.8.5\bin
D:\hadoop-2.8.5\bin>hadoop namenode -format

之后进入sbin路径下键入如下命令：
start-all.cmd

此时会弹出四个新的cmd窗口：
在浏览器中输入：http://localhost:8088/cluster可以看到YARN界面：

关闭就使用命令：
stop-all.cmd

三、安装spark

首先登陆
http://spark.apache.org/downloads.html
下载符合本机Hadoop和JDK版本的Spark安装包，我的Hadoop版本是2.8.5因此下载了2.4.6版本的Spark。（spark-2.4.6-bin-hadoop2.7）

下载完成后进行解压在D盘的根目录下，设置环境变量。
首先新建一个环境变量SPARK_HOME，变量名是安装的路径：

之后在Path中添加一个路径即可：

四、安装scala

进入网站
https://www.scala-lang.org/download
下载Scala的安装包：（scala-2.13.3.msi）

安装过程中没有任何需要更改的地方，只需要摁Next即可。我在中间修改了一下安装位置，因为C盘放不下了。最后安装完毕后会自动新建环境变量。

打开cmd输入scala如果看到如下标识则安装成功。

最后打开cmd键入spark-shell出现以下标识则是安装成功：

小插曲：2022年2月17日，此博客被爬虫抄袭了，并且他人还把抄袭的内容设置为付费才能看，现在通过客服已经删除了抄袭者博客，我打开那人博客，几百篇博客全部都是抄袭的，访问量很高，但评论只有3条，只能希望CSDN官方把控下博客质量，这种人的博客居然敢收费？？？

有用请点个赞！！
本站所有文章均为原创，欢迎转载，请注明文章出处：https://blog.csdn.net/weixin_45092662。百度和各类采集站皆不可信，搜索请谨慎鉴别。技术类文章一般都有时效性，本人习惯不定期对自己的博文进行修正和更新，因此请访问出处以查看本文的最新版本。