【Spark109】Windows上运行spark-shell

如何在Windows上运行spark-shell

 

1. 下载winutils.exe,加入放置到d:/software/Hadoop/bin/winutils.exe目录下,注意,winutils.exe文件的上级目录一定是bin

2. 开启一个windows命令行窗口,在d:/software/Hadoop/bin目录下执行winutils.exe chmod 777 D:\tmp\hive

3. 打开一个windows命令行窗口,cd到解压的Spark的目录下,比如d:/software/spark-1.6.2/bin/执行如下命令

set HADOOP_HOME=d:/software/Hadoop

 

然后执行spark-shell,此时spark-shell正常启动,进入scala>命令行

 

在scala>提示符下输入

 sc.parallelize(List(1,2,3)).reduce(_+_)

 

 会提交spark任务,得到结果6

你可能感兴趣的:(Spark)