Spark学习-3 运行一个example

阅读更多

开始学习Spark了，先看看Spark能做点什么吧。

最好的方式就是先运行个例子程序。先从Spark网站下载一个运行环境(我的运行环境是Win7, 64bits) 。

我们在官方网站: http://spark.apache.org/downloads.html下载一个版本：
我选 Spark 1.0 + Prebuild for Hadoop 2.3, Link为
http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop2.3.tgz

下载解压后，进入到bin目录,运行 run-example.cmd SparkPi 10, 你就可以看到运行的结果了。

你可能会遇到以下这个问题:
===> 说null/bin/winutils.exe找不到，这是因为Spark引用Hadoop的包，而Hadoop需要检查这个文件。所以解决这个最简单方式是设置 HADOOP_HOME指向你Spark的根目录,然后把winutils.exe拷到bin目录。如果没有winutils.exe,你可以到网上搜下。
  a. 你可以 SET HADOOP_HOME=D:\Java\spark\spark-1.1.0-bin-hadoop2.3 (需要将这个路径改成你的实际路径.
  然后再运行命令就可以了。
  b. 或者修改bin/*.cmd文件，把下面这句加进去就可以了
     SET HADOOP_HOME=%~dp0..
    这句就是说设置HADOOP_HOME的路径为 bin的父目录。