阿里云创建E-MapReduce 1 快速开始

注意：请确认您已经完成了必选的准备工作。

通过本教程，用户能够基本了解E-MapReduce中集群、作业和执行计划的作用和使用方法。能够创建一个Spark Pi的作业在集群上运行成功，并最后在控制台页面上看到圆周率Pi的近似计算结果。

1.创建集群

在控制台左侧选择集群，并点击右上创建集群

软件配置

选择最新的EMR产品版本，比如EMR-3.4.1

使用默认软件配置

硬件配置

选择按量付费

若没有安全组，打开新建，并填写安全组名称

选择 Master 4核8G

选择 Core 4核8G， 两台

其他保持默认

基础配置

填写集群名称

选择日志路径保存作业日志，务必开启。在集群对应的地域，创建OSS的Bucket

填写密码

创建集群

2.创建作业

在控制台左侧选择作业，并点击右上创建作业

填写作业名称

选择Spark类型

参数填写，使用如下

--class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory512m --num-executors1--executor-memory1g --executor-cores2/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar10

注意：，这个/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar,需要根据实际集群中的 Spark 版本来修改这个jar包，比如 Spark 是2.1.1的, 那么就是spark-examples_2.11-2.1.1.jar,如果是2.2.0的，那么就是spark-examples_2.11-2.2.0.jar

其他保持默认，创建作业

3.创建执行计划

确认之前创建的集群已经创建成功以后，在列表上的状态显示为空闲

在控制台左侧选择执行计划，并点击右上创建执行计划

创建时选择已有集群，并选择之前创建集群进行关联

将之前创建的作业，加入到运行队列中

填写执行计划名称

默认手动执行

创建执行计划

运行执行计划

在执行计划列表页面，点击立即运行

查看作业日志并确认结果

点击管理，进入管理页面，在下方查看运行记录

点击运行记录的右侧，查看作业列表

点击stdout能够查看到Pi的近似计算结果：3.14xxxx

原文链接