spark的原理和部署（二）on yarn

关于spark的集群有三种部署模式， mesos  yarn  standalone，对应着三种不同的资源管理方式，因为前段时间搭建了hadoop集群，所以先来了解下 on yarn的集群部署方式。

首先启动集群start-all.sh

测试：本地运行spark-shell程序：

wh@master:/usr/local/spark/bin$ spark-shell --master local[2]

##读取HDFS文件，其中 master:9000为hadoop集群搭建时定义的文件系统端口 core-site.xml中设置

scala> val textFile=sc.textFile("hdfs://master:9000/user/wh/hdfs_in/pg20417.txt")textFile: org.apache.spark.rdd.RDD[String] = hdfs://master:9000/user/wh/hdfs_in/pg20417.txt MapPartitionsRDD[7] at textFile at :24scala> textFile.countres3: Long = 12760

####读取本地文件，

scala> val textFile=sc.textFile("file:/usr/local/spark/README.md")textFile: org.apache.spark.rdd.RDD[String] = file:/usr/local/spark/README.md MapPartitionsRDD[1] at textFile at :24

scala> textFile.countres0: Long = 103

##############注意hdfs://master:9000 和file：的区别

余下的参考：http://dblab.xmu.edu.cn/blog/1187-2/     完全搞定，这就算是部署结束了。

http://dblab.xmu.edu.cn/blog/1217-2/   这个博客主要讲的是 standalone  和 on yarn两种模式的区别，

两种模式都在读取hdfs文件，区别在于启动spark的时候一个是：spark-shell  --master   sspark://master:7077(主节点)

一个是spark-shell --master yarn。

此外运行spark分两种，一种是运行jar包，另一种是交互式。下一篇博客再说吧，除此之外再记录一下RDD。