spark的原理和部署(二)on yarn

关于spark的集群有三种部署模式, mesos  yarn  standalone,对应着三种不同的资源管理方式,因为前段时间搭建了hadoop集群,所以先来了解下 on yarn的集群部署方式。

首先启动集群start-all.sh
spark的原理和部署(二)on yarn_第1张图片
测试:本地运行spark-shell程序:
wh@master:/usr/local/spark/bin$ spark-shell --master local[2]
 
  
##读取HDFS文件,其中 master:9000为hadoop集群搭建时定义的文件系统端口 core-site.xml中设置
scala> val textFile=sc.textFile("hdfs://master:9000/user/wh/hdfs_in/pg20417.txt")textFile: org.apache.spark.rdd.RDD[String] = hdfs://master:9000/user/wh/hdfs_in/pg20417.txt MapPartitionsRDD[7] at textFile at :24scala> textFile.countres3: Long = 12760
####读取本地文件,
scala> val textFile=sc.textFile("file:/usr/local/spark/README.md")textFile: org.apache.spark.rdd.RDD[String] = file:/usr/local/spark/README.md MapPartitionsRDD[1] at textFile at :24
scala> textFile.countres0: Long = 103
##############注意hdfs://master:9000 和file:的区别

余下的参考:http://dblab.xmu.edu.cn/blog/1187-2/     完全搞定,这就算是部署结束了。
http://dblab.xmu.edu.cn/blog/1217-2/   这个博客主要讲的是 standalone  和 on yarn两种模式的区别,
两种模式都在读取hdfs文件,区别在于启动spark的时候一个是:spark-shell  --master   sspark://master:7077(主节点)
一个是spark-shell --master yarn。


spark的原理和部署(二)on yarn_第2张图片
此外运行spark分两种,一种是运行jar包,另一种是交互式。下一篇博客再说吧,除此之外再记录一下RDD。

你可能感兴趣的:(spark的原理和部署(二)on yarn)