Spark的常见问题解析

1.输入这句话可以成功:scala> val lines = sc.textFile("file:///home/hyxy/README.md")

但是输入:scala> lines.count      为什么会报错抛异常呢?
Caused by: java.io.FileNotFoundException: File file:/home/hyxy/README.md does not exist
  at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:611)
  at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:824)
答:1)这是第一个需要注意的地方:因为①属于延迟加载,就是写公式但不读数据;只有进行聚集、聚合等运算的时候才会加载数据,如②这种求总数这种情况 就会加载数据

        2)第二个需要注意的地方:就是要保证集群模式下都有数据,(前提条件是我是用spark On Yarn的方式提交的)然而我只有master有这个README.md文件而其他集群节点没有,所以才会报错,可见RDD的并发执行的,在集群上当worker和需要处理的数据不在一个节点上,他会拉取数据

 

 

 

你可能感兴趣的:(Spark)