Spark--java.util.NoSuchElementException: None.get at at

有时候在编写Spark代码的时候本地调试通过但是提交到集群后无法运行,报如下错误:

java.util.NoSuchElementException: None.get at at .......

出现原因

出现这种报错的原因是Scala中null或None的错误使用;或是对空值没有做任何处理时可能会
任何语言都有一种方式来表示“空”,java中使用null来表示,在Scala中用None来表示!

None

Scala鼓励我们在变量和函数返回值不会引用任何值的时候来使用Option类型。在没有返回值时使用None,有返回值时使用Some来包含这个值。None和Some都是Option的一个子类。
None被声明为一个对象(Object),不是一个Class,因为我们只需要一个None的实例来表示空即可,类似于Java中的null,但是scala中的None是个有方法的对象。

例子

Option类型的值通常作为Scala集合类型(List,Map等)操作的返回类型。比如Map的get方法:

val capitals = Map("France"->"Paris", "Japan"->"Tokyo", "China"->"Beijing")
capitals get "France"
      ---> Option[String] = Some(Paris)
capitals get "North Pole"
      ---> Option[String] = None

当程序传回Some时,代表成功返回了一个String,并且可以通过get()方法来得到值;如果返回None,这个时候还要get()的话就会出现'NoSuchElementException'。

我们也可以选用另外一个方法,getOrElse。这个方法在这个Option是Some的实例时返回对应的值,而在是None的实例时返回传入的参数。换句话说,传入getOrElse的参数实际上是默认返回值。

你可能感兴趣的:(Spark--java.util.NoSuchElementException: None.get at at)