spark web ui中skipped的含义

如图:

skipped

skipped的stages代表是已经执行过,因此不需要再次执行。

举个栗子,你有一个testRdd,先做testRdd.filter(bool).map(x=>x),这个是transform,然后再分别做count和reduce操作。这两个都是action,第一次执行action操作时会执行transform,然后执行第二个action时,transform就会进行skipped。

你可能感兴趣的:(spark web ui中skipped的含义)