spark中Accumulator累加器何时运行

对于Accumulator这种分布式累加计算的变量的使用,有一个重要说明:
从Accumulator中,获取数据,然后进行操作的时候,一定要,一定要,是在有某一个action操作以后
再进行。。。

如果没有action的话,那么整个程序根本不会运行。。

简单的,可以先做一个count(),然后再进行从Accumulator中获取数据。

你可能感兴趣的:(开发总结,spark)