Spark出现java.lang.stackoverflowerror的解决方法

正在测试的程序需要多次迭代（400+次），每次迭代有复杂的运算

迭代到100多次的时候报java.lang.stackoverflowerror的错误

解决方法：先checkpoint()再count()，切断rdd的lineage，防止因为DAG过深出现栈溢出

 

转载于:https://www.cnblogs.com/luzy/p/3809365.html