Spark RDD的缓存(cache)问题:[实践出真知]
最近用spark时,对于RDD的处理和操作用的较多,也顺便学习了一下关于RDD缓存的知识,我们都明白RDD之间的依赖关系,父RDD和子RDD,子RDD在运行时的数据可以从父RDD计算后得到,当RDD的层级关系较为复杂,有多级关系的时候,我们可以使用缓存RDD的方式,来减少spark程序的计算量.
RDD的cache机制,有利有弊,先说我在项目中遇到的问题,在开发过程中,当子RDD有多个时,而且需要父RDD时,也就是宽依赖,需要对父RDD进行多次计算,这个过程需要消耗很多的资源,于是就把计算出来的父RDD进行cache,后面的计算便可以直接使用而减少了不必要的运算.
RDD的缓存机制,以及清除缓存机制,网上都有很多的资料,讲的也很明白,这里我提一点就是,在对spark做优化时,对于是否应该对RDD进行缓存时,这个需要看你的服务器的内存情况,因为缓存是需要占用内存或者硬盘资源的,当你的内存本就不够时,建议不要盲目的使RDD缓存,不然spark 的那些任务丢失,executor 失败,OOM等问题就容易出现,也是常见的spark优化问题,当然尽量避免这些问题的出现.