Spark学习阶段总结

学习Spark一段时间后,实际上是有些困惑的
如果说只针对数据操作的话,大部分算子都用过了,学习的成本并不高,因为之前是做Android开发的,所以感觉api方面好少,没有那么多东西需要掌握。但是实际上自己很清楚自己的水平,但是后续如何提升大概有几点想法。
1.相关的配置和使用,spark里面有大量的属性配置,好的配置可以提高运行效率。
2.spark里要完成同一件事,可以使用不同的算子组合都可以达到,但是从效率方面考虑的话,就需要根据情况选择合适的算子了,可以从这方面总结更多的经验。
3.算法,策略,使用spark解决现实问题的例子。
4.源码,通过学习spark框架源码加深spark的理解。

你可能感兴趣的:(个人随感,大数据)