Spark学习总结

1.Spark是什么？

    Spark是一个基于内存的快速的用于大规模数据处理的统一分析引擎。

2.Spark有什么特性？

    容错、并行

3.Spark的核心组件有哪些？

    Spark core、Spark SQL、Spark Streaming、Spark MLlib、Spark Graphx

4.Spark的核心数据模型？

    RDD(Resilient Distrubuted Dataset，弹性分布式数据集)是一个抽象的元素集合，包含有数据。

    弹性体现在，RDD的数据默认情况下是存储在内存中的，如果内存中存储不下，spark会自动将RDD中的数据写入到磁盘中。

    分布式体现在，RDD的数据是分区存储的，这样不同分区的数据就可以分布在不同的节点上并行处理。

5.sparkSession.sql("语句")

1. 语句中如果出现判断类型的语句，如 String = Int时，不需要类型转换。
2. as 是可以使用的，跟sql中的作用一样
3. 双引号换行要注意换行符或者空格的使用