spark是什么？spark和MapReduce的区别？spark为什么比hive速度快？

spark是什么？

spark是针对于大规模数据处理的统一分析引擎，通俗点说就是基于内存计算的框架

spark和hive的区别？

1.spark的job输出结果可保存在内存中，而MapReduce的job输出结果只能保存在磁盘中，io读取速度要比内存中慢；

2.spark以线程方式运行，MapReduce以进程的方式运行，进程要比线程耗费时间和资源；

3.spark提供了更为丰富的算子操作；

4.spark提供了更容易的api,支持python,java,scala;

spark为什么比hive速度快？

1.spark底层不需要调用MapReduce，而hive底层调用的是MapReduce；

2.spark基于内存计算，而hive基于磁盘计算，内存的读取速度远超过磁盘读取速度；

3.spark以线程方式进行运行，而hive以进程方式运行，一个进程中可以跑多个线程，进程要比线程耗费资源和时间；