Spark基础 之 Spark的介绍

一、 什么是Spark?

Spark是一个分布式计算框架,是由Scala语言编写完成的,是apache基金会下的顶级开源项目 ,和Mapresuce的作用一样,可以完成对数据的计算。

Spark与MapReduce的区别:

1、Spark是基于内存计算的,会将中间结果存放在内存,方便后续计算的使用,而MR会将中间结果存储在磁盘中。

2、内存数据的读写速度要比磁盘快很多,所以Spark的计算速度比MR快。

3、Spark的计算任务是由线程完成的。MR的计算任务是由进程完成的。线程切换计算任务的速度比进程切换计算任务速度快。

二、 Spark的特点

Spark基础 之 Spark的介绍_第1张图片

三、Spark的架构

Spark基础 之 Spark的介绍_第2张图片

Spark基础 之 Spark的介绍_第3张图片

技术人是用代码编织世界的工程师,用0和1构筑起这个高效而便捷的世界,让科技绽放出向善而动人的力量!一行行代码创造出更加智能而美好的生活,便捷通话视频、移动支付、在线会议、智慧医疗……创造了无数种可能!

 2¹⁰=1024,这个程序员最熟悉的“整数”让10月24日的这一天成为技术人的专属节日——程序员节。今天1024程序员节,致敬每一位在平凡岗位上创造不平凡的程序员!

致敬改变世界的英雄 祝大家程序员节快乐!

致敬改变世界的英雄!

最近开始学习Spark啦,木易巷要加油成为大大白!

持续更新中.........

你可能感兴趣的:(Spark,spark,大数据,分布式,1024程序员节)