spark 多线程删数据库数据_大规模数据处理实战--Spark
为什么需要Spark
MapReduce的缺点
1.抽象层次太低，大量底层逻辑需要开发者手工完成
2.只有map和reduce两个操作
3.每一个job的计算结果都会存储在HDFS中，所以每一步计算成本很高
4.只支持批处理，却反对流数据处理的支持
Spark支持各种丰富的操作，而且速度远超MapReduce
下图是Spark和Hadoop上运行逻辑回归算法的运行时间对比
在任务(task)级别上，Spark是多线程模型，MapReduce是多进程模型
Spark并不是完全替代Hadoop，因为Hadoop还包含了很多组件：
数据存储层：分布式文件存储系统HDFS，分布式数据库存储HBase
数据处理层：进行数据处理的MapReduce，负责集群和资源管理的YARN
数据访问层：Hive，Pig，Mahout
Spark生态圈如下
Spark有5个主要扩展库
1.支持结构化数据的Spark SQL
2.处理实时数据的Spark Streaming
3.用于机器学习的MLlib
4.用于图计算的GraphX
5.用于统计分析的SparkR
RDD
弹性分布式数据集Reilient Distributed Dataset
RDD是逻辑上的一个大数组，数组中的每个元素代表一个分区Partition，可以被存储在内存或者磁盘中
这些分区是独立的，可以被放在不同节点上
RDD中的每个分区存有在该RDD中的index，通过RDD的ID和分区的index可以唯一确定对应的数据块的编号，从而通过底层存储层的接口提取到数据进行处理
RDD具有不可变性，只能对现有的RDD进行转换Transformation操作，得到新的RDD
RDD的分区和不可变性使得它支持并行操作
RDD的结构
SparkConf提供了一些参数配置信息
SparkContext是所有Spark功能的入口，它代表了与Spark节点的连接，可以用来创建RDD对象以及在节点中的广播变量等
Partitions代表RDD中的数据逻辑结构，每个Partition会映射到某个节点内存或者硬盘的一个数据块，目前两个主流的分区方式Hahs分区和Range分区
Dependencis是依赖关系，包括宽依赖 或者窄依赖
Checkpoint，跟关系型数据库类似，某个RDD的依赖关系复杂计算时间长，加入检查点后，就删除之前的依赖关系加速恢复过程
存储级别Storage Level用来记录RDD持久化的存储级别
迭代函数Iterator和计算函数Compute是用来标示RDD怎样通过父RDD计算得到的
迭代函数首先会判断缓存中是否有要计算的RDD，如果有就直接读取，没有就查找想要计算的RDD是否被检查点处理过，如果有就读取没有就调用计算函数向上递归查找父RDD进行计算
RDD的转换操作
操作分为两种，转换Transformation ，动作Action
转换是把一个RDD转换成另一个RDD，动作是通过计算返回一个结果
转换的操作包括：
map，filter，mapPartitions，groupByKey
动作的操作包括：
collect，reduce，count，countByKey
RDD的持久化
Spark的persist()，cache()函数支持将RDD的数据缓存到内存或者磁盘上
当下一次对同一个RDD进行Action操作时，可以直接读取RDD的结果
存储级别
MEMORY_ONLY:只缓存在内存中，如果内存空间不够则不缓存多出来的部分，这是RDD的默认存储级别
MEMORY_AND_DISK:存储在内存中，如果空间不够则缓存在硬盘中
DISK_ONLY：只缓存在硬盘中
MEMORY_ONLY_2和MEMORY_AND_DISK_2，和上面的级别功能相同，只不过每个分区再集群中的两个几点上建立副本
依赖关系
包括宽依赖Wide Dependency，窄依赖 Narrow Dependency
窄依赖是父RDD的分区可以一一对应到子RDD的分区
宽依赖是父RDD的每个分区可以被多个子RDD的分区使用
窄依赖允许子RDD的每个分区可以被并行处理产生，而宽依赖必须等待父RDD的所有分区都被计算好之后才能开始处理
map，filter会产生窄依赖关系
join，groupBy会产生宽依赖关系
Spark之所以有宽窄依赖是出于以下两点考虑
窄依赖可以支持在同一个节点上链式执行多条命令，如在执行了map后，紧接着执行filter，反之宽依赖需要所有父分区都是可用的，可能还需要调用类似MapReduce之类的操作进行跨节点传递
从失败恢复的角度考虑，窄依赖的失败恢复更有效，因为它只需要重新计算丢失的父分区即可，而宽依赖牵扯到RDD各级的多个分区
标签：实战,存储,依赖,分区,RDD,缓存,数据处理,Spark
来源： https://blog.csdn.net/hixiaoxiaoniao/article/details/90703150