初窥Spark

Hadoop

一、HDFS —— 分布式文件系统

初窥Spark_第1张图片

二、MapReduce —— 分布式计算系统

初窥Spark_第2张图片

h:1

h;1

h:<1,1>

h :2

初窥Spark_第3张图片


这里写图片描述

三、Yarn —— 资源调度系统

Resource Manager 和 NodeManager

初窥Spark_第4张图片

Spark

一、spark集群结构

RDD —— 弹性分布式数据集

rdd = sc.parallelize([1,2,3,4,5,6])
 
rdd.collect()
 
-->  [1,2,3,4,5,6]

    rows = sc.textFile('/user/hadoop/hello.txt')
 
    rows = sc.textFile('/user/hadoop/*')

RDD的计算方式(俩类算子):

1. 变换(Transformations):
特点: 懒执行,变换只是一些指令集并不会去马上执行,需要等到有Actions操作的时候才会真正的据算结果
比如: map()    flatMap()    groupByKey    reduceByKey

2. 操作(Actions):

特点: 立即执行

比如: count()    take()    collect()   top()    first()
content = sc.parallelize([1,2,3,4])
content.persist()


content.is_cached

content.unpersist()

StorageLevel.MEMORY_AND_DISK
StorageLevel.MEMORY
StorageLevel.DISK


rdd的持久化算子有三种:

1、cache:将数据持久化到内存

2、persist:可以将数据持久化到磁盘,也可以将数据持久化到内存

3、checkpoint:将数据持久化到磁盘。

persist的几个参数:

你可能感兴趣的:(大数据,大数据,spark)