Spark的RDD转换算子-flatMap、glom、groupBy

Spark的RDD转换算子-flatMap、glom、groupBy

一、flatMap：

函数签名

def flatMap[U: ClassTag](f: T => TraversableOnce[U]): RDD[U] 

就是扁平映射处理，将处理的数据进行扁平化之后再进行映射处理

比如对于一个二维列表的操作，使其打散之后在变为一个列表

val dataRDD = sparkContext.makeRDD(List( 
    List(1,2),List(3,4) 
),1) 
val dataRDD1 = dataRDD.flatMap( 
    list => list 
) 

除了对列表的操作外，对字符串也可以操作

val dataRDD = sparkContext.makeRDD( 
	"hello Scala", "hello Spark"
),1) 
val dataRDD1 = dataRDD.flatMap( 
    //将打散的字符按照 " " 分割
    s => s.split(" ")
) 

二、glom：

函数签名

def glom(): RDD[Array[T]] 

将同一个分区的数据直接转换为相同类型的内存数组进行处理，分区不变

比如：计算所有分区最大值求和（分区内取最大值，分区间最大值求和）

val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 2)

//分区内取最大值，分区间取和
val glomRDD: RDD[Array[Int]] = rdd.glom()

//每个分区取最大值
val maxRDD: RDD[Int] = glomRDD.map(
	array => {
		array.max
	}
)

//分区最大值求和
println(maxRDD.collect().sum)

三、groupBy：

函数签名

def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])] 

将数据根据指定的规则进行分组, 分区默认不变，但是数据会被打乱重新组合，我们将这样的操作称之为 shuffle。极限情况下，数据可能被分在同一个分区中

一个组的数据在一个分区中，但是并不是说一个分区中只有一个组

比如：按照单词首字母分组

val groupRDD: RDD[(Char, Iterable{String})] = rdd.groupBy(_.charAt(0))

注意：

分组和分区没有必然的关系

groupBy会将数据打散，重新组合，这个操作我们称之为shuffle。