scala Array[String]转RDD[String]

本来想统计一下每个单词的个数并进行排序,但是类型是所以查了一下相关材料有两种方法:

1)把原有的数据进行数据类型转化Array[String]转RDD[String]

val sc=spark.sparkContext.parallelize(Array[String]数据)

sc就是RDD[String]类型,之后就可以调用RDD相关方法

 

2)直接map统计完单词个数之后,调用sortBy()方法

val map=data.flatMap(line=>line.split(",")).map(word=>(word,1))
val result=map.sortBy(arr=>arr._2).take(1)
print(result)

 

你可能感兴趣的:(scala Array[String]转RDD[String])