Spark分区相关

在Linux启动spark-shell时，可以使用以下命令（两个线程）：

$ spark-shell --master local[2]

使用sc.textFile(“path”)导入文件，然后可以使用以下命令查看分区数：

scala> rdd.toDebugString()

此时我从HDFS中导入了一个文件：

然后查看该 RDD --- accounts的分区数：

使用sc.textFile("path",num)命令可以手动设置分区数：

查看分区数：

这次使用HDFS中accounts文件夹下面的所有文件进行创建RDD：

我们有7个数据文件，也就创建了7个分区。

打印每个partition的第一行（每一个partition都是一个迭代器）：

scala> accounts.foreachPartition(partition => println(partition.next))