Transformation 和 Actionde 的区别和相关知识点记录/Hadoop MapReduce的理解

一、Transformation 和 Actionde 的區別在於Spark計算RDD的方式不同（來源：[1]）：

RDD分transformation是返回一個新的RDD，比如map()和filter()，而action則是向driver program返回結果或把結果寫入外部系統。會觸發實際的計算，比如count()和first()。兩種操作的返回值類型不一樣：transformation返回的是RDD，而action返回的是其他的數據類型。

1.transformation

部分transformation是lazy compute的，在action時才真正進行計算；部分transformation是計算得到了新的RDD，但是inputRDD也不會消失，還可以繼續使用。
圖1是一個例子，以filter()選出log.txt中的錯誤消息為例，說明了filter()不會改變已有的inputRDD中的數據。實際上，該操作會返回一個全新的RDD。inputRDD在後面的程序中還可以繼續使用。

圖1

2.action

transformaion是從已有的RDD 創建出新的RDD，不過有時，我們希望對數據集進行實際的計算。action是第二種類型的RDD 操作，它們會把最終求得的結果返回到driver program，或者寫入外部存儲系統中。由於行動操作需要生成實際的輸出，它們會強制執行那些求值必須用到的RDD 的轉化操作。
需要注意的是，默認情況下，Spark的RDD會在每次對他們進行action時重新計算。如果想要在多個action中重用一個RDD，可以使用RDD.persist（）讓Spark把這個RDD緩存下來。緩存的位置和級別如下表：

3. Lazy Evaluation

前面提過，RDD 的轉化操作都是Lazy Evaluation 的。這意味著在被調用行動操作之前Spark 不會開始計算。
惰性求值意味著當我們對RDD 調用transformation（例如調用map()）時，操作不會立即執行。相反，Spark 會在內部記錄下所要求執行的操作的相關信息。我們不應該把RDD 看作存放著特定數據的數據集，而最好把每個RDD 當作我們通過用transformation構建出來的、記錄如何計算數據的指令列表。把數據讀取到RDD 的操作也同樣是惰性的。因此，當我們調用sc.textFile() 時，數據並沒有讀取進來，而是在必要時才會讀取。和轉化操作一樣的是，讀取數據的操作也有可能會多次執行。
雖然用transformation是lazy compute的，但還是可以隨時通過運行一個action來強制Spark 執行RDD 的轉化操作，比如使用count()。這是一種對程序進行部分測試的簡單方法。
Lazy Evaluation 的原文如下：

4.常見的transformation和action

- transformation

- action

另外我還參考了Spark 1.6.0 的官方文檔（來源：[2]），相關說明如下圖：

二、Hadoop MapReduce

這部分是看學長給的PPT（來源：[3]）

1.Hadoop的簡單介紹

2.Hadoop MapReduce在系統層面上的運作

對於上圖的說明如下：
（1）Input Files
InputFiles位於HDFS上，輸入的格式是任意的，输入文件的格式是任意的：
（2）InputFormat
輸入文件的分割和讀取時由InputFormat來定義的。
它的主要作用是：挑選出作為輸入的文件；定義InputSplits來分割文件；
為讀取文件的RecordReader對象提供一個factory.
（3）Input Splits
Input Splits 是一個包含單個map任務的work unit。
默認情況下，文件分割的大小是64MB。
通過將文件分割，我們可以並行操作單個文件，在數據量很大時會顯著改善效率。
有多少個分割文件就有多少個map任務
（4）RecordReader
RecordReader class的作用就是將split之後的file轉換為（K, V）pairs
（5）Mapper and Reducer
執行Map和Reduce任務。

由上圖可看出map是將一個（K, V）pair通過某種函數產生一組新的（K, V）pair；
reduce是將同樣key的（K, V）pair整合起來。
舉例如下：

（6）Partitioner
Partitioner class 決定了每個（K, V）pair會去哪個partition，這個過程是partitioner通過hash 計算得到的值來決定的。
（7）Sort
每個reducer負責減少與Intermediate key相關聯的值.
單個節點上的中間key set在到達reducer之前由mapreduce自動排序
（8）OutputFormat
OutputFormat class定義了由Reducers產生的（K, V）pairs寫到output files上的方式。Hadoop提供的實例是寫到本地或HDFS中。
hadoop提供的輸出格式有以下這些：

總結：

1）InputFormat決定輸入的格式和file的分割方式；
2）Input Splits是map tasks的集合，默認每個split的大小是64MB；
3）RecordReader將split之後的file split轉換為（K, V）pairs；
4）map是將一個（K, V）pair通過某種函數產生一組新的（K, V）pair；
reduce是將同樣key的（K, V）pair整合起來。
5）Partitioner class 決定了每個（K, V）pair會去哪個partition，這個過程是partitioner通過hash 計算得到的值來決定的。
6）Sort. 在Reduce之前，MapReduce自動對中間file進行sort。
7）file輸出到local disk或者是HDFS。

Reference:

[1] [美] Holden Karau [美] Andy Konwinski [美] Patrick Wendell [加] Matei Zaharia (作者), 王道远 (译者). Spark快速大數據分析. p23-p26. 2015-09
英文版鏈接(chapter3)：https://books.google.com.tw/books?id=tOptBgAAQBAJ&pg=PT26&dq=spark+transformations+and++actions+&lr=&hl=zh-CN&source=gbs_toc_r&cad=4#v=onepage&q&f=true
[2] Spark Programming Guide. Spark 1.6.0
連接：http://spark.apache.org/docs/1.6.0/programming-guide.html#transformations