Hadoop 学习笔记五 ---Hadoop系统通信协议介绍

本文约定： 
DN: DataNode 
TT: TaskTracker 
NN: NameNode 
SNN: Secondry NameNode 
JT: JobTracker 



本文介绍Hadoop各节点和Client之间通信协议。 

Hadoop的通信是建立在RPC的基础上，关于RPC的详解介绍大家可以参照 "hadoop rpc机制 && 将avro引入hadoop rpc机制初探" 

Hadoop中节点之间的通信是比较复杂的一个网络，若可以把它们之间的通信网络了解清楚，那么对于Hadoop的整体框架理解会有很大帮助。 


HDFS中有5种协议： 
DatanodeProtocol (DN && NN) 
InterDatanodeProtocol (DN && DN) 
ClientDatanodeProtocol (Client && DN) 
ClientProtocol (Client && NN) 
NamenodeProtocol (SNN && NN) 

Map/Reduce 中有3种协议: 
InterTrackerProtocol (TT && JT) 
JobSubmissionProtocol (Client && JT) 
TaskUmbilicalProtocol (Child && TT) 

其中，DatanodeProtocol，ClientDatanodeProtocol，InterTrackerProtocol，TaskUmbilicalProtocol，JobSubmissionProtocol这5种协议通信频繁。 

这8种协议在Hadoop中是作为接口存在，8种协议都继承接口VersionedProtocol。 
协议的实现主要集中在类： JobTracker, NameNode, TaskTracker, DataNode 这4个类中。 

其中 
JobTracker实现两个接口： InterTrackerProtocol，JobSubmissionProtocol 
TaskTracker类实现： TaskUmbilicalProtocol 

NameNode类实现： DatanodeProtocol，ClientProtocol，NamenodeProtocol 
DataNode类实现： InterDatanodeProtocol，ClientDatanodeProtocol 

类图参照下图 





下面单独介绍每种协议 



1.InterTrackerProtocol (TaskTracker & JobTracker通信协议) 
协议简介： 
TT 每隔一段时间向JT发送heartbeat提交当前TT所在机器的内存，CPU，磁盘等状态信息，是否可以接收新任务等信息；JT接收到 heartbeat给TT返回需要所做的job或task操作，是否开启新的任务。TT可以从取得JT取得当前文件系统路径，需要执行Job的Jar文件路径等。 

方法介绍: 
heartbeat()    //TT周期性(最短时间缺省时间是3秒)的调用heartbeat给JT发送heartbeat 

输入参数： 

    TaskTrackerStatus: TaskTracker机器状态信息 

空闲磁盘信息，虚拟和实际内存信息，Map使用内存，Reduce使用内存，可以虚拟和物理内存，累计 CPU 时间，CPU频率，CPU处理器个数，CPU使用率 

    Restarted: 是否是第一次启动 

    initialContact: 是否需要初始化 

    acceptNewTasks: 是否能接收新的Task (Map/Reduce) 

    responseId: 上次从JT成功接收的ID 

返回结果：(JobTracker返回HeartbeatResponse ) 

  HeartbeatResponse对象有以下几个属性： 

    responseId：返回应答ID 

    heartbeatInterval: heartbeat间隔 

    action列表: JT需要TT所做的操作(LAUNCH_TASK,KILL_TASK,KILL_JOB,  REINIT_TRACKER,COMMIT_TASK) 

getFilesystemName: TaskTracker调用一次，取得的文件系统路径 
reportTaskTrackerError: TT报告问题到JT 
getTaskCompletionEvents: 取得jobid的task完成信息 
getSystemDir: 取得执行Job所需要文件的路径 

2. JobSubmissionProtocol(JobClient & JobTracker 之间通信) 
协议简介： 
主要用来提交，执行Job和取得当前Job状态； 
JobClient可以通过此协议提交Job(submitJob),取得当前job的参数，状态，Counter，Task状态，文件系统路径，jar文件路径，所有job的状态，还有Job队列的信息， 
此外JobClient还可以提交KillJob和设定Job优先级等任务到JobTracker； 

主要方法： 
getNewJobId：分配JobId 
submitJob：提交Job执行，返回Job状态 
getClusterStatus：取得当前Cluster的状态，如果detailed为true还报告tracker names信息，返回cluster状态 
killJob：Kill Job 
setJobPriority：设定job优先级 
killTask：Kill 任务attempt 
getJobProfile: 取得已运行的job的句柄 
getJobStatus: 取得已运行Job的状态 
getJobCounters: 取得job的Counter    
getMapTaskReports: 取得Job的各个Map Task报告 
getReduceTaskReports: 取得Job的各个Reduce Task报告 
getCleanupTaskReports：取得CleanupTask结果报告 
getSetupTaskReports：取得Setup Task报告 
getFilesystemName: 返回文件系统的名称 
jobsToComplete: 取得没有完成和没有失败的Job状态(正在运行Job) 
getAllJobs：取得所有Job状态 
getTaskCompletionEvents： 取得特定Jobid完成的事件 
getSystemDir：取得job文件存放的路径 
getQueues：取得JobTracker的队列集合 
getQueueInfo： 取得一个Job的调度信息 
getJobsFromQueue：取得一个队列中所有提交的job  


3. TaskUmbilicalProtocol （Child & TaskTracker） 
协议简介： 
Child & TaskTracker之间通信协议： 
Child通过此协议，查看TT是否存在，取得任务，报告任务的进度，状态，出错信息，Commit文件到HDFS，并取得map结果给reduce；TaskTracker接收任务并监控任务的进度 

主要方法： 
getTask:  Child运行时，调用此方法取得task任务 
statusUpdate： 报告child进程进度 
reportDiagnosticInfo： 
reportNextRecordRange：报告Task下一步将要处理的记录范围  
ping： child周期性的调用此方法来查看parent(TaskTracker)是否存在 
commitPending： 报告此任务任务已完成，但是文件还未提交(还未Commit) 
canCommit： 轮询task是否可以提交文件(Commit) 
getMapCompletionEvents：Reduce任务调用此方法取得Map输出文件, 返回map状态更新(map完成事务) 

4. DatanodeProtocol (NN & DN) 
协议简介： 
DN注册信息到NN，发送当前DN,block等信息到NN(发送block报告，发送block错误报告) 
NN返回DN需要执行的操作(删除block或copy) 

主要方法： 
register ：注册DN到NN 
sendHeartbeat：  DN报告NN，存在以及当前状态; NN返回DN  DatanodeCommand数组，告诉DN需要做的操作(标记block失效，Copy等) 
blockReport：  blockReport()告诉NameNode所有本地的块列表，NameNode返回一个废弃的需要删除的块的列表； 这个功能可以通知NameNode自己机器上的块的情况，当hadoop启动的时候，通过这个方法NameNode重建block和DN的关系表；其他情况会定期检查(缺省时间一个月) 
blockReceived： DataNode告诉NameNode，最近收到的block (假如有超过重复因子数量的额外的块会删除) 例如：client写入一个新块，或另一个DN拷贝一个block到此DN，会调用此方法 
errorReport: 报告NameNode 数据节点发生错误 
processUpgradeCommand： 给NameNode发送升级命令，返回更新命令 
reportBadBlocks： 报告错误的Block　 
nextGenerationStamp： 返回某一块的新的时间戳 
commitBlockSynchronization： Commit block synchronization in lease recovery 

5. InterDatanodeProtocol (DN & DN) 
协议简介： 
取得blockmeta，更新block信息等 

主要方法： 
getBlockMetaDataInfo： 取得某blockMeta信息 
updateBlock：更新Block信息(主要是时间戳和长度) 



6.NamenodeProtocol (NN & SNN) 
协议简介： 
取得DN块列表，回滚edit log, 回滚FsImage 

主要方法： 
getBlocks： 取得某DataNode的 BlockLIst 并且是固定的Size，返回一个block和位置数组 
getEditLogSize：取得当前edit log的size 
rollEditLog: 关闭旧的edit log，打开一个新edit log (返回CheckpointSignature ： 一个独立的事务ID)    
rollFsImage： 主要工作删除旧的fsImage, 拷贝新的image到fsImage; 删除旧的old edits, 重命名到edits 

7.ClientDatanodeProtocol (Client && DN) 
协议简介： 
recoverBlock: 恢复block,返回new blockId和 generation stamp 


8.ClientProtocol (Client & NN) 
协议简介： 
Client-->NN: 用户进行文件操作，文件系统操作，系统管理和问题处理的接口 


主要方法： 
getBlockLocations： 得到文件某个范围内块的DN列表( 排序是按照和client的远近来排序， 之后Client根据DN位置，直接去最近DN取得实际数据)， 
create：  创建一个新的文件 
append： 追加内容到一个文件结尾(dfs.support.append 为 true时 起作用) 
setReplication： 设定当前文件的重复因子 
setPermission： 设定存在的文件/目录的权限 
setOwner: 设定一个路径的owner 
abandonBlock: 丢弃一个block 
addBlock: 文件里写入Block 
complete：结束写数据，如果文件正常关闭true; 否则 false 
reportBadBlocks： Client向NameNode报告损坏的Block 
rename： 重命名一个文件或者目录 
delete： 删除一个文件或者目录 
mkdirs： 创建一个目录 
getListing： 返回文件目录状态 
renewLease： 判断client 是否dead 
getStats： 取得fileSystem的状态 
getDatanodeReport： 取得当前datanode的report 
getPreferredBlockSize： 取得文件的block size 
setSafeMode： 进入safe mode 
saveNamespace:  保存namespace image 
refreshNodes:  NameNode重新读取Hosts文件 
finalizeUpgrade： 结束上次更新 
metaSave： 将当前系统namenode数据结构dump到一个文件，如果存在那么追加 
getFileInfo： 取得文件的信息 
setQuota： 设定文件目录的配额 
getContentSummary： 目录的内容摘要 
fsync: 同步文件所有metadata到文件 
setTimes： 设定文件时间 

 

-----------------装载自http://weilaiyxj.iteye.com/blog/913166