Hadoop学习十一:Hadoop-Hdfs RPC总结

阅读更多

一.本文初衷

      我曾经写过一篇文章容器学习一:HashMap源码分析,后来有网友对我说,全文不介绍HashMap怎么使用,只介绍了源码,有点孤立。到昨天又有网友对我说,看了你的分析RPC的三篇文章,并没有理解RPC到底是个什么玩意,给我留下的影响只有Java反射。这个就是我写本文的原因:源码是进去,本文再跳出来做一个全局的描述。

 

二.RPC概念

  •  RPC(Remote Procedure Call Protocol):远程过程调用协议。其作用是通过网络向远程请求服务。
  • RPC采用客户机/服务器模式。客户机把请求发送给服务器,服务器获取请求的参数,在本地执行这个请求,最后将结果返回给客户机。站在客户机的角度,这条请求就是在远程(服务器)被执行了。
  • Hdfs就是自己实现了一套RPC,使用了Java反射和NIO。
  • Java RMI(Remote Method Call):远程方法调用,实际上和RPC是一个意思。

三.Hdfs RPC角色 

  •  RPC Client:由org.apache.hadoop.ipc.Client实现。用于向server发生请求,并获取请求返回结果。
  • RPC Server:由org.apache.hadoop.ipc.Server和org.apache.hadoop.ipc.RPC.Server共同实现。ipc.Server用于获取请求,提供执行请求的抽象方法,返回请求结果;RPC.Server用来真正执行请求。
  • RPC服务类:由org.apache.hadoop.ipc.RPC实现。主要实现两个服务:getProxy获得远程代理对象;getServer获得RPC Server。

 

四.Hdfs RPC实现 

Hadoop学习十一:Hadoop-Hdfs RPC总结_第1张图片

  1. Server s = RPC.getServer(...);s.start();RPC服务器端启动,各线程准备就绪。
  2. VersionedProtocol v = RPC.getProxy(...);实际上得到一个Java代理类,Invoker实现了InvocationHandler,重写了invoke()方法
  3. v.method(...)时,触发invoke()方法,invoke()内部执行client.call()。
  4. client.call()内部取得RPC client到RPC server的Connection,随后用connection发生请求sendParam。等待结果返回。
  5. RPC Server Listener线程接受到请求。
  6. Reader线程读取请求,把请求封装成Server Call对象。放入callQueue。
  7. Handler线程从callQueue取call,在本机上执行method.invoke()方法,把执行结果赋值给call对象的response属性。如果目前只有一个call对象,立即返回;否则放入responseQueue。
  8. Responder线程从responseQueue取call,把call的response发送给RPC Client。
  9. RPC Client收到结果,这个就是远程命令的结果。如果你是一个远程创建文件夹的请求,那这个结果返回成功或失败或文件夹信息等;如果你是获得远程机器上DatanodeReport的请求,那这个结果返回的就是远程机器上的DatanodeInfo[]。

 

五.自己模仿写了一个RPC 

写道
http://cloud-file-system.googlecode.com/svn/trunk/SourceCode/CFS_Test/src/com/zzy/rpc/
http://cloud-file-system.googlecode.com/svn/trunk/SourceCode/CFS_Test/src/com/zzy/rpctest/
  • 只实现功能。没考虑代码质量。
  • Client和Server端都用NIO实现。
  • 如果有谁想学习的,我会把它单独抽出来。

 

 

你可能感兴趣的:(Hadoop学习十一:Hadoop-Hdfs RPC总结)