Hadoop知识点记录

 

   HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心,HDFS在集群上实现了分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理,HDFS


在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发,跟踪,执行等工作,并收集结果,二者相互作用,完成了


Hadoop分布式集群的主要任务


    对于SSH无密码登录,网络上的文章大多互相转载,都认为需要Master和Slave之间需要互相配置无密码,其实并不是这样的。通过验证后准确的总结下面这句话


在实际应用中,只需要配置从Master到所有的Slave发现SSH连接的时候不需要密码就可以了,但是这样就只能在Master的主机上启动或者关闭hadoop服务


因为在执行start dfs 或者start yarn的实际过程中,hadoop框架会查找对应执行主机上的masters文件以及slaves的文件,分别SSH到以上文件中指明的主机中执行对应的命令


所以在实际测试中,在Master执行start-dfs的时候,会在Master上启动namenode,而在Slave上启动nodenode,并不是Master通过RPC之类的方式进行的启动,而是Master


通过SSH无密码登录到Slave上,进行的对应命令调用。



    通过测试记录以下知识点


你可能感兴趣的:(Hadoop,知识点总结)