Hadoop第二天

技术+表达+英语
1client写file到hdfs中过程(上传 重要)
过程:client和Namenode进行RPC通信,namenode把它的元数据返给client,元数据提示数据存放到什么位置,client拿着个位置,和目标datanode建立http连接写数据 ,datanode写数据是一块一块的写(block,好处是如果失败只是一部分失败),写完成一块申请一块,datanode和datanode之间流水线方式水平写副本(为了HA,某一天机器挂了),写完成后有一个反馈
2:hdfs结构:
hdfs和数据库的区别,hdfs一次写入多次查询,不支持并发写(文件block不能同时写,clientA可以写A文件,clientB写B),
判读block中文件是否损坏,用校验盒
namenode处理读请求和写请求
secondary namenode合并fsimage和edits文件来更新namenode的metedata达到数据同步
伪分布式secondary工作原理
block,或者windows簇是为了读写方便
RPC通信,不同进程的方法调用
http,数据传递
hdfs源码
mapreduce:NM通过心跳机制和RM建立连接

你可能感兴趣的:(Hadoop第二天)