HDFS&Yarn HA架构设计

HDFS&Yarn HA架构设计_第1张图片
HDFS&Yarn HA架构设计_第2张图片

HDFS&Yarn HA架构设计_第3张图片
HDFS&Yarn HA架构设计_第4张图片
HDFS&Yarn HA架构设计_第5张图片

HDFS&Yarn HA架构设计_第6张图片

1 hdfs HA 架构 图梳理
2 yarn HA 架构图梳理
3总结 hdfs yarn ha 架构区别 区别是ZKFC一个是进程一个是线程 ,一个是一个RMstatestore 一个是JN群集
4 hdfs dfs  - ls 结果 是哪个文件 三个操作不一样  思考。
5双写的理解 ?双写,比如hdfs 做HA(高可靠)的时候,有nn 不仅会读DN(active)发来的信息e,还会写入JN ,同时 另一个不是active的NN 会从JN 读信息同时 自己也执行这个操作
好yarn 中不一样的是 yarn 中 zkfc 是rm上的线程 而不是经程,它可能不如hdfs ,比较hdfs是专门存储,yarn做计算,在yarn的NM中 有自己的job ,NM会向中调容器资源,并向RM注册,RMsatestore 这个是来共享两个 RM
6小文件的危害 ?小文件如果很多 会照成如hdfs 读写的苦难,因为 会在nn dn 上产生更多的管理,所以如果每个block是128m ,管理的时候 尽量控制小文件的大小在100m比较好
7主从架构的hbase读写经过master进程吗? 尽管生态上,很多都是主从架构,如hadoop yarn 但是 hbase的读写 不经过master进程

你可能感兴趣的:(HDFS&Yarn HA架构设计)