Hadoop相关技术点

MapReduce

  • MR流程
  • shuffle 机制
  • MR调优
  • 全排序
  • 推荐书籍:《Hadoop权威指南》

YARN

  • 调度原理流程
  • 资源调度器
  • 资源隔离机制
  • RM高可用
  • 推荐书籍:《Hadoop权威指南》

HDFS

  • 通信框架(RPC)
  • 第一、第二关系管理
  • 读写流程(源码)
  • NN高可用
  • 脑裂
  • 相约管理
  • 联邦机制
  • 推荐书籍:《HDFS源码解析》

HBase

  • 数据模型
  • 架构组成
  • 读写流程
  • 建表优化
  • 布隆过滤器
  • 协处理器
  • HBase优化设计
  • 推荐书籍:《HBase原理与实践》

Hive

  • 数据仓库常识
  • HSQL
  • SQL转换过程
  • 内部表和外部表
  • 分区和分桶
  • 严格模式
  • 数据倾斜
  • 性能调优
  • 推荐书籍:《HDFS源码解析》

 

你可能感兴趣的:(MapReduce,YARN,HDFS,HBase,Hive)