hadoop面试问题，不定期更新
0x00 什么是hadoop
我们通常说的hadoop有两种意思，一种是hadoop生态圈，包含hadoop、hive、hbase等组件，另一种单纯指hadoop，包含hdfs、mapreduce，另外hadoop2之后添加的yarn
hdfs
hdfs是一个分布式文件系统，设计目的就是用低廉的商业硬件存储大数据量的文件，所以具有以下特点
- 处理超大文件
- 高容错性，运行在廉价机器上
- 横向扩展
- 流式数据处理，而不是随机读写（所谓流式数据读取就是指一个文件只能写一次，后面一直追加，所以每次读取只需要从头开始一直向后读就行了，而不是像其他文件系统可以对文件多次修改）
- 不支持文件修改，只能追加写入
- 对大量小文件性能不好
1、主从架构，有两种角色namenode和datanode
namenode负责管理存储元数据，处理客户端读写请求
datanode存储真正的数据，执行读写操作
2、读流程
客户端访问namenode，验证权限，返回数据具体的datanode地址，客户端访问datanode读取数据
3、写流程
客户端访问namenode，验证权限并确定文件是否存在，然后先记录到editLog（WAL）返回输出流对象，客户端向最近的一个datanode写数据，每写一个数据块，其余的datanode自己同步
mapreduce
mapreduce是一种编程模式，主要思想是将数据处理分为map和reduce两个阶段，这两个阶段也可以任意组合，屏蔽了底层分布式、并行的计算方式
map读取数据片段，输出
大体可以分为input、split、map、shuffle、reduce、output六个步骤
输入input：输入数据，一般是hdfs上的文件或目录
拆分split：切割文件，将大文件切割成块，供多个map task处理
映射map：将拆分的内容转换成key-value形式
派发shuffle：将key相同的放到一起value是一个序列，这步涉及数据移动，会将key相同的数据移动到一台机器上
缩减reduce：将同样key的value序列进行计算
输出output：输出结果
0x01 shuffle过程
参考mapreduce shuffle深入理解
从map的输出到reduce的输入，中间的过程叫shuffle
1、环形缓存区溢出写，每个map任务输出会先写到一个缓存区，默认是100M，当超过80%时会溢写到磁盘
2、在内存中时会经过分区和排序，分区默认是按照key的hashcode来对reduce个数取模，可以将数据平均分配到reduce上
3、合并溢写文件，将同分区的溢写文件合并，合并过程中伴随着排序，最后合并成一个分区、排序的大文件
4、reduce端接受不同map的传来的有序数据，也是先写到内存，然后溢写，随着文件增多，和map端一样，不停的排序合并，最后一次的合并结果直接输出到reduce函数，计算结果，然后每个reduce函数对应一个输出结果
0x02 yarn的工作原理
yarn全称yet anthor resource negotiator（另一种资源调度器），在hadoop1.0时，资源调度和任务管理都由jobtrack管理，hadoop2将任务管理分离出来由每个程序自己的ApplicationMaster完成，yarn只负责资源调度和监控
ResourceManager
rm主要由两部分组成schedule和ApplicationManager
- schedule
通过container来分配资源，container是yarn中的抽象概念，封装了磁盘、内存、cpu等资源，yarn提供的是插件式的策略来实现队列、分区，目前实现的schedule有FIFO、CapacityScheduler、FairScheduler
- ApplicationManager
ApplicationManager负责接收作业的提交，并申请第一个container来执行作业的ApplicationMaster，并提供失败时重启ApplicationMaster的container，接下来作业的ApplicationMaster向schedule申请资源
NodeManager
NodeManager是yarn在每台机器上的代理，nm负责启动并管理节点上的container，container执行具体的由ApplicationMaster划分的任务
整体流程
1、客户端向ResourceManager的ApplicationManager提交程序
2、ResourceManager的ApplicationManager在nodemanager上启动第一个container执行ApplicationMaster
3、ApplicationMaster拆分程序，划分成一个个的task，这些task可以在container上运行，然后向ResourceManager申请资源执行task，并向ResourceManager发送心跳
4、申请到container后，ApplicationMaster会和NodeManager通信，并将task发送到对应的container执行，task会向ApplicationMaster发送心跳
5、程序执行完成，ApplicationMaster向ResourceManager注销并释放资源
0x03 列出yarn调度器，并简述工作方法
yarn的调度是基于事件来处理的，共有六种事件，yarn会根据事件作出相应处理
1、NODE_REMOVE 删除计算节点或计算节点故障
2、NODE_ADDED 新增计算节点
3、APPLICATION_ADDED 启动一个新应用
4、APPLICATION_REMOVED 一个应用运行结束
5、CONTAINER_EXPIRED containre回收在分配
6、NODE_UPDATE rm收到nm的心跳，更新container信息
yarn中自带有三种调度器FIFO、Capacity Scheduler、Fair Scheduler
FIFO先进先出调度器，单队列，先提交的任务执行完成后在执行后续提交的任务
Capacity和Fair基本一致，fair具有capacity的所有功能，fair主要适用于同一队列中所有应用公平的使用资源
参考
0x04 mapreduce性能调优
性能调优可以从程序、系统配置等方面入手，其中程序优化是最有效的手段，例如适当应用combiner，优化分区方法，避免数据倾斜等
系统配置主要有以下参数
平时的调优没有固定步骤，主要是要找到性能瓶颈的地方，改变处理方式，或者通过参数调节资源
参考