Hadoop精华问答 | NameNode的工作特点
我们很荣幸能够见证Hadoop十年从无到有，再到称王。感动于技术的日新月异时，让我们再来看看关于Hadoop的精华问答。
1
Q：NameNode的工作特点
A：NameNode始终在内存中保存metedata，用于处理“读请求”，到有“写请求”到来时，NameNode首先会写editlog到磁盘，即向edits文件中写日志，成功返回后，才会修改内存，并且向客户端返回。
Hadoop会维护一个人fsimage文件，也就是NameNode中metedata的镜像，但是fsimage不会随时与NameNode内存中的metedata保持一致，而是每隔一段时间通过合并edits文件来更新内容。Secondary NameNode就是用来合并fsimage和edits文件来更新NameNode的metedata的。
2
Q：某个节点上任务数目太多，资源利用率太高，怎么控制一个节点上的任务数目?
A：一个节点上运行的任务数目主要由两个因素决定，一个是NodeManager可使用的资源总量，一个是单个任务的资源需求量，比如一个NodeManager上可用资源为8 GB内存，8 cpu，单个任务资源需求量为1 GB内存，1cpu，则该节点最多运行8个任务。
NodeManager上可用资源是由管理员在配置文件yarn-site.xml中配置的，相关参数如下：
yarn.nodemanager.resource.memory-mb：总的可用物理内存量，默认是8096
yarn.nodemanager.resource.cpu-vcores：总的可用CPU数目，默认是8
对于MapReduce而言，每个作业的任务资源量可通过以下参数设置：
mapreduce.map.memory.mb：物理内存量，默认是1024
mapreduce.map.cpu.vcores：CPU数目，默认是1
默认情况，各个调度器只会对内存资源进行调度，不会考虑CPU资源，你需要在调度器配置文件中进行相关设置。
3
Q：如何设置单个任务占用的内存量和CPU数目？
A：对于MapReduce而言，每个作业的任务资源量可通过以下参数设置：
mapreduce.map.memory.mb：物理内存量，默认是1024
mapreduce.map.cpu.vcores：CPU数目，默认是1
需要注意的是，默认情况，各个调度器只会对内存资源进行调度，不会考虑CPU资源，你需要在调度器配置文件中进行相关设置。
4
Q：用户给任务设置的内存量为1000MB，为何最终分配的内存却是1024MB？
A：为了易于管理资源和调度资源，Hadoop YARN内置了资源规整化算法，它规定了最小可申请资源量、最大可申请资源量和资源规整化因子，如果应用程序申请的资源量小于最小可申请资源量，则YARN会将其大小改为最小可申请量，也就是说，应用程序获得资源不会小于自己申请的资源，但也不一定相等；如果应用程序申请的资源量大于最大可申请资源量，则会抛出异常，无法申请成功；规整化因子是用来规整化应用程序资源的，应用程序申请的资源如果不是该因子的整数倍，则将被修改为最小的整数倍对应的值，公式为ceil(a/b)*b，其中a是应用程序申请的资源，b为规整化因子。
以上介绍的参数需在yarn-site.xml中设置，相关参数如下：
yarn.scheduler.minimum-allocation-mb：最小可申请内存量，默认是1024
yarn.scheduler.minimum-allocation-vcores：最小可申请CPU数，默认是1
yarn.scheduler.maximum-allocation-mb：最大可申请内存量，默认是8096
yarn.scheduler.maximum-allocation-vcores：最大可申请CPU数，默认是4
对于规整化因子，不同调度器不同，具体如下：
FIFO和Capacity Scheduler，规整化因子等于最小可申请资源量，不可单独配置。
Fair Scheduler：规整化因子通过参数yarn.scheduler.increment-allocation-mb和yarn.scheduler.increment-allocation-vcores设置，默认是1024和1。
通过以上介绍可知，应用程序申请到资源量可能大于资源申请的资源量，比如YARN的最小可申请资源内存量为1024，规整因子是1024，如果一个应用程序申请1500内存，则会得到2048内存，如果规整因子是512，则得到1536内存。
5
Q：hadoop能干什么？
A：hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少量尝试mahout！）
小伙伴们冲鸭，后台留言区等着你！
关于Hadoop，今天你学到了什么？还有哪些不懂的？除此还对哪些话题感兴趣？快来留言区打卡啦！留言方式：打开第XX天，答：……
同时欢迎大家搜集更多问题，投稿给我们！风里雨里留言区里等你~
福利
1、扫描添加小编微信，备注“姓名+公司职位”，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！
2、公众号后台回复：白皮书，获取IDC最新数据白皮书整理资料！
推荐阅读：
上万条数据撕开微博热搜的真相！
IT公司老板落水，各部门员工怎么救？？
HTML 30 年进化史
读了鸿蒙 OS 的代码后，我发现优秀项目都有这个共性！
字节跳动李航：自学机器学习，研究AI三十载，他说AI发展或进入平缓期
主链增幅最高飚至152%，主流币却惊现回落；以太坊发币速度持续放缓
真香，朕在看了！