大数据面试通关手册|Hadoop面试系列之优化

⭐⭐欢迎关注博客主页:https://blog.csdn.net/u013411339
⭐⭐欢迎点赞  收藏 ⭐留言  ,欢迎留言交流!
⭐⭐本文由【王知无】原创,首发于 CSDN博客!
⭐⭐本文首发CSDN论坛,未经过官方和本人允许,严禁转载!

1、MapReduce跑得慢的原因?

Mapreduce 程序效率的瓶颈在于两点:

1)计算机性能

CPU、内存、磁盘健康、网络

2)I/O 操作优化

(1)数据倾斜

(2)map和reduce数设置不合理

(3)reduce等待过久

(4)小文件过多

(5)大量的不可分块的超大文件

(6)spill次数过多

(7)merge次数过多等

2、MapReduce优化方法

1)数据输入

(1)合并小文件:在执行mr任务前将小文件进行合并,大量的小文件会产生大量的map任务,增大map任务装载次数,而任务的装载比较耗时,从而导致mr运行较慢。

(2)采用ConbinFileInputFormat来作为输入,解决输入端大量小文件场景。

2)map阶段

(1)减少spill次数:通过调整io.sort.mb及sort.spill.percent参

你可能感兴趣的:(大数据面试通关手册,大数据)