大数据面试通关手册｜Hadoop面试系列之优化

⭐⭐欢迎关注博客主页：https://blog.csdn.net/u013411339
⭐⭐欢迎点赞  收藏 ⭐留言  ，欢迎留言交流！
⭐⭐本文由【王知无】原创，首发于 CSDN博客！
⭐⭐本文首发CSDN论坛，未经过官方和本人允许，严禁转载！

1、MapReduce跑得慢的原因？

Mapreduce 程序效率的瓶颈在于两点：

1）计算机性能

CPU、内存、磁盘健康、网络

2）I/O 操作优化

（1）数据倾斜

（2）map和reduce数设置不合理

（3）reduce等待过久

（4）小文件过多

（5）大量的不可分块的超大文件

（6）spill次数过多

（7）merge次数过多等

2、MapReduce优化方法

1）数据输入

（1）合并小文件：在执行mr任务前将小文件进行合并，大量的小文件会产生大量的map任务，增大map任务装载次数，而任务的装载比较耗时，从而导致mr运行较慢。

（2）采用ConbinFileInputFormat来作为输入，解决输入端大量小文件场景。

2）map阶段

（1）减少spill次数：通过调整io.sort.mb及sort.spill.percent参