Hadoop学习笔记(11)-集群不稳定问题一例(内存不稳定)

集群中有一台机器不稳定,在运行mapreduce和bsp任务时经常会出现IO错误,比如读取文本文件时,会出现只读出半行或者少量乱码的问题。在使用rdf3x的时候,load数据时也会出错。平时那台机器似乎又没什么异常。

一直以为是硬盘的问题,排查了很久,最后发现是内存的问题,换了内存就好了。

使用普通台式机(不带内存ECC校验)搭建集群的童鞋一定要注意,集群出现IO错误不一定是磁盘的问题,内存也是怀疑对象之一。

你可能感兴趣的:(Hadoop学习笔记(11)-集群不稳定问题一例(内存不稳定))