hadoop内存不足导致报错!

问题描述
三台机器搭建Hadoop集群,hadoop01、hadoop02、hadoop03。
其中hadoop01和hadoop02为实体机,内存为8G,而hadoop03为虚拟机,内存比较小,所以分配内存为2G。

执行pyspark来分析数据时报错:

2019-01-22 16:43:45 WARN  DFSClient:692 - Failed to connect to /192.168.189.33:50010 for block, add to deadNodes and continue. java.nio.channels.ClosedByInterruptException
java.nio.channels.ClosedByInterruptException

解决方法:
加大虚拟机内存,将hadoop03的内存调整为8G。

你可能感兴趣的:(Hadoop)