java.security.SecureRandom导致jetty、hadoop启动受阻问题

 

最近解决了一个hadoop启动卡死问题，记录一下。

执行start-all.sh 后，发现namenode的http端口无法访问，hadoop启动失败，查看进程发现各个hadoop的java进程都存在。使用jstack查看namenode的stacktrace，发现如下结果：

"main" prio=10 tid=0x00000000419e0000 nid=0x5031 runnable [0x00007fa79e3e0000] java.lang.Thread.State: RUNNABLE at java.io.FileInputStream.readBytes(Native Method) at java.io.FileInputStream.read(FileInputStream.java:199) at java.io.BufferedInputStream.read1(BufferedInputStream.java:256) at java.io.BufferedInputStream.read(BufferedInputStream.java:317) - locked <0x00007fa796cb5000> (a java.io.BufferedInputStream) at java.io.BufferedInputStream.fill(BufferedInputStream.java:218) at java.io.BufferedInputStream.read1(BufferedInputStream.java:258) at java.io.BufferedInputStream.read(BufferedInputStream.java:317) - locked <0x00007fa796cb4cc8> (a java.io.BufferedInputStream) at sun.security.provider.SeedGenerator$URLSeedGenerator.getSeedByte(SeedGenerator.java:453) at sun.security.provider.SeedGenerator.getSeedBytes(SeedGenerator.java:123) at sun.security.provider.SeedGenerator.generateSeed(SeedGenerator.java:118) at sun.security.provider.SecureRandom.engineGenerateSeed(SecureRandom.java:114) at sun.security.provider.SecureRandom.engineNextBytes(SecureRandom.java:171) - locked <0x00007fa796cb47d0> (a sun.security.provider.SecureRandom) at java.security.SecureRandom.nextBytes(SecureRandom.java:433) - locked <0x00007fa796cb4b00> (a java.security.SecureRandom) at java.security.SecureRandom.next(SecureRandom.java:455) at java.util.Random.nextLong(Random.java:284) at org.mortbay.jetty.servlet.HashSessionIdManager.doStart(HashSessionIdManager.java:139) at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50) - locked <0x00007fa796cb4490> (a java.lang.Object) at org.mortbay.jetty.servlet.AbstractSessionManager.doStart(AbstractSessionManager.java:168) at org.mortbay.jetty.servlet.HashSessionManager.doStart(HashSessionManager.java:67) at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50) - locked <0x00007fa7965c8108> (a java.lang.Object) at org.mortbay.jetty.servlet.SessionHandler.doStart(SessionHandler.java:115) at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50) - locked <0x00007fa7965c81c8> (a java.lang.Object) at org.mortbay.jetty.handler.HandlerWrapper.doStart(HandlerWrapper.java:130) at org.mortbay.jetty.handler.ContextHandler.startContext(ContextHandler.java:537) at org.mortbay.jetty.servlet.Context.startContext(Context.java:136) at org.mortbay.jetty.webapp.WebAppContext.startContext(WebAppContext.java:1234) at org.mortbay.jetty.handler.ContextHandler.doStart(ContextHandler.java:517) at org.mortbay.jetty.webapp.WebAppContext.doStart(WebAppContext.java:460) at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50) - locked <0x00007fa7966327e0> (a java.lang.Object) at org.mortbay.jetty.handler.HandlerCollection.doStart(HandlerCollection.java:152) at org.mortbay.jetty.handler.ContextHandlerCollection.doStart(ContextHandlerCollection.java:156) at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50) - locked <0x00007fa796538ed0> (a java.lang.Object) at org.mortbay.jetty.handler.HandlerWrapper.doStart(HandlerWrapper.java:130) at org.mortbay.jetty.Server.doStart(Server.java:222) at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50) - locked <0x00007fa796441098> (a java.lang.Object) at org.apache.hadoop.http.HttpServer.start(HttpServer.java:461) at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:246) at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:202) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:279) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:956) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:965) 

 

进程卡在了namenode启动内部jetty时获取随机数。

 

既然是随机数的问题，简单写了一个测试代码进行测试，测试代码如下：

import java.security.SecureRandom; import java.util.Random; /** * created by haitao.yao @ Apr 1, 2011 */ public class TestRandom { /** * @param args */ public static void main(String[] args) { int count = 10; while(count -- > 0){ Random random = new SecureRandom(); long value = random.nextLong(); System.out.println(value); } } } 

 

由于java.security.SecureRandom在linux上依赖于/dev/random (linux随机数生成机制参见这里)，因此在出现问题的服务器上运行测试程序后运行测试脚本，结果如下：

haitao-yao@haitaoyao-laptop:/data/develop/java/jre/lib/security$ jps && lsof /dev/random 7399 Jps 7382 TestRandom COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 7382 haitao-yao 4r CHR 1,8 0t0 4402 /dev/random 

 

因此断定是由于随机数生成策略的问题。

 

google一下发现jetty的这个bug（Jetty HashSessionIdManager hangs on startup),也有人在jdk的bug database中提出过这个问题（参见这里），简单介绍一下：

java.security.SecureRandom依赖与/dev/random 生成随机数，可能由于系统interrupt不足，导致在jdk在使用/dev/random时卡死。jetty无法启动，最后导致整个namenode启动卡死。

 

解决方案在sun的bug database中也已经有人给出，即在java程序启动参数中添加：-Djava.security.egd=file:/dev/urandom，使用/dev/urandom生成随机数。

 

/dev/random和/dev/urandom的差异分析请参见这里 ， 不再多说。

 

总结：

hadoop通过http协议提供html页面暴露系统内部状态，这在分布式系统的设计中是个非常好的feature，但是由于集成了jetty，而集成的jetty在hadoop中可配置性又不强，才暴露了这个问题。非常不理解为什么hadoop不使用独立的线程去启动内部的jetty，毕竟这并不是namenode的主要功能，因为这样的附属功能影响了系统的核心功能，未免有些得不偿失。

 

-EOF-