Stopping at depth=1 - no more URLs to fetch.

Hadoop集群时间不统一导致Nutch无法正常运行 

抓取domain的时候 nutch 可以正确的构建fecthlist,但是只能抓取主域名一个url,还不报错，于是也研究下了代码,看到网上也有人评论,那我就不在自己写了m感觉这位仁兄总结的很好,有一点需要注意的就是，dns 设置的不对也有可能发生这样 的情况
转自：http://liuskysun.blog.163.com/blog/static/99812978201171922133994/
现象：在调试Nutch源码，Crawl.java过程中发现：（红色部分）产生的Segments为NULL，导致无法进行下一次迭代，而结束整个抓取任务。
for (i = 0; i < depth; i++) {
                if (checkTaskStop(uploadUrl, nodeRef)) {
                    break;
                }
                long top = topN;
                if (i == 0 && fetchNum > 0) {
                    top = Long.MAX_VALUE;
                }
                Path[] segs = generator.generate(crawlDb, segments, -1, top, System.currentTimeMillis());
                if (segs == null) {
                    log.info("Stopping at depth=" + i + " - no more URLs to fetch.");
                    break;
                }

                // fetch it
                if (checkTaskStop(uploadUrl, nodeRef)) {
                    break;
                }
                fetcher.fetch(segs[0], threads, org.apache.nutch.fetcher.Fetcher.isParsing(conf));
                if (!Fetcher.isParsing(job)) {
                    // parse it, if needed
                    parseSegment.parse(segs[0]);
                }

                // update crawldb
                if (checkTaskStop(uploadUrl, nodeRef)) {
                    break;
                }
                if (i < depth-1) {
                    crawlDbTool.update(crawlDb, segs, true, true);
                }
            }

原因：由于Hadoop集群的时间不统一导致

解决方法：同步Hadoop集群时间到统一时间点，重新启动hadoop集群(或者把namenode的时间设置成比其他node的时间大)。
sudo date  -d  2011/08/19
sudo date  -s  14:06:00