Nutch初探

Nutch1.0+Tomcat6.0+JDK1.6 环境搭建搜索引擎

主要参考资料 :

http://www.blogjava.net/wipt/archive/2009/06/04/279980.html

细枝末节就不用咪西了 , 说下我搭建过程中出现几个问题 :

首先要清楚 Nutch 要在 XP 上运行就得有 CYGWIN(WIN 上的类 LINUX 系统 ) 的支持 .

假设该做的都做了 , 结果遇到异常 .

1 可能会遇到 :

java.lang.UnsupportedClassVersionError: Bad version number in .class file
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:620)

主要原因是没在 JDK1.6 环境下运行 ! 最大可能是在 MyEclipse 中启动 Tomcat 出现这个问题 , 因为一般在 MyEclipse 中配置的 Tomcat 默认的加载 MyEclipse 自带的 JDK( 不一定就是 1.6 版本 ), 所以手动改 JDK 到 1.6 的 ! 异常解决了 !

2. 遇到下面的异常

2009-04-09 17:09:02,984 INFO NutchBean - creating new bean
2009-04-09 17:09:03,093 WARN FileSystem - uri=file:///
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ?????????
at org.apache.hadoop.security

这个原因是装好 CYGWIN 后没有将 其 bin 目录添加到 path 中 ! 将环境变量 path 中加入：如 D:\cygwin\bin 然后重启 tomcat 。

当然用 MyEclipse 的重启 MyEclipse!

3.

2009-10-08 16:10:18,281 INFO  SearchBean - opening merged index in G:/nutch-1.0/crawl-tinysite/crawldb/current/part-00000/index

2009-10-08 16:10:18,359 ERROR NutchBean - java.io.IOException : G:\nutch-1.0\crawl-tinysite\crawldb\current\part-00000\index not a directory

文件的路径不正确 , 随便改了 , 关键是不能有空格存在 !