Nutch1.0或者Nutch1.1如何导入MyEclipse与Eclipse?
今天浪费了一天的时间花费在这上面,一开始是用Nutch1.1导入在MyEclipse与Eclipse中的,不断的尝试,不断的调试,上网查阅了太多的文章了,发现按他们每一种的方式都会出错,最后还是跟人交流之后,用自己的方式尝试成功了.好了不费话了.下面说说如何成功导入Nutch1.0而不会出错.
前期准备工作及导入步骤:
1.下载Cygwin工具:http://www.cygwin.com并安装Cygwin.安装成功后,记得在我的电脑属性中配置环境变量:
编辑path属性,加入d:cygwin/bin到path中.
2.下载nutch软件包:
http://labs.renren.com/apache-mirror//nutch/一般下载bin包即可.
3.解压刚下载下来的nutch软件包.如,解压位置为:D:\nutch-1.04.在Eclipse或者是在MyEclipse中新建一个Java Project项目, 名字自己定义(Nutch). 选择”Create project from existing source”,指向自己nutch-1.0的目录.
4.点击下一步,切换到”Libraries”选择”Add Class Folder…” 按钮,从列表中选择”conf”. —->Default Output floder —->Brower-à从Create New Folder中…新建一个新文件夹 output.(这一步跟网上的所有办法都不一样.).
注意:修改output文件夹下面的nutch-site.xml文件:
<property> <name>http.agent.name</name> <value>HD nutch agent</value> <description></description> </property> <property> <name>http.agent.description</name> <value>hpjianhua</value> <description></description> </property> <property> <name>http.agent.url</name> <value>http://www.163.com</value> <description></description> </property> <property> <name>http.agent.email</name> <value>[email protected]</value> <description></description> </property>
5.点击Finish 来完成Nutch1.0的导入.
下面在MyEclipse或者是Eclipse中对Nutch1.0进行修改以去掉项目中提示的错误:
1. 修改conf文件夹下面的文件:
1.1修改nutch-site.xml文件:
<configuration> <property> <name>http.agent.name</name> <value>nutch</value> <description></description> </property> <property> <name>http.agent.description</name> <value>hpjianhua</value> <description></description> </property> <property> <name>http.agent.url</name> <value>http://www.163.com</value> <description></description> </property> <property> <name>http.agent.email</name> <value>[email protected]</value> <description></description> </property> </configuration>
1.2修改nutch-defaul.xml文件:
<property> <name>http.agent.name</name> <value>HD nutch agent</value> <description>HTTP 'User-Agent' request header. MUST NOT be empty - please set this to a single word uniquely related to your organization. NOTE: You should also check other related properties: http.robots.agents http.agent.description http.agent.url http.agent.email http.agent.version and set their values appropriately. </description> </property>
1.3修改crawl-urlfilter.txt文件:
# accept hosts in MY.DOMAIN.NAME +^http://([a-z0-9]*\.)*163.com/
如果是Nutch1.1可以跳过下面的2 , 3, 4步,直接跑到第5步继续!
2. 下载MP3跟rtf的jar文件
http://nutch.cvs.sourceforge.net/nutch/nutch/src/plugin/parse-mp3/lib/,
http://nutch.cvs.sourceforge.net/nutch/nutch/src/plugin/parse-rtf/lib/
分别拷贝到src/plugin/parse-mp3/lib 和 src/plugin/parse-rtf/lib/文件夹下
3. 刷新几下,右键选择工程文件夹,选择Build Path->Configure Build Path…在弹出的窗口上,切换到Libraries,选择Add Jars…,添加刚才下载的jar文件到工程。
4.到这一步,一般的工程都会有两个错误,nutch的official 1.0 release版本中,这两个问题因为licensing issues没有修复。
接下来的就是最关键的部分了。
修改—- src\plugin\parse-rtf\src\java\org\apache\nutch\parse\rtf下RTFParseFactory.java 添加—– import org.apache.nutch.parse.ParseResult; 将 —– public Parse getParse(Content content) { 改为—- public ParseResult getParse(Content content) { 将 —- return new ParseStatus(ParseStatus.FAILED, ParseStatus.FAILED_EXCEPTION, e.toString()).getEmptyParse(conf); 改为—–return new ParseStatus(ParseStatus.FAILED, ParseStatus.FAILED_EXCEPTION, e.toString()).getEmptyParseResult(content.getUrl(), getConf()); 将——return new ParseImpl(text, new ParseData(ParseStatus.STATUS_SUCCESS, title, OutlinkExtractor.getOutlinks(text, this.conf), content.getMetadata(), metadata)); 改为——return ParseResult.createParseResult(content.getUrl(), new ParseImpl(text, new ParseData(ParseStatus.STATUS_SUCCESS, title, OutlinkExtractor.getOutlinks(text, this.conf), content.getMetadata(), metadata))); 修改——src\plugin\parse-rtf\src\test\org\apache\nutch\parse\rtf下的TestRTFParser.java 将—–parse = new ParseUtil(conf).parseByExtensionId(“parse-rtf”, content); 改为—-parse = new ParseUtil(conf).parseByExtensionId(“parse-rtf”, content).get(urlString); 到这一步,eclipse上面的工程就会没有错误了 .
5.在nutch1.0的目录下新建立一个文件夹urls,然后再在urls中建立一个文本文件url. 写上链接。注意后面要有 “/”.
6.运行Nutch1.0:
选择Run->Run As->Java Application在弹出的Select Java Application上选择Crawl-org.apache.nutch.crawl. 接下来,
选择 Run->Run Configurations…在左边的Java Application下面会有Crawl这一项,选择它,
切换到Arguments,Program Arguments的内容就是要设置的参数,填上urls -dir crawl -depth 3 -topN 50(这里视自己的具体情况而定,urls为链接)
在VM arguments下面填上-Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log.
直接运行吧:看在你的控制台上出现信息了没.
注意:关于Java Heap Size的问题,查看logs/hadoop.log或控制台输出,如果出现类似java.lang.OutOfMemoryError: Java heap space语句,
解决方法:
设置Eclipse -> Window -> Preferences -> Java -> Installed JREs -> edit -> Default VM arguments
7.设置为-Xms256m -Xmx1024m,其中Xms为最小内存,Xmx为最大内存.