Nutch编译及集成eclipse+mysql开发环境的部署总结
Nutch是一个应用程序，以Lucene为基础实现的搜索引擎应用，Lucene为Nutch 提供了文本搜索和索引的API，Nutch不仅提供搜索，而且还有数据抓取的功能。
1）linux下nutch集成mysql编译
预先部署ubuntu+jdk+tomcat+mysql，配置mysql的配置文件my.ini为：
[mysqld]下添加skip-grant-tables和character-set-server=utf8
[mysql]、[client]下添加default-character-set=utf8
根据nutch的conf文件gora-sql-mapping创建数据库和数据表。也可通过自动方式生成数据库和表：配置gora-sql-mapping、gora.properties及其它文件后，首次运行bin/nutch inject urls即可自动生成数据库和表。
重启mysql服务。
第一步：下载解压
官网http://nutch.apache.org/下载apache-nutch-2.2-src.tar.gz版本。
#tar –xzvfapache-nutch-2.2-src.tar.gz
#cp-Rapache-nutch-2.2 /usr/nutch
#cd/usr/nutch
第二步：配置nutch对mysql的支持
#vi ivy/ivy.xml //启用mysql数据库
取消下面两行注释：
<dependencyorg="mysql" name="mysql-connector-java"rev="5.1.18" conf="*->default"/>
<dependencyorg="org.apache.gora" name="gora-sql"rev="0.1.1-incubating" conf="*->default" />
修改下行的rev值：原rev="0.3" 改成 rev="0.2.1"
<dependencyorg="org.apache.gora" name="gora-core" rev="0.3"conf="*->default" />
#viconf/gora.properties //设置mysql连接
注释掉默认的数据库连接配置，同时添加以下内容：
###############################
# MySQLproperties
################################
gora.sqlstore.jdbc.driver=com.mysql.jdbc.Driver
gora.sqlstore.jdbc.url=jdbc:mysql://localhost:3306/nutch?createDatabaseIfNotExist=true
gora.sqlstore.jdbc.user=root
gora.sqlstore.jdbc.password=123
#viconf/nutch-site.xml //修改配置文件
configuration节点增加如下内容：
<property>
<name>http.agent.name</name>
<value>Nutch</value>
</property>
<property>
<name>http.accept.language</name>
<value>ja-jp,en-us,en-gb,en;q=0.7,*;q=0.3</value>
<description>Valueof the “Accept-Language” request header field.
This allowsselecting non-English language as default one to retrieve.
It is auseful setting for search engines build for certain national group.
</description>
</property>
<property>
<name>parser.character.encoding.default</name>
<value>utf-8</value>
<description>Thecharacter encoding to fall back to when no other information
isavailable</description>
</property>
<property>
<name>storage.data.store.class</name>
<value>org.apache.gora.sql.store.SqlStore</value>
<description>TheGora DataStore class for storing and retrieving data.
Currentlythe following stores are available: ….
</description>
</property>
<property>
<name>generate.batch.id</name>
<value>*</value>
</property>
第三步：nutch根目录下编译
#apt-getinstall ant //安装ant
#ant runtime //ant编译，持续时间很长
编译后新增runtime目录。
第四步：网页抓取
进入runtime/local目录，使用Crawl命令抓取网页。
#mkdir -purls
#echo'http://www.oschina.net/' >urls/seed.txt
#bin/nutchcrawl urls -depth 3 -topN 5
执行完到mysql中查看结果。
mysql>select baseUrl from webpage;//默认数据库是nutch
+---------------------+
|baseUrl |
+---------------------+
|http://www.163.com/ |
| NULL |
+---------------------+
2 rows inset (0.00 sec)
2）eclipse集成nutch
Windows环境下配置elicpse集成nutch开发。
用ant命令将项目转换成eclipse项目，参考：
http://wiki.apache.org/nutch/RunNutchInEclipse
为避免编译，直接下载有bin包的nutch版本，apache-nutch-1.6-src.zip和apache-nutch-1.6-bin.zip两个包。
第一步：建立工程
新建Java Project工程，命名为nutch。
复制 nutch-1.6-src 包下 java 包里的org整个包放在 项目的src包下。
复制 nutch-1.6-bin包里的conf 文件夹至项目的src包下。在conf 目录右键，BuildPath ->Use as Source Folder。
复制nutch-1.6-bin 包里的 lib包下的所有jar包至项目目录下。将lib下的jar包手动在Bulid Path里引入，Libraries->Add JARS内添加。
复制 nutch-1.6-bin 包下的 plugins 文件夹整个放在项目的 src 包下。
第二步：工程执行
conf/nutch-site.xml配置
<property>
<name>http.agent.name</name>
<value>Nutch-demo</value>
</property>
<property>
<name>plugin.folders</name>
<value>./src/plugins</value>
</property>
工程下新建urls目录，下新建seed.txt，输入几个网址。
在src包下找到Crawl.java 文件
Runas ->Run Configuration ->Arguments
Programarguments输入：crawlurls -dir out -threads 20 -depth 2
VMarguments输入：-Xms32m -Xmx800m（注：这是设置内存大小，如果不设置会导致内存溢出异常）
上网下载Hadoop-core-1.2.1，用来替换Nutch1.7在windows下执行因权限报错的问题，替换掉原来的Hadoop-core-1.03.jar。
下载地址：http://download.csdn.net/detail/leave00608/7060765
配置执行Run。执行后，看到工程目录下out文件夹，Hadoop存储。为了开发方便需要集成mysql，部署高版本的nutch。
3）eclipse集成nutch和mysql开发
下载apache-nutch-2.2-src.zip包，linux下ant编译后apache-nutch-2.2-bin文件夹（集成mysql）。
第一步：新建工程nutch
复制 nutch-2.2-bin下src/ java 目录下org到项目src包下。
复制 nutch-2.2-bin下conf到项目src包下，并conf 目录右键，BuildPath ->Use as Source Folder。
复制nutch-2.2-bin下runtime/local目录lib到项目目录下，将所有jar包手动在BulidPath里引入，Libraries->Add JARS内添加。
复制 nutch-2.2-bi下的 runtime/local目录plugins 到项目src包下，并BuildPath ->Use as Source Folder。
第二步：执行工程
启动myql并检查conf/gora.properties文件夹内mysql配置的信息。
conf/nutch-site.xml新增
<property>
<name>plugin.folders</name>
<value>./src/plugins</value>
</property>
工程下新建urls目录并在其目录下新建urls.txt，输入几个网址。
Hadoop权限问题：Hadoop-core-1.2.1替换nutch2.2中的Hadoop-core-1.1.1包。
在src包下找到Crawl.java 文件
Runas ->Run Configuration ->Arguments
Programarguments输入：crawlurls -dir out -threads 20 -depth 2
VMarguments输入：-Xms32m -Xmx800m
执行后查看mysql
mysql>select baseUrl from webpage;//默认数据库是nutch
下面就是具体在eclipse中应用nutch开发，并存储在mysql中。