自己动手搭建搜索引擎

 Nutch1.0配置笔记

 
 
一、简介 
  Nutch是一个开源的Web搜索引擎。 
 
       主要分为两个部分:爬虫crawler和查询searcher,两者之间的接口是索引。 
 
 
二、需要的软件
JDK1.6 
 
Tomcat6.0 
 
cygwin 
 
nutch1.0
 
三、安装与配置
1. JDK 
下载地址:http://www.sun.com 
 
安装目录:C:\Java\jdk1.6.0_14 
 
修改环境变量:
 
JAVA_HOME= C:\Java\jdk1.6.0_14 
 
CLASSPATH= C:\Java\jdk1.6.0_14\lib\dt.jar; C:\Java\jdk1.6.0_14\lib\tool.jar 
 
PATH= %JAVA_HOME%\bin
 
测试:
 
Java -version 
 
2. Tomcat6.0
下载地址: 
 
http://tomcat.apache.org/download-60.cgi?Preferred=http%3A%2F%2Fapache.freelamp.com
 
安装目录:C:\tomcat6 
 
安装测试: 
 
        a)  启动tomcat:在DOS下,cd C:\tomcat6\bin\startup.bat 
 
        b)  浏览器地址栏输入:
 
     http://localhost:8080/
 
             出现tomcat主页则成功 
 
更改C:\tomcat6\conf \tomcat-users.xml内容 
 
<tomcat-users> 
 
  <role rolename="manager"/> 
 
  <user username="tomcat" password="tomcat" roles="manager"/> 
 
</tomcat-users> 
 
3. Cygwin 
下载地址:
 
http://www.cygwin.cn/
 
使用原因: 
 
   运行Nutch自带的脚本命令需要Linux的环境,使用cygwin来模拟该环境。cygwin是在windows平台上运行的unix模拟环境。 
 
安装目录:C:\cygwin 
 
           注意:在选择下载站点需要输入如下网址,并在最后选择本地磁盘安装: 
 
                    http://www.cygwin.cn/pub/
 
测试:
 
进入cygwin
 
4. Nutch 
下载地址:
 
http://www.apache.org/dyn/closer.cgi/lucene/nutch/ 
 
版本:nutch-1.0 
 
解压后到:C:\nutch-1.0 
 
设置Nutch的环境变量: 
 
NUTCH_JAVA_HOME= C:\Java\jdk1.6.0_14
 
修改环境变量PATH :
 
PATH=%JAVA_HOME%\bin; %NUTCH_JAVA_HOME%
 
在C:\nutch-1.0下建立url.txt文件来制定爬去列表 
 
在txt文件中写入需要爬取的网站地址http://dblp.lab/
 
测试: 
 
开启Cygwin 
 
cd cygdriver/c/nutch-1.0 
 
bin/nutch
 
若出现若干命令,则说明Nutch配置成功 
 
四、抓取网页数据 
1. 指定爬虫规则
修改Nutch-1.0/conf/crawl-urlfilter.txt 
# accept hosts in MY.DOMAIN.NAME 
 
+^http://dblp.lab/
 
改成
 
+^http://litclive.blog.51cto.com/
 
修改Nutch-1.0/conf/nutch-site.xml 
<configuration> 
 
  <property> 
 
  <name>http.agent.name</name> 
 
  <value>my nutch agent</value> 
 
  </property> 
 
  <property> 
 
  <name>http.agent.version</name> 
 
  <value>1.0</value> 
 
  </property> 
 
</configuration> 
 
2. 开始爬取 
3. 打开Cygwin 
4. 在命令行输入
cd /cygdrive/c/nutch-1.0
 
5. 执行命令
bin/nutch crawl url.txt -dir crawled -depth 3 - threads 4 >&crawl.log 
 
   其中:dir是指定爬取内容所存放的目录,depth表示以要爬取网站顶级网址为起点的爬行深度,threads指定并发的线程数 
 
6. 爬取中......(采集网页并建立索引) 
7. 结束后在Nutch目录下产生爬取内容的文件夹crawled和日志文件夹logs 
五、部署Web前端 
1. 将nutch-1.0.war拷贝到webapps目录下 
2. 通过浏览器访问如下网址,war包会自解压
http://localhost:8080/nutch-1.0/
 
3. 修改nutch的web配置 
       更改c:\tomcat6\webapps\nutch-1.0\WEB-INF\classes\nutch-site.xml ,将内容更改为索引生成的目录 
 
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="nutch-conf.xsl"?> 
 
<!-- Put site-specific property overrides in this file. --> 
 
<nutch-conf> 
 
<property> 
 
  <name>searcher.dir</name> 
 
  <value>C:\nutch-1.0\crawled</value> 
 
</property> 
 
</nutch-conf> 
 
六、解决中文乱码问题 
         修改文件C:\tomcat6\conf\server.xml 
 
<Connector port="8080" maxThreads="150" minSpareThreads="25" 
 
maxSpareThreads="75" enableLookups="false" redirectPort="8443" 
 
acceptCount="100" connectionTimeout="20000" disableUploadTimeout="true" 
 
URIEncoding="UTF-8" useBodyEncodingForURI="true" protocol="HTTP/1.1" /> 
 
  
七、搭建完成 
1. 启动Tomcat 
2. 通过浏览器访问
http://localhost:8080/nutch-1.0/
 
 
 

你可能感兴趣的:(搜索引擎,搜索,职场,休闲,自己动手搭建搜索引擎)