solr配置增量更新和定时更新数据库索引

solr增量索引

    solr本地core目录D:\solr_home\solr\forumTopic\conf下得db-data-config.xml配置如下

   

 

                                                                                                                                                                                                                                                                                 

       

  deltaImportQuery="SELECT * from blc_forum_topic where topic_status=0 and topic_id  = '${dataimporter.delta.id}'"  

  deltaQuery="SELECT topic_id as id from blc_forum_topic where topic_status=0 and last_comment_time > '${dataimporter.last_index_time}'">

           

           

   

   

   

   

       

   

'${dataimporter.delta.id}'是取到deltaQuery查询得到的id数据然后，deltaImportQuery。根据id匹配的数据执行增量导入

solr定时增量索引

参考：官方文档,http://wiki.apache.org/solr/DataImportHandler#Scheduling

googlecode 找到：https://code.google.com/p/solr-dataimport-scheduler/

1.复制solr-4.2.11\solr-4.2.1\dist目录下solr-dataimporthandler-4.2.1.jar 和solr-dataimporthandler-extras-4.2.1.jar到tomcat目录的

\webapps\solr\WEB-INF\lib目录下

2.从https://code.google.com/p/solr-dataimport-scheduler/downloads/list 下载apache-solr-dataimportscheduler-1.0-with-source.jar到tomcat目录的

\webapps\solr\WEB-INF\lib目录下

此三个jar包也可在我的网盘下载：http://pan.baidu.com/s/1kTxkNEB

3.取出apache-solr-dataimportscheduler-1.0-with-source.jar内的dataimport.properties到自己tomca的webapps\solr\WEB-INF\web.xml配置的solrhome目录下

  即放到 D:/solr_home/solr/conf (不是D:/solr_home/solr/core/conf) 目录下面 conf文件夹是没有的，要新建

例如如下图

 

       solr/home

       D:/solr_home/solr

       java.lang.String

   

 这样的就放到D:/solr_home/solr/conf 路径下

在web.xml下配置配置文件的路径

1 2 3 4 5 6 7

< context-param >      < param-name >autoDeltaImportConfPath param-name >      < param-value >/yourconfpath param-value > context-param > < listener >      < listener-class >org.apache.solr.handler.dataimport.scheduler.ApplicationListener listener-class > listener >

4.修改D:\program\tomcat6\webapps\solr\WEB-INF\web.xml,在节点内，servlet节点前面加入

<listener>

    <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListenerlistener-class>

listener>

5.修改dataimport.properties内容：

#################################################

#                                               #

#       dataimport scheduler properties         #

#                                               #

#################################################

#  to sync or not to sync

#  1 - active; anything else - inactive

syncEnabled=1

#  which cores to schedule

#  in a multi-core environment you can decide which cores you want syncronized

#  leave empty or comment it out if using single-core deployment

syncCores=forumTopic   //更新的solr的core名称

#  solr server name or IP address

#  [defaults to localhost if empty]

server=localhost   //服务器端地址

#  solr server port

#  [defaults to 80 if empty]

port=8080    //端口号

#  application name/context

#  [defaults to current ServletContextListener's context (app) name]

webapp=solr

#  URL params [mandatory]

#  remainder of URL

#增量，注意entity=forumTopic 即自己core的名称

params=/dataimport?command=delta-import&clean=false&commit=true&optimize=false&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false

#  schedule interval

#  number of minutes between two runs

#  [defaults to 30 if empty]  增量更新的时间间隔

interval=1

#  重做索引的时间间隔，单位分钟，默认7200，即1天; 

#  为空,为0,或者注释掉:表示永不重做索引

reBuildIndexInterval=1

#  重做索引的参数

reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true&optimize=true&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false

#  重做索引时间间隔的计时开始时间，第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000；

#  两种格式：2012-04-11 03:10:00 或者  03:10:00，后一种会自动补全日期部分为服务启动时的日期

reBuildIndexBeginTime=09:30:44

配置完成，启动tomcat即可，访问地址，查看是否正常。再检查core下得配置文件，看时间改变即成功

     http://localhost:8080/solr/forumTopic/dataimport?command=delta-import&clean=true&commit=true&optimize=false&wt=json&indent=true&entity=forumTopic&verbose=false&debug=false

注意：solr-dataimporthandler-4.10.4.jar会和solr项目冲突建议用solr-dataimporthandler-5.2.1.jar

如果solr-dataimporthandler-5.2.1.jar不可以，就用低版本试试，但是只能选择一个，否则solr-dataimporthandler-5.2.1.jar

冲突，如果这个jar有问题，访问就会出现如下图错误，初始化失败