在Solr中启用定时器自动更新(增量)

最近了解了全文检索的工具Solr,这个工具可以添加分词工具,还可以分页,看起来较为不错了,但是更新索引的操作还是需要手动来执行,在网上找了几圈的定时器更新,各有不同,于是乎尝试了下,成功了写下这个过程。
先下载solr-dataimport-scheduler.jar
百度云提取码:ntjc

放置Jar包

我用的是Solr8.0,运行环境为Tomcat 8.0,JDK1.8
在webapps下有两个包,一个solr,一个solrhome。
将下载好的jar包放入\solr\WEB-INF\lib下即可。

配置属性包

  • 若要让定时器能够执行,需要更改2个xml和1个配置文件

web.xml

该文件位于

\solr\WEB-INF\web.xml

在第一个servlet标签前添加


     
         org.apache.solr.handler.dataimport.scheduler.ApplicationListener
      

data-config.xml

该文件位于

\solrhome\gisutil\data-config.xml

其中gisutil为你自定义的core


    
    
    
        
          
           
            
            
        
    

在上述代码中

driver为你配置的数据地址,我这里用的是mysql

要添加定时索引需要配置的是entity 并在其中添加

deltaImportQuery="select * from PH_HOUSE where PH_HOUSE_ID='${dih.delta.id}'" 
deltaQuery="SELECT PH_HOUSE_ID as id FROM PH_HOUSE where updateTime >'${dataimporter.last_index_time}'"

因为是增量更新,所以需要有一个字段来断定是否是最近新增、修改、删除的数据,所以需要在表中添加updateTime字段


在Solr中启用定时器自动更新(增量)_第1张图片
image.png
pk='id' 

这里使用id作为主键,注意pk="id" 不能随便改 ,需要和schema.xml中的id匹配,否则会报“ org.apache.solr.common.SolrException: Document is missing mandatory uniqueKey field: id”

PH_HOUSE 、PH_HOUSE_ID、updateTime 

分别为表和主键ID以及更新标识,修改为自己需要的内容,注意在deltaQuery中必须将主键名as id


主键ID,记得name必须为id

managed-schema

该文件位于

\solrhome\gisutil\managed-schema

可以用记事本打开修改。


建议将update加入索引

配置定时器

在solrhome/gisutil(gisutil改成自己的core)建立config文件夹,并在其中建立dataimport.properties

#################################################
#                                              #
#      dataimport scheduler properties        #
#                                              #
#################################################
 
#  tosync or not to sync
#  1- active; anything else - inactive
# 这里的配置不用修改
syncEnabled=1
 
# which cores to schedule
#  ina multi-core environment you can decide which cores you want syncronized
# leave empty or comment it out if using single-core deployment
#  修改成你所使用的core,我这里是我自定义的core:simple
syncCores=solr_db_scheduler
 
# solr server name or IP address
# [defaults to localhost if empty]
这个一般都是localhost不会变
server=localhost
 
# solr server port
# [defaults to 80 if empty]
#  安装solr的tomcat端口,如果你使用的是默认的端口,就不用改了,否则改成自己的端口就好了
port=8983
 
# application name/context
# [defaults to current ServletContextListener's context (app) name]
#  这里默认不改
webapp=solr
 
# URL params [mandatory]
# remainder of URL
#  这里改成下面的形式,solr同步数据时请求的链接
params=/dataimport?command=delta-import&clean=false&commit=true
 
# schedule interval
# number of minutes between two runs
# [defaults to 30 if empty]
#这里是设置定时任务的,单位是分钟,也就是多长时间你检测一次数据同步,根据项目需求修改
#  开始测试的时候为了方便看到效果,时间可以设置短一点
interval=1
 
#  重做索引的时间间隔,单位分钟,默认7200,即5天;
#  为空,为0,或者注释掉:表示永不重做索引
reBuildIndexInterval=7200
 
#  重做索引的参数
reBuildIndexParams=/select?qt=/dataimport&command=full-import&clean=true&commit=true
 
#  重做索引时间间隔的计时开始时间,第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000;
#  两种格式:2012-04-11 03:10:00 或者 03:10:00,后一种会自动补全日期部分为服务启动时的日期
reBuildIndexBeginTime=03:10:00

上面是网上搜到的,在实际运行最终只要运行一次注释都会没了,下面是我本地的

#Fri May 24 09:36:13 CST 2019
PH_HOUSE.last_index_time=2019-05-24 09\:36\:11
interval=1
port=8088
server=localhost
params=/dataimport?command\=delta-import&clean\=false&commit\=true
webapp=solr
reBuildIndexInterval=1440
syncEnabled=1
last_index_time=2019-05-24 09\:36\:11
reBuildIndexBeginTime=03\:10\:00
reBuildIndexParams=/select?qt\=/dataimport&command\=full-import&clean\=true&commit\=true
syncCores=gisutil

以上就配置完成了
配置完成后可以启动Tomcat,在


在Solr中启用定时器自动更新(增量)_第2张图片
image.png

中进行搜索,搜到1条记录,然后我们添加一条数据


image.png

大约过1分钟我们再次查询,这时候可以看到tomcat记录
image.png

再次查询可以看到已经更新了
在Solr中启用定时器自动更新(增量)_第3张图片
image.png

你可能感兴趣的:(在Solr中启用定时器自动更新(增量))