solr之定时增量索引实现
solr本身就提供了一个工具库实现定时增量索引，但是我在使用的过程中发现会出现一些问题，目前遇到两点：
1.启动时总是报如下异常：
The web application [solr] registered the JDBC driver [com.mysql.jdbc.Driver] but failed to unregister it when the web application was stopped. To prevent a memory leak, the JDBC Driver has been forcibly unregistered.
尝试修改源码，不通过SolrResourceLoader加载配置文件，修改完成部署后，可以正常启动。
2.正常启动后，定时发起任务时，报如下异常：
415 Unsupported Media Type
查看BaseTimerTask类，发现在发送http请求的地方，没有在请求头中加入Content-Type。修改之后问题解决。
代码具体修改如下，完整源码会在最后提供下载地址：
ApplicationListener类：
@Override
public void contextInitialized(ServletContextEvent servletContextEvent) {
...
Timer timer = new Timer();
HttpPostScheduler task = new HttpPostScheduler(
servletContext.getServletContextName(),
servletContext.getInitParameter("autoDeltaImportConfPath"),
timer);
...
}
SolrDataImportProperties类：
...
private String autoDeltaImportConfPath;
public SolrDataImportProperties() {
}
public SolrDataImportProperties(String autoDeltaImportConfPath) {
this.autoDeltaImportConfPath = autoDeltaImportConfPath;
}
...
public void loadProperties(boolean force) {
try {
if (force || properties == null) {
properties = new Properties();
File dataImportProperties = new File(autoDeltaImportConfPath,
"dataimport.properties");
...
}
HttpPostScheduler类：
public HttpPostScheduler(String webAppName, String autoDeltaImportConfPath, Timer t) throws Exception{
...
//load properties from global dataimport.properties
p = new SolrDataImportProperties(autoDeltaImportConfPath);
...
}
...
private void sendHttpPost(String completeUrl, String coreName){
...
URL url = new URL(completeUrl);
HttpURLConnection conn = (HttpURLConnection)url.openConnection();
conn.setRequestMethod("POST");
conn.setRequestProperty("type", "submit");
conn.setRequestProperty("Content-Type", "*/*"); //新增
conn.setDoOutput(true);
...
}
web.xml文件：
<context-param> <param-name>autoDeltaImportConfPath</param-name> <param-value>/yourconfpath</param-value> </context-param> <listener> <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class> </listener>
另外说明一点，现在的dataimport.properties可以随意放，只需在上面指定位置即可。
源码托管在Git osc了，地址是http://git.oschina.net/ywooer/solr-dataimporthandler-scheduler.git
参考文档：
官方文档，http://wiki.apache.org/solr/DataImportHandler#Scheduling
官方工具库：http://code.google.com/p/solr-data-import-scheduler/
另外有一个第三方实现支持重建索引：https://code.google.com/p/solr-dataimport-scheduler/