solrcloud数据导入配置

已经配置好了solrcloud三台服务器 192.168.1.236、192.168.1.237、192.168.1.238

zookeeper 节点192.168.1.236、192.168.1.237、192.168.1.238

solr tomcat节点192.168.1.236、192.168.1.237、192.168.1.238

1.添加jar包到tomcat (三个节点都要）

复制solr解压目录中dist下的solr-dataimporthandler-5.5.4.jar    solr-dataimporthandler-extras-5.5.4.jar 复制到WEB-INF/lib下

添加mysql-connection jar包到WEB-INF/lib下，我这里是mysql-connector-java-5.1.8.jar

2.修改配置文件solrconfig.xml（一个节点操作）

下载zookeeper上的solrconfig.xml

/usr/local/solr/server/scripts/cloud-scripts/zkcli.sh -zkhost 192.168.1.236:2181 -cmd getfile /configs/mycollection3/solrconfig.xml solrconfig.xml 

修改solrconfig.xml添加如下内容：

  <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  
    	<lst name="defaults">  
        	<str name="config">data-config.xmlstr>  
    	lst>  
 requestHandler>

上传修改好的文件到zookeeper

/usr/local/solr/server/scripts/cloud-scripts/zkcli.sh -zkhost 192.168.1.236:2181 -cmd putfile /configs/mycollection3/solrconfig.xml solrconfig.xml

3.创建data-config.xml文件 （一个节点操作）

配置数据库连接、查询sql 、字段

保证用户名密码可以远程连接

内容：

dataConfig>  
   
  
  
      
  
          
          
          
          
          
          
         
       
    
  

上传到zookeeper:

/usr/local/solr/server/scripts/cloud-scripts/zkcli.sh -zkhost 192.168.1.236:2181 -cmd putfile /configs/mycollection3/data-config.xml data-config.xml

4.修改manage_schema(就是schema.xml   一个节点操作)
从zookeeper 下载manage_schema

修改manage_schema添加需要导入solr的字段

上传修改后的文件到zookeeper

到此配置完毕  重启tomcat

选择好entry为上面配置的entry ,我这里是area ,点击execute 就开始导入，我们可以点击refresh status 刷新导入状态

看到completed则表示导入完成：

我们可以在query中查询测试

增量跟新：

数据库建表,注意last_modify，这是增量跟新必须，有了这样一个字段，Solr才能判断增量导入的时候，哪些数据是新的：

data-config.xml配置：

query : 查询所有数据
deltaQuery：从query的数据中查询所有last_modified大于上一次同步${dataimporter.last_index_time}时间的id（即为需要增量同步的数据），该id = ${dih.delta.id}
deltaImportQuery ：根据 deltaQuery 返回的id查找所有信息，为增量同步提供数据源
${dih.delta.id} ： 记录本次要索引的id
${dataimporter.last_index_time} ： 最后一次索引的时间，即上一次同步的时间

在managed-schema（旧版schema.xml）中配置字段：

将修改的配置上传到zookeeper上，跟新索引