solr data import性能优化

背景:

    solr 4.* 或者 solr 5.1

    数据结构存在entity嵌套

问题描述:

    全量导入100万条数据的话,子entity的query语句会被调用100万次,由于solr没有使用PreparedStatement(绑定变量的方式),SQL会在DB Server上硬解析100万次。

    此问题是solr的bug(solr-1262),从3.*到目前(5.1.0)一直没有修改。

解决方法:

    修改solr的源码,改为使用PreparedStatement(绑定变量的方式)。

    偷懒的方式可以hack一下solr的代码,比如

    1、将query的格式改为 "select * from tableA where id=?###123"

    2、在JDBCDataSource中将Statement修改为PreparedStatement,并自行解析query中的字符串,其中真正的SQL为select * from tableA where id=?,参数为123.

    更完备的方法可以修改db-data-config.xml的schema,增加支持PreparedStatement的属性~

你可能感兴趣的:(Solr,性能优化,import,Data)