Solr Near Real Time Searching

Solr官方文档：near real time searching

On the Page

• Commits and Searching
  • Transaction Logs(tlogs)
  • Configuring Commits
• Advanced Commit Options

Near Real Time (NRT) search 意味着文档被编入索引后不久就可以进行搜索。NRT搜索是SolrCloud的主要特性之一，在master/slave配置中很少尝试。

文档的持久性和可搜索性是由commits控制的。“Near”在“Near Real Time”是可配置的，以满足您的应用程序的需要。提交可以是“hard”提交，也可以是“soft”提交，可以由客户端(比如SolrJ)通过REST调用发出，也可以配置为在solrconfig.xml中自动执行。通常给出的建议是在solrconfig.xml中配置提交策略(见下面)，并避免从外部发出提交。

通常在NRT应用程序中，hard commits配置为openSearcher=false，而soft commits配置为使文档对搜索可见。

当发生提交时，会启动各种后台任务，例如合并段。这些后台任务不会阻止对索引的额外更新，也不会延迟文档的搜索可用性。

在为NRT配置时，要特别注意cache和autowarm设置，因为它们会对NRT性能产生重大影响。对于非常短的自动提交间隔，考虑完全禁用caching和autowarming。

Commits and Searching

hard commit 调用fsync进行索引化文件，以确保它们已被刷新到稳定的存储上。当前的事务日志将被关闭，并打开一个新的事务日志。请参阅下面的“transaction log”讨论，了解在没有hard commit的情况下如何恢复数据。hard commit还可以选择性地使文档在搜索中可见，但是不建议在NRT搜索中这样做，因为它比soft commit的开销更大。

soft commit 更快，因为它只使得索引更改可见，而不fsync索引文件，启动一个新的段或启动一个新的事务日志。有NRT需求的collections需要soft commit，以满足应用程序的可见性需求。soft commit可能比hard commit“更少的开销”(openSearcher=true)，但它不是免费的。建议在应用程序需求合理的情况下设置此值。

hard commit和soft commit都有两个主要的配置参数: maxDocs 和 maxTime。

maxDocs

Integer。定义激活前要处理的更新数量。

maxTime

Integer。激活前等待的毫秒数。

如果指定了这两个参数，则使用第一个过期的参数。一般来说，最好使用maxTime而不是maxDocs，特别是在批量索引大量文档时。明智地使用maxDocs和maxTime来调整提交策略。

hard commit有一个额外的参数openSearcher

openSearcher

true|false, 是否使文档对搜索可见。对于NRT应用程序，这通常被设置为false。soft commit可以控制文档对搜索可见性。

Transaction Logs

事务日志是自上次hard commit以来更新的“滚动窗口”。每次发生任何类型的hard commit时，都会关闭当前事务日志，打开一个新的事务日志。Soft commits对事务日志没有影响。

启用tlogs时，添加到索引中的文档将在索引调用返回到客户机之前写入tlog。在发生不适当的关闭(电源丢失、JVM崩溃、kill -9等)时，任何写入tlog但在Solr停止时还没有通过hard commit提交的文档都将在启动时重新播放。因此数据不会丢失。

当Solr被优雅地关闭时(使用bin/Solr stop命令)，Solr将关闭tlog文件和索引段，因此在启动时不需要重播。

令人困惑的一点是事务日志中包含多少数据。tlog不包含所有文档，只包含上次硬提交之后的文档。旧的事务日志文件在不再需要时被删除。

上面隐含的意思是，如果禁用了硬提交，事务日志将永远增长。因此，索引时启用硬提交是很重要的。

Configuring Commits

如上所述，通常最好在solrconfig.xml中配置提交(hard and soft)，避免从外部源发送提交。检查您的solrconfig.xml文件，因为默认值可能没有调整到您的需要。下面是两种提交方式的NRT配置示例:每60秒一次的hard commit和每30秒一次的hard commit。注意，这些不是一些示例中的值!

  ${solr.autoCommit.maxTime:60000}
  false



   ${solr.autoSoftCommit.maxTime:30000}

可以在运行时通过定义Java“系统变量”来覆盖这些参数，例如指定-Dsolr.autoCommit.maxTime=15000. 将以15秒的值覆盖hard commit间隔。

autoCommit (openSearcher=false)和autoSoftCommit的选择有不同的结果。如果出现非法的关闭，Solr可能需要autoCommit中指定的时间重播事务日志中未提交的文档。

autoSoftCommit所选择的时间决定了文档发送到Solr之后，在它变为可搜索且不影响事务日志之前的最长时间。为这个值选择应用程序所能容忍的时间间隔，通常15-60秒是合理的，甚至更长，这取决于需求。在时间间隔设置为非常短的情况下(比如1秒)，考虑禁用缓存(尤其是queryResultCache和filterCache)，因为它们没有什么效用。

对于非常高的批量索引，特别是对于没有搜索的初始加载，考虑通过为maxTime参数指定一个值-1来关闭autoSoftCommit。

Advanced Commit Options

所有类型的提交都可以从SolrJ客户机或通过URL调用。通常的建议是不要从外部调用提交。如果需要，请参阅更新命令。这些选项用于可从浏览器或curl等发出的XML更新命令，而相应的选项可从SolrJ客户机获得。