solr学习中遇到的问题

1. 使用中报错

   
   

   解决办法:将data/index中的write.lock删除后重启tomcat然后重启solr就可以了

2. 如何更新单个文档字段
   

   
   

   假设你上传一个文档到一个系统中，另外你可以增加可访问这一文档的用户。你可能知道，在 solr4.0 之期，你打算更新文档的一个字段，你必须重新索引整个文档。solr4.0 允许你只更新单个字段，只要满足一些基本的要求。接下来让我们看看在 solr4.0 中这是怎么做的。

   怎么做

   要实现这个特性，现假设我们有以下这一索引结果（将以下这些实体写入 schema.xml 文件的 fields 节点下）

   
   

3. <field name="id" type="string" indexed="true" stored="true"
   required="true" />
   <field name="file" type="text_general" indexed="true" stored="true"/>
   <field name="user" type="string" indexed="true" stored="true"
   multiValued="true" />

   
   

   额外需要做的是增加 _version_ 字段

   
   

4. <field name="_version_" type="long" indexed="true" stored="true"/>

   
   

   以上是 schema.xml 中所作的所有修改。另外假设我们有以下待索引的数据：

5. <doc>
   <field name="id">1</field>
   <field name="file">Sample file</field>
   <field name="user">gro</field>
   <field name="user">negativ</field>
   </doc>
   </add>

6. curl 'localhost:8983/solr/update?commit=true' -H 'Contenttype:
   application/json' -d '[{"id":"1","user":{"add":"jack"}}]'

7. http://localhost:8983/solr/select?q=*:*&indent=true

8. <?xml version="1.0" encoding="UTF-8"?>
   <response>
   <lst name="responseHeader">
   <int name="status">0</int>
   <int name="QTime">0</int>
   <lst name="params">
   <str name="indent">true</str>
   <str name="q">*:*</str>
   </lst>
   </lst>
   <result name="response" numFound="1" start="0">
   <doc>
   <str name="id">1</str>
   <str name="file">Sample file</str>
   <arr name="user">
   <str>gro</str>
   <str>negativ</str>
   <str>jack</str>
   </arr>
   <long name="_version_">1411121765349851136</long></doc>
   </result>
   </response>

9. curl 'localhost:8983/solr/update?commit=true' -H 'Contenttype:
   application/json' -d '[{"id":"1","file":{"set":"New file name"}}]'

10. <?xml version="1.0" encoding="UTF-8"?>
    <response>
    <lst name="responseHeader">
    <int name="status">0</int>
    <int name="QTime">1</int>
    <lst name="params">
    <str name="indent">true</str>
    <str name="q">*:*</str>
    </lst>
    </lst>
    <result name="response" numFound="1" start="0">
    <doc>
    <str name="id">1</str>
    <str name="file">New file name</str>
    <arr name="user">
    <str>gro</str>
    <str>negativ</str>
    <str>jack</str>
    </arr>
    <long name="_version_">1411121902871642112</long></doc>
    </result>
    </response>

    
    

    怎么工作的

    正如你所看到的那样，索引结构相当简单；我们有一个文档的标识、文档名称和可以访问这一文档的用户。正如你所看到的那样，这个索引中，所有的字段标识了存储（stored="true"），这个是局部更新功能所必须的。

    另一个需要做的事情是增加 _version_ 字段，在索引过程中不需要设置该字段的值，它是给 solr 内部使用的。

三、

Solr整合中文分词mmseg4j

1. Summary

本次使用的是Solr-4.7.0整合mmseg4j-1.9.1，下载mmseg4j-1.9.1.zip，把dist下面的jar文件拷贝到${solr-4.7.0}/WEB-INF/lib中，共三个jar文件

• mmseg4j-analysis-1.9.1.jar，

• mmseg4j-core-1.9.1.jar

• mmseg4j-solr-1.9.1.jar

2. 修改core中配置文件schema.xml

在core的配置文件（schema.xml）中，添加使用中文分词器的fieldtype。例如：${Solr.home}/collection1/conf/schema.xml

<!-- mmseg4j-->  
<fieldType name="text_complex" class="solr.TextField" positionIncrementGap="100" >    
    <analyzer>    
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/>    
    </analyzer>    
</fieldType>    
<fieldType name="text_maxword" class="solr.TextField" positionIncrementGap="100" >    
    <analyzer>    
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="dic"/>    
    </analyzer>    
</fieldType>    
<fieldType name="text_simple" class="solr.TextField" positionIncrementGap="100" >    
    <analyzer>    
      <!--  
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="n:/OpenSource/apache-solr-1.3.0/example/solr/my_dic"/>   
        -->  
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="dic"/>       
    </analyzer>    
</fieldType>  
<!-- mmseg4j-->

mmseg4j使用的是MMSeg算法，算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex 加了四个规则过虑。官方说：词语的正确识别率达到了 98.41%。mmseg4j 已经实现了这两种分词算法。

上例中添加了三中fieldtype，他们主要区别是使用的模式不同：

• text_simple 使用Simple分词方法

• text_complex Complex 加了四个规则过虑

• text_maxword 默认。在complex基础上实现了最多分词(max-word)。“很好听” -> "很好|好听"; “中华人民共和国” -> "中华|华人|共和|国"; “中国人民银行” -> "中国|人民|银行"。

3. 源码修改

运行服务器，检验中文分词。当输入‘中华人民共和国’并单机“Analyse Values”按钮时，出现如下错误：

修改mmseg4j-analysis模块的源码文件：com.chenlb.mmseg4j.analysis.MMSegTokenizer增加如下一行代码：

    public void reset() throws IOException {
        //lucene 4.0
        //org.apache.lucene.analysis.Tokenizer.setReader(Reader)
        //setReader 自动被调用, input 自动被设置。
+       super.reset();
        mmSeg.reset(input);
    }

保存后，重新编译打包：

mvn clean package -DskipTests

成功运行后如下：

4 solr hard commit做的事情

1、生成一个新的tlog文件，删除旧的tlog。
2、把内存中的索引文件fsync到磁盘，并创建一个index descriptor。这里比较耗费机器资源。
这样即使jvm崩溃或者宕机，也不影响这部分索引。
3、使得索引在searcher中可见。但是也需要重新打开searcher才行。

  soft commit做的事情
1、把内存文件fsync到磁盘，但不创建index descriptor。
也就是说原索引和现在的索引还互不感知，所以如果jvm崩溃，那这部分索引就没了。
2、可以重新打开searcher，使得新的索引可以被查找到。

 在solr中，查询被一个叫做 searcher的组件处理。在solr中，任何时候只有一个"active"的searcher。对于所有查询请求handler的所有的查询组件都是针对active searcher来执行查询的。
active searcher拥有一个底层lucene索引的只读快照视图。它遵循如下规则：如果你添加一个新文档到solr，它在从当前searcher的搜索结果中是不可见的。这引发了问题：在搜索结果中新文档如何变得可见？答案是关闭当前searcher并且打开一个新的包含更新索引只读视图的searcher。这就是提交(commit)文档到solr的意义 

 那么commit和设置true的区别是一个关闭打开searcher?一个使用了快照视图？

 这个应该是设置在commit的时候是否打开新的searcher 

  频繁commit肯定不好，新开searcher是有代价的

   还涉及到相关缓存的失效和重新预热等开销