分析（Analysis），在Lucene中指的是将域Field文本转换成最基本的索引表示单元-项（Term）的过程。在搜索过程中，这些项用于决定什么样的文档能够匹配查询条件。
1.使用分析器
使用Lucene时，选择一个合适的分析器是非常关键的。分析操作将出现在任何需要将文本转换成项的时刻，而对于Lucene核心来说，分析操作会出现在两个时间点：建立索引期间和使用QueryParser对象进行搜索时。
1.1 索引过程中的分析
在索引期间，文档域值所包含的文本内容需要被转换成语汇单元。
Analyzer analyzer = new StandAnalyzer(Version.LUCENE_30);
IndexWriter writer = new IndexWriter(directory, analyzer, IndexWriter.MaxFieldLength.UNLIMITED);
上面的代码初始化index writer的时候传入了一个默认分析器。索引文档期间一般通过默认的分析器来分析文档中的每个域。但若某个文档需要特殊的分析器处理的话，可以针对这个文档指定分析器：IndexWriter类的addDocument方法和updateDocument方法都允许为某个文档选择对应的分析器。
1.2 QueryParser分析
QueryParser能够很好地为搜索用户提供形式自由的查询。为了完成这个任务，QueryParser使用分析器将文本信息分隔成各个项用以搜索。在实例化QueryParser对象时，同样需要传入一个分析器对象：
QueryParser parser = new QueryParser(Version.LUCENE_30, "contents", analyzer);
Query query = parser.parse(expression);
查询时，QueryParser所使用的分析器必须和索引期间使用的分析器相同吗？不一定。
2.剖析分析器
Analyzer类是一个抽象类，是所有分析器的基类。它通过TokenStream类以一种很好的方式将文本逐字转换为语汇单元流。分析器实现TokenStream对象的唯一声明方法是：
public TokenStream tokenStream(String FieldName, Reader reader)
我们从简单的SimpleAnalyzer类开始观察分析器怎样工作的。
public final class SimpleAnalyzer extends Analyzer {
@Override
public TokenStream tokenStream(String fieldName, Reader reader) {
return new LowerCaseTokenizer(reader);
}
@Override
public TokenStream reusableTokenStream(String fieldName, Reader reader) throws IOException {
Tokenizer tokenizer = (Tokenizer) getPreviousTokenStream();
if (tokenizer == null) {
tokenizer = new LowerCaseTokenizer(reader);
} else {
tokenizer.reset(reader);
}
return tokenizer;
}
}
LowerCaseTokenizer对象一句文本中的非字母字符来分隔文本，去掉非字母字符，并且正如它名字所暗示的那样，将所有字母转换成小写形式。resuableTokenStream()方法是一个可选方法，分析器可以实现这个方法并通过它得到更好的索引效率。该方法被允许重复利用此前向对应线程返回的同一个TokenStream。这种方式可以节约大量的垃圾搜索开销。Analyzer基类实现了两个工具类防范，即setPreviousTokenStream()和getPreviousTokenStream()，它们为本机存储线程提供针对TokenStream对象的存储和回收功能。
2.1 语汇单元的组成
语汇单元流是分析过程产生的基本单元。一个语汇单元携带了一个文本值(即单词本身)和其它一些数据：原始文本从起点到终点的偏移量、语汇单元的类型、以及位置增量。当文本在索引过程中进行分析后，每个语汇单元都作为一个项被传递给索引。位置增量、起点和终点偏移量和有效负载是语汇单元携带到索引中的唯一附加元数据。语汇单元的类型和标志位都被抛弃了，它们只在分析过程使用。位置增量使得当前语汇单元和前一个语汇单元在位置上关联起来。一般来说位置增量为1，表示每个单词存在于域中唯一且连续的位置。位置增量因子会直接影响短语查询和跨度查询，因为这些查询需要知道域中各个项之间的距离。如果位置增量大于1，则允许语汇单元之间有空隙，可以用这个空隙来表示被删除的单词。位置增量为0的语汇单元表示将语汇单元放置在前一个语汇单元的位置上。同义词分析器可以通过0增量来表示插入的同义词。这个做法使得Lucene在进行短语查询时，输入任一个同义词都能匹配到同一结果。
2.2 语汇单元流揭秘
TokenStream是一个能在被调用后产生语汇单元序列的类，但TokenStream类有两个不同的类型：Tokenizer类和TokenFilter类。这两个类都从抽象类TokenStream继承而来。Tokenizer对象对用java.io.Reader对象读取字符并创建语汇单元流，而TokenFilter则负责处理输入的语汇单元，然后通过新增、删除或者修改属性的方式来产生新的语汇单元。
当Analyzer从它的tokenStream方法或者reusableTokenStream方法返回tokenStream对象后，它就开始用一个tokenizer对象创建初始语汇单元序列，然后再链接任意数量的tokenFilter对象来修改这些语汇单元。这被称之为分析器链(analyzer chain)。
2.3 语汇单元过滤器：过滤顺序的重要性
对于某些TokenFilter子类来说，在分析过程中对事件的处理顺序是非常重要的。每个步骤也许都必须前一个步骤才能完成。移除停用词就是一个很好的例子。StopFilter类在停用词集合中区分大小写地查对每一个语汇单元。这个步骤依赖于输入小写形式的语汇单元。
3. 使用内置分析器
Lucene包含了一些内置分析器。
3.1 StopAnalyzer
StopAnalyzer分析器除了完成基本的单词拆分和小写功能之外，还负责移除一些称之为停用词的特殊单词。
3.2 StandardAnalyzer
StandardAnalyzer是公认的最实用的Lucene内置分析器。
3.3 选择恰当的分析器
事实上，大多数应用程序都不使用任意一种内置分析器，而是选择创建自己的分析器链
4.同义词、别名和其他相同意义的词
出于某些原因，自然语言已演变成可以用多种方式来表达同一事物。搜索期间不许处理这类同义词，否则用户可能找不到他们想要的文档
4.1 创建SynonymAnalyzer
SynonymAnalyzer的目标是检测具有同义词的单词，然后在同一位置插入对应的同义词。事实上同义词的实现可以在索引阶段也可以在搜索阶段，这两种方式的区别在于，如果索引阶段实现，那么索引的体积会增大，如果搜索方式实现，可能会存在查询不到的情况，这与你使用的查询解析器有关。这两者我更倾向于在索引阶段实现同义词。
小结
虽然分析功能只是Lucene的一个方面，不过它却是最需要重视的内容。只有在索引过程中经过分析产生的词才能被搜索到。完全通用的分析方法时不存在的，所以当开始进行分析时，你可能需要根据不同的应用领域来调整对应的分析过程。