ES快速入门
1 ES的基本信息
1基本概念：
| Relational DB |
Elasticsearch |
| 数据库（database） |
索引（indices） |
| 表（tables） |
types |
| 行（rows) |
documents |
| 字段（columns） |
fields |
2 ES的适用和不适用场景
2.1 ES适合的场景
1 检索。ES本身作为一个搜索引擎，用来处理检索的任务再合适不过。你可以在线上项目中直接将内容写入ES以提供检索服务，也可以把以往的数据导入ES以处理特定的需求。
2 统计。ES的统计也是基于检索功能的，聚合功能使得统计结果处理起来非常方便。如果你只需要统计而不用检索，可能有其他工具更适合你，比如Spark SQL。
2.2 ES不适合的场景
官网说：ES不是数据库，不是可靠的数据存储系统。
1 mapping不可改，不能改index属性。ES中以定义的mapping不能修改名字和属性，无法修改名字勉强还能接受，但无法修改属性。官方文档中介绍了几种修改mapping的方法。一个是新建一个字段，程序中所有地方修改名字，这对于复杂的项目容易出错，而且无法保留原来的数据；另一个是利用alias创建一个新的索引，但是所有数据需要重新导入，这需要很长时间，操作性不强。
2 无法多对多。ES中提供3种关联关系：Field collapsing（严格来说不是关联），Nested object，Parent-child。前两种都是直接将一个mapping声明在另一个mapping中，第三种关联是在创建子文档是指明他的父文档，但是一个子文档只能有一个父文档，因此也不能实现多对多的关联。其实如果理解了ES的目的是提升检索效率，就不难理解为什么没有多对多关联了，在关系数据库里这就是个效率瓶颈。
3 没有用户验证和权限控制。ES本身的访问权限可以通过nginx进行控制，但是同一个ES中不同索引间目前是没有权限控制的。
4 从ES设计的初衷看，为了检索，为了统计。这个从字段的store属性中可以看出来，查看ES手册（https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-store.html）可以发现，默认情况下字段的原始值是不会被保存的，这跟数据存储是南辕北辙了。
5 项目开始时不好确定shards数量。少了以后扩展不方便，多了一开始影响性能。这个可以通过将type命名为doctype-yyyymmdd来解决，每天都生成新的一个或多个shard，但是注意在搜索时需要在doctype-*中搜索。
ES非常适合特定的需求，但不适合用于数据存储。ES索引速度快，扩展方便，性能优异，但在功能上不适合作为数据库使用。数据存储的目的是为了以后能方便的使用，不仅是针对当前的需求，也要为未来可能出现的需求做准备。由于ES有以上几点问题，无法适应需求变化。
5 没有锁
3 Elasticsearch之settings和mappings的意义
简单的说，就是
settings是修改分片和副本数的。
mappings是修改字段和类型的。
简单理解 ：mapping 是用来管理索引（index）中的内容的，setting是用来控制index整个的设置的。
Setting说明以及使用到的场景
索引的配置项按是否可以更改分为static属性与动态属性，所谓的静态配置即索引创建后不能修改。
静态属性 （简单了解即可）
| index.number_of_shards： |
索引分片的数量。默认值5，ES支持的最大分片数默认为1024。 |
| index.shard.check_on_startup： |
分片在打开之前是否检查该分片是否损坏。当检测到分片损坏时，将阻止打开。false：不检测，默认值；checksum：只检查物理结构；true：检查物理结构和路基损坏，相对比较消耗CPU |
| index.codec： |
数据存储的压缩算法，默认值LZ4，可选值best_compression，比LZ4可以获得更好的压缩比例(占用较小的磁盘空间，但是存储性能比LZ4低)。 |
| index.routing_partition_size： |
路由分区数，如果设置了该参数，其路由算法为：(hash(_routing) + hash(_id) % index.routing_parttion_size ) % number_of_shards；如果没有设置，路由算法为：hash(_routing) % number_of_shardings 其中_routing默认值为_id |
动态属性：（简单了解即可）
| index.number_of_replicas |
索引复制分片的个数，默认值1，该值必须大于等于0，创建索引后该值可以变更。 |
| index.auto_expand_replicas |
基于可用节点的数量自动分配副本数量,默认为 false（即禁用此功能）,可设置为：0-all |
| index.refresh_interval |
执行刷新操作的频率，该操作可以对索引的最新更改对搜索可见。默认1s。可以设置**-1**禁止刷新。 |
| index.max_result_window |
控制分页搜索的总记录数，from+size的大小不能超过该值，默认为10000。 |
| index.max_inner_result_window |
用于控制top aggregations，默认100。内部命中和顶部命中聚合占用堆内存，并且时间与from+size成正比，这限制了内存。 |
| index.max_rescore_window |
在rescore搜索中，rescore请求的window_size的最大值。 |
| index.max_docvalue_fields_search |
一次查询最多包含开启doc_values字段的个数，默认100。 |
| index.max_script_fields |
查询中允许的最大script_fields数量。默认为32。 |
| index.max_ngram_diff |
NGramTokenizer和NGramTokenFilter的min_gram和max_gram之间允许的最大差异。默认为1。 |
| index.max_shingle_diff |
对于ShingleTokenFilter, max_shingle_size和min_shingle_size之间允许的最大差异。默认为3。 |
| index.blocks.read_only |
索引数据、索引元数据是否只读，如果设置为true，则不能修改索引数据，也不能修改索引元数据。 |
| index.blocks.read_only_allow_delete |
与index.blocks.read_only基本类似，唯一的区别是允许删除动作。 |
| index.blocks.read |
设置为true以禁用对索引数据的读取操作。 |
| index.blocks.write |
设置为true以禁用对索引数据的写操作。（针对索引数据，而不是索引元数据） |
| index.blocks.metadata |
设置为true，表示不允许对索引元数据进行读与写。 |
| index.max_refresh_listeners |
索引的每个分片上当刷新索引时最大的可用监听器数量。这些侦听器用于实现refresh=wait_for。 |
| index.highlight.max_analyzed_offset |
高亮显示的最大字符数。此设置仅在对没有偏移或词向量的索引的文本上适用。默认情况下，此设置在6.x中未设置，默认为-1。 |
| index.max_terms_count |
Term查询中可以使用的最大Term数。默认为65536。 |
| index.routing.allocation.enable |
控制此索引的分片分配，可选值：all：默认，允许分片所有的分片；primaries：只允许分配主分片；new_primaries：仅允许分配新创建的主分片；none：不允许分配； |
| index.routing.rebalance.enable |
允许分片重新平衡；primaries：只允许主分片重新平衡；replicas：只允许副本分片重新平衡；none：不允许分片重新平衡为此索引启用分片重新平衡， |
| index.gc_deletes |
可选值：all：默认允许已删除文档的版本号，扔可用于进一步版本化操作的时间长度。默认60s。 |
| index.max_regex_length |
Regexp Query中可以使用的正则表达式的最大长度，默认为1000。 |
| mapping.coerce |
true：默认值，强制类型转换，把json中的值转为ES中字段的数据类型，譬如，把字符串"5"转为integer的5。false：当json的值与ES字段类型不匹配将会拒绝。 |
在这其中主要用到了 index.max_result_window 该动态参数
以及自定义分词器 。
4 Es的字段类型
4.1 核心数据类型
（1）字符串类型： text, keyword
（2）数字类型：long, integer, short, byte, double, float, half_float
（3）日期：date
（4）日期 纳秒：date_nanos
（5）布尔型：boolean
（6）Binary：binary
。……
4.2 复杂数据类型
（1）Object: object(for single JSON objects)
（2）Nested: nested (for arrays of JSON objects)
……
4.3 地理数据类型
（1）Geo-point： geo_point （for lat/lon points）
（2）Geo-shape: geo_shape (for complex shapes like polygons)
……
4.4 特殊数据类型
（1）IP: ip (IPv4 和 IPv6 地址)
（2）Completion类型：completion （to provide auto-complete suggestions）
……
4.5 Multi-fields
Multi-fields 通常用来以不同的方式或目的索引同一个字段。比如，一个字符串类型字段可以同时被映射为 text 类型以用于全文检索、 keyword字段用于排序或聚合。又或者，你可以用standard分析器、english分析器和french分析器来索引同一个 text字段。
分词器只对String类型起作用
字符串 - text：用于全文索引，该类型的字段将通过分词器进行分词，最终用于构建索引
字符串 - keyword：不分词，只能搜索该字段的完整的值，只用于 filtering
5 ES-分词器(Analyzer)
把输入的文本块按照一定的策略进行分解，并建立倒排索引。在Lucene的架构中，这个过程由分析器(analyzer)完成。
主要组成
- character filter:接收原字符流，通过添加、删除或者替换操作改变原字符流。例如：去除文本中的html标签，或者将罗马数字转换成阿拉伯数字等。一个字符过滤器可以有零个或者多个。
- tokenizer：简单的说就是将一整段文本拆分成一个个的词。例如拆分英文，通过空格能将句子拆分成一个个的词，但是对于中文来说，无法使用这种方式来实现。在一个分词器中,有且只有一个tokenizeer
- token filters：将切分的单词添加、删除或者改变。例如将所有英文单词小写，或者将英文中的停词a删除等。在token filters中，不允许将token(分出的词)的position或者offset改变。同时，在一个分词器中，可以有零个或者多个token filters.
内置的分析器：
| analyzer |
logical name |
description |
| standard analyzer |
standard |
standard tokenizer, standard filter, lower case filter, stop filter |
| simple analyzer |
simple |
lower case tokenizer |
| stop analyzer |
stop |
lower case tokenizer, stop filter |
| keyword analyzer |
keyword |
不分词，内容整体作为一个token(not_analyzed) |
| pattern analyzer |
whitespace |
正则表达式分词，默认匹配\W+ |
| language analyzers |
lang |
各种语言 |
| snowball analyzer |
snowball |
standard tokenizer, standard filter, lower case filter, stop filter, snowball filter |
| custom analyzer |
custom |
一个Tokenizer, 零个或多个Token Filter, 零个或多个Char Filter |
内置的分词器
| tokenizer |
logical name |
description |
| standard tokenizer |
standard |
|
| edge ngram tokenizer |
edgeNGram |
|
| keyword tokenizer |
keyword |
不分词 |
| letter analyzer |
letter |
按单词分 |
| lowercase analyzer |
lowercase |
letter tokenizer, lower case filter |
| ngram analyzers |
nGram |
|
| whitespace analyzer |
whitespace |
以空格为分隔符拆分 |
| pattern analyzer |
pattern |
定义分隔符的正则表达式 |
| uax email url analyzer |
uax_url_email |
不拆分url和email |
| path hierarchy analyzer |
path_hierarchy |
处理类似/path/to/somthing样式的字符串 |
ES内置的token filter
| token filter |
logical name |
description |
| standard filter |
standard |
|
| ascii folding filter |
asciifolding |
|
| length filter |
length |
去掉太长或者太短的 |
| lowercase filter |
lowercase |
转成小写 |
| ngram filter |
nGram |
|
| edge ngram filter |
edgeNGram |
|
| porter stem filter |
porterStem |
波特词干算法 |
| shingle filter |
shingle |
定义分隔符的正则表达式 |
| stop filter |
stop |
移除 stop words |
| word delimiter filter |
word_delimiter |
将一个单词再拆成子分词 |
| stemmer token filter |
stemmer |
|
| stemmer override filter |
stemmer_override |
|
| keyword marker filter |
keyword_marker |
|
| keyword repeat filter |
keyword_repeat |
|
| kstem filter |
kstem |
|
| snowball filter |
snowball |
|
| phonetic filter |
phonetic |
插件 |
| synonym filter |
synonyms |
处理同义词 |
| compound word filter |
dictionary_decompounder, hyphenation_decompounder |
分解复合词 |
| reverse filter |
reverse |
反转字符串 |
| elision filter |
elision |
去掉缩略语 |
| truncate filter |
truncate |
截断字符串 |
| unique filter |
unique |
|
| pattern capture filter |
pattern_capture |
|
| pattern replace filte |
pattern_replace |
用正则表达式替换 |
| trim filter |
trim |
去掉空格 |
| limit token count filter |
limit |
限制token数量 |
| hunspell filter |
hunspell |
拼写检查 |
| common grams filter |
common_grams |
|
| normalization filter |
arabic_normalization, persian_normalization |
ES内置的character filter
| character filter |
logical name |
description |
| mapping char filter |
mapping |
根据配置的映射关系替换字符 |
| html strip char filter |
html_strip |
去掉HTML元素 |
| pattern replace char filter |
pattern_replace |
用正则表达式处理字符串 |
有了这些就可以自定分析器。
6 索引和搜索分词
文本分词会发生在两个地方：
- 创建索引:当索引文档字符类型为text时，在建立索引时将会对该字段进行分词。
- 搜索：当对一个text类型的字段进行全文检索时，会对用户输入的文本进行分词。
配置分词器
默认ES使用standard analyzer，如果默认的分词器无法符合你的要求，可以自己配置。
https://console.bce.baidu.com/api/bes/kibana/461446499864285184/app/kibana#/dev_tools/console?_g=()
