ElasticSearch
什么是ElasticSearch？
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个基于RESTful web接口的分布式全文搜索引擎。ElasticSearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。根据DB-Engines的排名显示，ElasticSearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基Lucene）。
总结：
1、elasticsearch是一个基于Lucene的分布式全文检索服务器。
2、elasticsearch隐藏了Lucene的复杂性，对外提供Restful 接口来操作索引、搜索。
为什么要用ElasticSearch？
当我们访问购物网站的时候，我们可以根据我们随意所想的内容输入关键字就可以查询出相关的内容，这是怎么做到呢？这些随意的数据不可能是根据数据库的字段查询的，那是怎么查询出来的呢，为什么千奇百怪的关键字都可以查询出来呢？
答案就是全文检索服务，ElasticSearch是一个基于Lucene的全文检索服务器，而lucene采用了词元匹配方案。举个例子：北京天安门----Lucene切分词：北京 天安门 等等这些词元，当我们搜索的时候这些词元都可以检索到北京天安门。
原理
ElasticSearch使用倒排索引
什么是正排索引？
从数据的第一条开始依次往下查找，直到找到自己所需要的内容
以查字典为例：查字典从第一页开始找，直到找到自己需要查找的内容为止(文档---->关键字)
什么是倒排索引？
倒排索引（Inverted index）:也常被称为反向索引，倒排索引是从关键字到文档的映射（已知关键字求文档）。
类似与通过字典的目录查找自己需要查找的内容。
逻辑结构部分是一个倒排索引表，由三部分组成：
1、将搜索的文档最终以Document方式存储起来。
2、将要搜索的文档内容分词，所有不重复的词组成分词列表。
3、每个分词和docment都有关联。
即：
term 分词
trem------------------------>document 分词与文档链接
document 文档
分词列表的特点：1.不重复 2.“的 地 得 a in on”语气词不参加分词 3.不搜索的filed不参加分词，eg:图片地址
如何使用es？
想要使用首先要安装：
安装
环境要求
1、jdk必须是jdk1.8.0_131以上版本。
2、ElasticSearch 需要至少4096 的线程池、65536个文件创建权限和 262144字节以上空间的虚拟内存才能正常启动，所以需要为虚拟机分配至少1.5G以上的内存
3、从5.0开始，ElasticSearch 安全级别提高了，不允许采用root帐号启动
4、Elasticsearch的插件要求至少centos的内核要3.5以上版本
下载安装包
ElasticSearch官网：https://www.elastic.co/cn/
设置虚拟机内存
虚拟机分配至少1.5G以上的内存，干脆设置为2G内存
创建用户
从5.0开始，ElasticSearch 安全级别提高了，不允许采用root帐号启动，所以我们要添加一个用户。
1.创建elk 用户组
groupadd elk
2.创建用户admin
useradd admin
passwd admin
3.将admin用户添加到elk组
usermod -G elk admin
5.为用户分配权限
#chown将指定文件的拥有者改为指定的用户或组 -R处理指定目录以及其子目录下的所有文件
chown -R admin:elk /usr/upload
chown -R admin:elk /usr/local
切换用户：
su admin
安装
ES是Java开发的应用，解压即安装：
tar -zxvf elasticsearch-6.2.3.tar.gz -C /usr/local
目录结构
bin 目录：可执行文件包
config 目录：配置相关目录
lib 目录：ES 需要依赖的 jar 包，ES 自开发的 jar 包
logs 目录：日志文件相关目录
modules 目录：功能模块的存放目录，如aggs、reindex、geoip、xpack、eval
plugins 目录：插件目录包，三方插件或自主开发插件
data 目录：在 ES 启动后，会自动创建的目录，内部保存 ES 运行过程中需要保存的数据。
修改配置文件
ES安装目录config中配置文件如下：
elasticsearch.yml：用于配置Elasticsearch运行参数
jvm.options：用于配置Elasticsearch JVM设置
log4j2.properties：用于配置Elasticsearch日志
elasticsearch.yml
本项目配置如下：
cluster.name: power_shop
node.name: power_shop_node_1
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["192.168.115.135:9300", "192.168.115.136:9300"]
path.data: /usr/local/elasticsearch-6.2.3/data
path.logs: /usr/local/elasticsearch-6.2.3/logs
http.cors.enabled: true
http.cors.allow-origin: /.*/
注意意path.data和path.logs路径配置正确。
常用的配置项如下：
cluster.name:
配置elasticsearch的集群名称，默认是elasticsearch。建议修改成一个有意义的名称。
node.name:
节点名，通常一台物理服务器就是一个节点，es会默认随机指定一个名字，建议指定一个有意义的名称，方便管理一个或多个节点组成一个cluster集群，集群是一个逻辑的概念，节点是物理概念，后边章节会详细介绍。
path.data:
设置索引数据的存储路径，默认是es_home下的data文件夹，可以设置多个存储路径，用逗号隔开。
path.logs:
设置日志文件的存储路径，默认是es_home下的logs文件夹
network.host:
设置绑定主机的ip地址，设置为0.0.0.0表示绑定任何ip，允许外网访问，生产环境建议设置为具体的ip。
http.port: 9200
设置对外服务的http端口，默认为9200。
transport.tcp.port: 9300
集群结点之间通信端口
discovery.zen.ping.unicast.hosts:[“host1:port”, “host2:port”, “…”]
设置集群中master节点的初始列表。
discovery.zen.ping.timeout: 3s
设置ES自动发现节点连接超时的时间，默认为3秒，如果网络延迟高可设置大些。
http.cors.enabled：
是否支持跨域，默认为false
http.cors.allow-origin：
当设置允许跨域，默认为*,表示支持所有域名
jvm.options
设置最小及最大的JVM堆内存大小：
在jvm.options中设置 -Xms和-Xmx：
1） 两个值设置为相等
2） 将Xmx 设置为不超过物理内存的一半。
默认内存占用太多了，我们调小一些：
-Xms512m
-Xmx512m
log4j2.properties
日志文件设置，ES使用log4j，注意日志级别的配置。
启动和关闭
1、启动
./elasticsearch
#或
./elasticsearch -d
2、关闭
ps-ef|grep elasticsearch
kill -9 pid
这时启动会报错，因为es的要求 需要至少4096 的线程池、65536个文件创建权限和 262144字节以上空间的虚拟内存，centos的内核要3.5以上版本才能正常启
解决内核问题
我使用的是centos7所以没有内核问题，低版本的只需要禁用这个插件即可
修改elasticsearch.yml文件，在最下面添加如下配置：
bootstrap.system_call_filter: false
解决文件创建权限问题
Linux 默认来说，一般限制应用最多创建的文件是 4096个。但是 ES 至少需要 65536 的文件创建权限。我们用的是admin用户，而不是root，所以文件权限不足。
使用root用户修改配置文件:
vim /etc/security/limits.conf
追加下面的内容：
* soft nofile 65536
* hard nofile 65536
解决线程开启限制问题
默认的 Linux 限制 root 用户开启的进程可以开启任意数量的线程，其他用户开启的进程可以开启1024 个线程。必须修改限制数为4096+。因为 ES 至少需要 4096 的线程池预备。
如果虚拟机的内存是 1G，最多只能开启 3000+个线程数。至少为虚拟机分配 1.5G 以上的内存。
使用root用户修改配置：
vim /etc/security/limits.conf
追加：
* soft nproc 4096
* hard nproc 4096
解决虚拟内存问题
ES 需要开辟一个 262144字节以上空间的虚拟内存。Linux 默认不允许任何用户和应用直接开辟虚拟内存。
vim /etc/sysctl.conf
追加下面内容：
vm.max_map_count=655360 #限制一个进程可以拥有的VMA(虚拟内存区域)的数量
然后执行命令，让sysctl.conf配置生效：
sysctl -p
注：以上操作需要在root角色下执行！！！
测试
ES 中只要启动了任意一个 ES 应用就是启动了一个 ES的 cluster 集群。默认的 ES集群命名为 elasticsearch。如果启动了多个应用（可以在多个节点或单一节点上启动多个应用），默认的ES 会自动找集群做加入集群的过程。
浏览器访问：http://192.168.115.135:9200
为了方便使用es建议安装以下客户端
安装Kibana
什么是Kibana？
Kibana是ES提供的一个基于Node.js的管理控制台, 可以很容易实现高级的数据分析和可视化，以图标的形式展现出来。
kibana可以用来编辑请求语句的，方便学习操作es的语法。有时在进行编写程序，写到查询语句时，往往我会使用kibana进行书写，然后再粘贴到程序中。（不容易出错）
下载
ElasticSearch官网：https://www.elastic.co/cn/
安装
在window中安装Kibana很方便，解压即安装
修改配置
修改config/kibana.yml配置：
server.port: 5601
server.host: "0.0.0.0" #允许来自远程用户的连接
elasticsearch.url: http://192.168.116.135:9200 #Elasticsearch实例的URL
启动
./bin/kibana
测试
浏览器访问：http://127.0.0.1:5601
安装head
什么是head？
head插件是ES的一个可视化管理插件，用来监视ES的状态，并通过head客户端和ES服务进行交互，比如创建映射、创建索引等。从ES6.0开始，head插件支持使得node.js运行。
安装
1、下载head
下载地址：https://github.com/mobz/elasticsearch-head
在window中安装head很方便，解压即安装
2、运行
npm run start
测试
浏览器访问：http://127.0.0.1:9100/
使用
建库
创建index
索引库。包含若干相似结构的 Document 数据，相当于数据库的database。
语法：PUT /index_name
如：
PUT /java2022
{
"settings": {
"number_of_shards": 2,
"number_of_replicas": 1
}
}
number_of_shards - 表示一个索引库将拆分成多片分别存储不同的结点，提高了ES的处理能力
number_of_replicas - 是为每个 primary shard分配的replica shard数，提高了ES的可用性，如果只有一台机器，设置为0
效果：可在安装的head后，在浏览器中查看
修改index
注意：索引一旦创建，primary shard 数量不可变化，可以改变replica shard 数量。
语法：PUT /index_name/_settings
如：
PUT /java2022/_settings
{
"number_of_replicas" : 1
}
ES 中对 shard 的分布是有要求的，有其内置的特殊算法：
Replica shard 会保证不和他的那个 primary shard 分配在同一个节点上；如过只有一个节点，则此案例执行后索引的状态一定是yellow。
删除index
当要删除多个库时，使用逗号间隔即可
DELETE /java2022[, other_index]
建表
映射，创建映射就是向索引库中创建field（类型、是否索引、是否存储等特性）的过程，下边是document和field与关系数据库的概念的类比：
| elasticsearch | 关系数据库 |
|---|---|
| index(索引库) | database(数据库) |
| type(类型) | table(表) |
| document(文档) | row(记录) |
| field(域) | column(字段) |
注意：6.0之前的版本有type（类型）概念，type相当于关系数据库的表，ES6.x 版本之后，type概念被弱化ES官方将在ES7.0版本中彻底删除type。
创建mapping
语法：POST /index_name/type_name/_mapping
如：
POST /java2022/course/_mapping
{
"properties": {
"name": {
"type": "text"
},
"description": {
"type": "text"
},
"studymodel": {
"type": "keyword"
}
}
}
效果：可在安装的head后，在浏览器中查看
查询mapping
查询所有索引的映射：
GET /java06/course/_mapping
修改mapping
映射创建成功可以添加新字段，已有字段不允许修改。
删除mapping
通过删除索引来删除映射，删表即删库，删库？？？跑路！！！
添加数据
创建document
POST语法
此操作为 ES 自动生成 id 的新增 Document 方式。
语法：POST /index_name/type_name/id
如：
POST /java2022/course/1
{
"name":"python",
"description":"Python",
"studymodel":"201002"
}
POST /java2022/course
{
"name":".net",
"description":".net",
"studymodel":"201003"
}
PUT语法(建议)
此操作为手工指定 id 的 Document 新增方式。
语法：PUT/index_name/type_name/id{field_name:field_value}
如：
PUT /java2022/course/2
{
"name":"java",
"description":"java",
"studymodel":"201001"
}
结果：
{
"_index": "test_index", 新增的 document 在什么 index 中，
"_type": "my_type", 新增的 document 在 index 中的哪一个 type 中。
"_id": "1", 指定的 id 是多少
"_version": 1, document 的版本是多少，版本从 1 开始递增，每次写操作都会+1
"result": "created", 本次操作的结果，created 创建，updated 修改，deleted 删除
"_shards": { 分片信息
"total": 2, 分片数量只提示 primary shard
"successful": 1, 数据 document 一定只存放在 index 中的某一个 primary shard 中
"failed": 0
},
"_seq_no": 0,
"_primary_term": 1
}
效果：依然可在安装的head后，在浏览器中查看
查询document
语法：
GET /index_name/type_name/id (建议)
或
GET /index_name/type_name/_search?q=field_name:field_value
如：根据课程id查询文档
GET /java2022/course/1
如：查询所有记录
GET /java2022/course/_search
如：查询名称中包括java关键字的的记录
GET /java2022/course/_search?q=name:java
删除Document
ES 中执行删除操作时，ES先标记Document为deleted状态，而不是直接物理删除。当ES 存储空间不足或工作空闲时，才会执行物理删除操作，标记为deleted状态的数据不会被查询搜索到（ES 中删除 index ，也是标记。后续才会执行物理删除。所有的标记动作都是为了NRT（近实时）实现）
语法：DELETE /index_name/type_name/id
如：
DELETE /java2022/course/3
ES读写过程
当客户端创建document的时候，es需要确定这个document放在该index哪个shard上，这个过程就是document routing（数据路由）。
路由过程：
路由算法：shard = hash(5) %number_of_primary_shards
id：document的_id，可能是手动指定，也可能是自动生成，决定一个document在哪个shard上
number_of_primary_shards*：*主分片數量。
这也是为什么primary shard 数量不可变化原因
假如我们的集群在初始化的时候有5个primary shard，我们往里边加入一个document id=5，假如hash(5)=23,这时该document 将被加入 (shard=23%5=3)P3这个分片上。如果随后我们给es集群添加一个primary shard ，此时就有6个primary shard，当我们GET id=5 ，这条数据的时候，es会计算该请求的路由信息找到存储他的 primary shard（shard=23%6=5） ，根据计算结果定位到P5分片上。而我们的数据在P3上。所以es集群无法添加primary shard，但是可以扩展replicas shard。
IK分词器
什么是IK分词器？
IK-analyzer：最新版在https://code.google.com/p/ik-analyzer/上，支持Lucene 4.10从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词 歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。 但是也就是2012年12月后没有在更新。
为什么使用IK分词器？
由于es是有外国人编写的，所以在中文的使用上会有所缺陷，我们可以使用IK分词器解决
测试 ：使用当前索引库使用的分词器
POST /_analyze
{
"text":"测试分词器，后边是测试内容：spring cloud实战"
}
会发现分词的效果将“测试”这个词拆分成两个单字“测”和“试”，这是因为当前索引库使用的分词器对中文就是单字分词。
想要实现我们习惯的中文分词，使用IK分词器即可以达到我们想要效果
安装
下载IK分词器：（Github地址：https://github.com/medcl/elasticsearch-analysis-ik）
1、下载zip：
2、解压，并将解压的文件拷贝到ES安装目录的plugins下的ik(重命名)目录下，重启es
注：重命名只是个人习惯，不重命名也可
分词模式
ik分词器有两种分词模式：ik_max_word和ik_smart模式。
1、ik_max_word
会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民大会堂、人民、共和国、大会堂、大会、会堂等词语。
2、ik_smart
会做最粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。
自定义词库
如果要让分词器支持一些专有词语，可以自定义词库。
iK分词器自带的main.dic的文件为扩展词典，stopword.dic为停用词典。
也可以上边的目录中新建一个my.dic文件（注意文件格式为utf-8（不要选择utf-8 BOM））
可以在其中自定义词汇：
比如定义：
配置文件中 配置my.dic，
field详细介绍
field的属性介绍
type：
通过type属性指定field的类型。
"name":{
"type":"text"
}
analyzer：
通过analyzer属性指定分词模式。
"name": {
"type": "text",
"analyzer":"ik_max_word"
}
上边指定了analyzer是指在索引和搜索都使用ik_max_word，如果单独想定义搜索时使用的分词器则可以通过search_analyzer属性。
对于ik分词器建议是索引时使用ik_max_word将搜索内容进行细粒度分词，搜索时使用ik_smart提高搜索精确性。
"name": {
"type": "text",
"analyzer":"ik_max_word",#生成索引目录时
"search_analyzer":"ik_smart"#检索时
}
index：
通过index属性指定是否索引。
默认为index=true，即要进行索引，只有进行索引才可以从索引库搜索到。但是也有一些内容不需要索引，通俗的讲就是需不需要通过此属性查找数据
比如：商品图片地址只被用来展示图片，不进行搜索图片，此时可以将index设置为false。
删除索引，重新创建映射，将pic的index设置为false，尝试根据pic去搜索，结果搜索不到数据
"pic": {
"type":"text",
"index":false
}
source：
如果某个字段内容非常多，业务里面只需要能对该字段进行搜索，比如：商品描述。查看文档内容会再次到mysql或者hbase中取数据，把大字段的内容存在Elasticsearch中只会增大索引，这一点文档数量越大结果越明显，如果一条文档节省几KB，放大到亿万级的量结果也是非常可观的。
如果只想存储某几个字段的原始值到Elasticsearch，可以通过incudes参数来设置，在mapping中的设置如下:
POST /java2022/course/_mapping
{
"_source": {
"includes":["description"]
}
}
同样，可以通过excludes参数排除某些字段：
POST /java2022/course/_mapping
{
"_source": {
"excludes":["description"]
}
}
常用field类型
text文本字段
例如：
1、创建新映射：
POST /java2022/course/_mapping
{
"_source": {
"includes":["description"]
}
"properties": {
"name": {
"type": "text",
"analyzer":"ik_max_word",
"search_analyzer":"ik_smart"
},
"description": {
"type": "text",
"analyzer":"ik_max_word",
"search_analyzer":"ik_smart"
},
"pic":{
"type":"text",
"index":false
}
}
}
2、插入文档：
POST /java2022/course/1
{
"name":"python从入门到放弃",
"description":"人生苦短，我用Python",
"pic":"250.jpg"
}
3、查询测试：
GET /java2022/course/_search?q=name:放弃
GET /java2022/course/_search?q=description:人生
GET /java2022/course/_search?q=pic:250.jpg
结果：name和description都支持全文检索，pic不可作为查询条件
keyword关键字字段
上边介绍的text文本字段在映射时要设置分词器，keyword字段为关键字字段，通常搜索keyword是按照整体搜索，所以创建keyword字段往索引目录写时是不进行分词的，比如：邮政编码、手机号码、身份证等。keyword字段通常用于过虑、排序、聚合等。
例如：
1、更改映射：
POST /java2022/course/_mapping
{
"properties": {
"studymodel":{
"type":"keyword"
}
}
}
2、插入文档：
PUT /java2022/course/2
{
"name": "java编程基础",
"description": "java语言是世界第一编程语言",
"pic":"250.jpg",
"studymodel": "2010年01月"
}
3、根据name查询文档：
GET /java2022/course/_search?q=studymodel:2010年01月
name是keyword类型，所以查询方式是精确查询。
date日期类型
日期类型不用设置分词器，通常日期类型的字段用于排序。
1)format
通过format设置日期格式，多个格式使用双竖线||分隔, 每个格式都会被依次尝试, 直到找到匹配的
例如：
1、设置允许date字段存储年月日时分秒、年月日及毫秒三种格式。
POST /java2022/course/_mapping
{
"properties": {
"timestamp": {
"type": "date",
"format": "yyyy-MM-dd"
}
}
}
2、插入文档：
PUT /java2022/course/3
{
"name": "spring开发基础",
"description": "spring 在java领域非常流行，java程序员都在用。",
"studymodel": "201001",
"pic":"250.jpg",
"timestamp":"2018-07-04 18:28:58"
}
Numeric类型
es中的数字类型经过分词(特殊)后支持排序和区间搜索
例如：
1、更新已有映射：
POST /java2022/course/_mapping
{
"properties": {
"price": {
"type": "float"
}
}
}
2、插入文档
PUT /java2022/course/3
{
"name": "spring开发基础",
"description": "spring 在java领域非常流行，java程序员都在用。",
"studymodel": "201001",
"pic":"250.jpg",
"price":38.6
}
field属性的设置标准
| 属性 | 标准 |
|---|---|
| type | 分词是否有意义 |
| index | 是否通过此属性搜索 |
| source | 是否展示 |
type属性：
-
分词使用：text，不分词使用：keyword
使用keyword只能整词搜索
-
数字使用integer、long、float、double
使用小数时，如果金额，精度不是太大建议使用float，原因是节省空间
source属性：
如果不展示，直接在建表字段上添加_source即可
如：
POST /java2022/course/_mapping
{
//是否展示
"_source": {
//不展示的属性，有可能有多个，使用数组包起来
"excludes":["description"]
},
"properties": {
"name":{
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
},
"pic":{
"type": "text",
"index": false
},
"description":{
"type":"text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
},
"studymodel":{
"type": "keyword"
},
"price":{
"type": "float"
}
}
}