ElasticSearch入门(一)之环境的搭建
1.写在前面
今天就随着我一起来学ElasticSearch吧，今天是这个系列的博客的第一篇，我也不会打算讲的太深，主要是教大家简简单单的装一个elasticsearch，然后装一个kibana简单的操作一下elasticsearch。
2.环境的准备
elasticsearch 7.3.2
kibana 7.3.2
Ubuntu 18.04
尽量和我的环境是一样的，这样问题就会少很多，在装环境开始之前，先了解一些elasticsearch一些常用的知识。
3.引言
3.1什么是elasticsearch？
ElasticSearch是一个分布式，高性能、高可用、可伸缩的搜索和分析系统
3.2什么是Elastic Stack？
Elastic Stack,前身缩写是ELK，就是ElasticSearch + LogStash + Kibana
ES的使用场景:
- 网上商场,搜索商品.
- ES配合logstash,kibana,日志分析
3.3为什么要使用elasticsearch？
假设用数据库做搜索，当用户在搜索框输入“四川火锅”时，数据库通常只能把这四个字去进行全部匹配。可是在文本中，可能会出现“推荐四川好吃的火锅”，这时候就没有结果了。
4.elasticsearch基本概念
4.1近实时（NRT）
ES是一个近实时的搜索引擎（平台），代表着从添加数据到能被搜索到只有很少的延迟。（大约是1s）
4.2文档
Elasticsearch是面向文档的，文档是所有可搜索数据的最小单元。可以把文档理解为关系型数据库中的一条记录。文档会被序列化成json格式，保存在Elasticsearch中。同样json对象由字段组成，给个字段都有自己的类型（字符串，数值，布尔，二进制，日期范围类型）。当我们创建文档时，如果不指定类型，Elasticsearch会帮我们自动匹配类型。每个文档都一个ID，你可以自己指定，也可以让Elasticsearch自动生成。json格式，支持数组/嵌套,在一个index/type里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的type。
4.3索引
索引是具有某种相似特性的文档集合。例如，您可以拥有客户数据的索引、产品目录的另一个索引以及订单数据的另一个索引。索引由一个名称（必须全部是小写）标识。在单个集群中，您可以定义任意多个索引。Index体现了逻辑空间的概念，每个索引都有自己的mapping定义，用于定义包含文档的字段名和字段类型。Index体现了物理空间的概念，索引中的数据分散在shard上。可以将其暂时理解为 MySql中的 database。
索引的mapping和setting
- mapping：定义文档字段的类型
- setting：定义不同数据的分布
4.4类型
一个索引可以有多个类型。例如一个索引下可以有文章类型，也可以有用户类型，也可以有评论类型。在一个索引中不能再创建多个类型，在以后的版本中将删除类型的整个概念。
从6.0开始，type已经被逐渐废弃。在7.0之前，一个index可以设置多个types。7.0开始一个索引只能创建一个type（_doc）
4.5节点
节点是一个Elasticsearch实例，本质上就是一个java进程，节点也有一个名称（默认是随机分配的），当然也可以通过配置文件配置，或者在启动的时候，-E node.name=node1指定。此名称对于管理目的很重要，因为您希望确定网络中的哪些服务器对应于ElasticSearch集群中的哪些节点。
在Elasticsearch中，节点的类型主要分为如下几种：
- master eligible节点：
每个节点启动后，默认就是master eligible节点，可以通过node.master: false 禁止master eligible可以参加选主流程，成为master节点当第一个节点启动后，它会将自己选为master节点每个节点都保存了集群的状态，只有master节点才能修改集群的状态信息 - data节点
可以保存数据的节点。负责保存分片数据，在数据扩展上起到了至关重要的作用 - Coordinating 节点
负责接收客户端请求，将请求发送到合适的节点，最终把结果汇集到一起每个节点默认都起到了Coordinating node的职责
开发环境中一个节点可以承担多个角色，生产环境中，建议设置单一的角色，可以提高性能等
4.6分片
索引可能存储大量数据，这些数据可能会超出单个节点的硬件限制。例如，占用1TB磁盘空间的10亿个文档的单个索引可能不适合单个节点的磁盘，或者速度太慢，无法单独满足单个节点的搜索请求。为了解决这个问题，ElasticSearch提供了将索引细分为多个片段（称为碎片）的能力。创建索引时，只需定义所需的碎片数量。每个分片（shard）本身就是一个完全功能性和独立的“索引”，可以托管在集群中的任何节点上。
为什么要分片?
- 它允许您水平拆分/缩放内容量
- 它允许您跨碎片（可能在多个节点上）分布和并行操作，从而提高性能/吞吐量
如何分配分片以及如何将其文档聚合回搜索请求的机制完全由ElasticSearch管理，并且对作为用户的您是透明的。主分片数在索引创建时指定，后续不允许修改，除非Reindex
4.7分片副本
在随时可能发生故障的网络/云环境中，非常有用，强烈建议在碎片/节点以某种方式脱机或因任何原因消失时使用故障转移机制。为此，ElasticSearch允许您将索引分片的一个或多个副本复制成所谓的副本分片，简称为副本分片。
为什么要有副本？
- 当分片/节点发生故障时提供高可用性。因此，需要注意的是，副本分片永远不会分配到复制它的原始/主分片所在的节点上。
- 允许您扩展搜索量/吞吐量，因为可以在所有副本上并行执行搜索。
总而言之，每个索引可以分割成多个分片。索引也可以零次（意味着没有副本）或多次复制。复制后，每个索引将具有主分片（从中复制的原始分片）和副本分片（主分片的副本）。
可以在创建索引时为每个索引定义分片和副本的数量。创建索引后，您还可以随时动态更改副本的数量。您可以使用收缩和拆分API更改现有索引的分片数量，建议在创建索引时就考虑好分片和副本的数量。
默认情况下，ElasticSearch中的每个索引都分配一个主分片和一个副本，这意味着如果集群中至少有两个节点，则索引将有一个主分片和另一个副本分片（一个完整副本），每个索引总共有两个分片。
4.8倒排索引
| 文档 | 分词结果 |
|---|---|
| Doc1 | breakthrough,drug,for,schizophrenia |
| Doc2 | new,schizophrenia,drug |
| Doc3 | new,approach,for,treatment,of |
- DocID：出现某单词的文档ID
- TF(词频)：单词在该文档中出现的次数
- POS：单词在文档中的位置
| 单词 | 逆向文档频率 | 倒排列表(DocID;TF;POS) |
|---|---|---|
| breakthrough | 1 | （1;1<1>） |
| drug | 2 | （1;1<2>）（2;1<3>） |
| for | 2 | （1;1<3>）（3;1<3>） |
| schizophrenia | 2 | （1;1<4>）（2;1<2>） |
| new | 2 | （2;1<1>）（3;1<1>） |
| approach | 1 | （3;1<2>） |
| treatment | 1 | （3;1<4>） |
| of | 1 | （3;1<5>） |
5.linux ES的安装(elasticsearch-7.3.2)
- 下载elasticsearch-7.3.2 tar包 下载地址https://www.elastic.co/cn/downloads/elasticsearch
- 上传到linux的/opt目录下，解压 tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz
- 进入解压后的 elasticsearch-7.3.2文件夹的bin目录下 执行./elasticsearch root账户
执行结果如下：
这个错误，是因为使用root用户启动elasticsearch，elasticsearch是不允许使用root用户启动的在6.xx之前，可以通过root用户启动。但是发现黑客可以透过elasticsearch获取root用户密码，所以为了安全性，在6版本之后就不能通过root启动elasticsearch
解决方案如下：
groupadd king useradd king -g king
cd /opt
chown -R king:king elasticsearch-7.3.2
由于我们的已经有用户King了，所以这儿就只需要修改elasticsearch目录的所属者就可以，具体的如下：
这个时候我们再次启动一下，具体的如下：
可以发现是启动成功了，但是这个时候使用浏览器访问是无法访问的，具体的如下：
可以发现访问失败了，于是我们就要去修改对应配置文件了，由于我是在虚拟机上启动的，所以这儿我们先将jvm的内存调小点，具体的如下：文件的路径config/jvm.options
这两项改成512m，然后继续修改elasticsearch的配置文件，路径：config/elasticsearch.yml使它能从外部访问，具体的如下：
修改完，然后保存，然后启动对应的elasticsearch，具体的如下：
具体的问题：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] vm最大虚拟内存,max_map_count[65530]太低，至少增加到[262144]
解决办法：
vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p 使配置生效
具体的如下：
加上对应的配置项，然后保存，执行命令sysctl -p 使配置生效，具体的如下：
其他的问题：descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]最大文件描述符[4096]对于elasticsearch进程可能太低，至少增加到[65536]
解决办法：
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
* 所有用户
nofile ‐ 打开文件的最大数目
noproc ‐ 进程的最大数目
soft 指的是当前系统生效的设置值
hard 表明系统中所能设定的最大值
具体的如下：
加上对应的配置项，然后保存。这个问题也就解决了。
其他的问题：max number of threads [2048] for user [tongtech] is too low, increase to at least [4096]用户的最大线程数[2048]过低，增加到至少[4096]
解决办法：
vim /etc/security/limits.d/90-nproc.conf
* soft nproc 4096
由于我这儿没有出现这个问题，就不加这步操作了，直接启动，具体的如下：
可以发现我们已经的启动了elasticsearch，这个时候我们外部访问一下，
注意：注意开放端口或者关闭防火墙（centos7）
- 查询防火墙状态：firewall-cmd --state
- 关闭防火墙：systemctl stop firewalld.service
- 开启防火墙： systemctl start firewalld.service
- 禁止firewall开机启动：systemctl disable firewalld.service
Ubuntu
sudo ufw disable
可以发现就完成了安装了。
6.elasticsearch-head 的安装
google应用商店下载插件安装（需）具体的地址是：https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm?hl=zh-CN
7.kibana的安装
1.下载kibana-7.3.2-linux-x86_64.tar.gz https://www.elastic.co/cn/downloads/kibana
2.上传至linux系统中并解压 tar -zxvf kibana-7.3.2-linux-x86_64.tar.gz /opt目录下面
3.vim kibana-7.3.2-linux-x86_64/config/kibana.yml修改对应的配置文件
具体的如下：
4.cd kibana-7.3.2-linux-x86_64/bin
5../kibana --allow-root运行的结果如下：
6.访问kibana，具体的结果如下：
至此我们所需要的工具就装完了
8.写在最后
这次的博客就简简单单的写了下elasticsearch的安装，以及对他操作的一些的工具的安装，下篇博客我会简单的介绍下elasticsearch的一些的API。