ELK搭建流程

一、ELK基本介绍

    ELK 其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写， Elasticsearch，Logstash 和 Kibana。这三款软件都是开源软件，通常是配合使用， 而且又先后归于 Elastic.co 公司名下，故被简称为 ELK 协议栈。

1、Elasticsearch

      Elasticsearch 是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结 构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜 索引擎，使用 Java 语言编写。 、
    主要特点 
            – 实时分析 
            – 分布式实时文件存储，并将每一个字段都编入索引
            – 文档导向，所有的对象全部是文档 – 高可用性，易扩展，支持集群（ 
    Cluster）、分片和复制（Shards 和 Replicas）。

2、Logstash

       Logstash 是一个具有实时渠道能力的数据收集引擎。使用 JRuby 语言编写。其 作者是世界著名的运维工程师乔丹西塞 (JordanSissel)。 
      主要特点 
              – 几乎可以访问任何数据 
              – 可以和多种外部应用结合 
              – 支持弹性扩展 
      它由三个主要部分组成 
              – Shipper－发送日志数据 
              – Broker－收集数据，缺省内置  Redis 
              – Indexer－数据写入

3、Kibana

       Kibana 是一款基于 Apache 开源协议，使用 JavaScript 语言编写，为 Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引 中查找，交互数据，并生成各种维度的表图。

4、参考文档

      ELK 官网：https://www.elastic.co/ ELK 
      官网文档：https://www.elastic.co/guide/index.html 
      ELK 中文手册：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
      ELK 中文社区：https://elasticsearch.cn/

ElasticSearch核心概念及集群部署

ElasticSearch核心概念

1、索引 index

    一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数 据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名 字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进 行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定 义任意多的索引。

2、类型 type

    在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的 分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类 型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。 在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当 然，也可以为评论数据定义另一个类型。

3、字段 Field

    相当于是数据表的字段，对文档数据根据不同属性进行的分类标识

4、映射 mapping

    mapping 是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认 值、分析器、是否被索引等等，这些都是映射里面可以设置的，其它就是处理 es 里面数据的一些使用规则设置也叫做映射，按着最优规则处理数据对性能提高很大， 因此才需要建立映射，并且需要思考如何建立映射才能对性能更好。

5、文档 document

    一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档， 某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以 JSON（Javascript Object Notation）格式来表示，而 JSON 是一个到处存在的互联网数据交 互格式。 在一个 index/type 里面，你可以存储任意多的文档。注意，尽管一个文档，物理上 存在于一个索引之中，文档必须被索引/赋予一个索引的 type。

6、集群 cluster

    一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提 供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是 “elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字， 来加入这个集群

7、节点 node

    一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索 引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这 个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这 个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的 哪些服务器对应于 Elasticsearch 集群中的哪些节点。 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个 节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的 网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并 加入到一个叫做“elasticsearch”的集群中。 在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没 有运行任何 Elasticsearch 节点，这时启动一个节点，会默认创建并加入一个叫做 “elasticsearch”的集群。

es 的集群部署

第一步：创建普通用户

    注意：ES 不能使用 root 用户来启动，必须使用普通用户来安装启动。这里我们创建 一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等
   创建一个 es 专门的用户（必须） #使用 root 用户在三台机器执行以下命令
    useradd es 
    mkdir -p /export/servers/es 
    chown -R es:es /export/servers/es 
    passwd es

第二步：为普通用户 es 添加 sudo 权限

  为了让普通用户有更大的操作权限，我们一般都会给普通用户设置 sudo 权限，方便 普通用户的操作
  三台机器使用 root 用户执行 visudo 命令然后为 es 用户添加权限
  visudo

第三步：下载并上传压缩包，然后解压

    将 es 的安装包下载并上传到 node01 服务器的/home/es 路径下，然后进行解压 使用 es 用户来执行以下操作（断开连接 linux 的工具，然后重新使用 es 用户连接上 三台 linux 服务器） 
   node01 服务器使用 es 用户执行以下命令
   cd /home/es/
   wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.0. tar.gz 
   tar -zxvf elasticsearch-6.7.0.tar.gz -C /export/servers/es/

第四步：修改配置文件

  修改 elasticsearch.yml 
  node01 服务器使用 es 用户来修改配置文件
   cd /export/servers/es/elasticsearch-6.7.0/config 
   mkdir -p /export/servers/es/elasticsearch-6.7.0/logs
   mkdir -p /export/servers/es/elasticsearch-6.7.0/datas 
   rm -rf elasticsearch.yml 
   vim elasticsearch.yml
   配置内容：
    cluster.name: myes 
    node.name: node01 
    path.data: /export/servers/es/elasticsearch-6.7.0/datas 
    path.logs: /export/servers/es/elasticsearch-6.7.0/logs 
    network.host: 192.168.227.10
    discovery.zen.ping.unicast.hosts: ["node01", "node02", "node03"]
    bootstrap.system_call_filter: false bootstrap.memory_lock: false
    http.cors.enabled: true
    http.port: 9200
    http.cors.allow-origin: "*
修改 jvm.option
     修改 jvm.option 配置文件，调整 jvm 堆内存大小 
     node01 使用 es 用户执行以下命令调整 jvm 堆内存大小，每个人根据自己服务器的 内存大小来进行调整
      cd /export/servers/es/elasticsearch-6.7.0/config 
      vim jvm.options
      配置内容：
        -Xms2g 
        -Xmx2g

第五步：将安装包分发到其他服务器上面

    node01 使用 es 用户将安装包分发到其他服务器上面去
    cd /export/servers/es/ 
    scp -r elasticsearch-6.7.0/ node02:$PWD 
    scp -r elasticsearch-6.7.0/ node03:$PWD

第六步：node02 与 node03 修改 es 配置文件

   node02 与 node03 也需要修改 es 配置文件 
   node02 使用 es 用户执行以下命令修改 es 配置文件
    cd /export/servers/es/elasticsearch-6.7.0/config 
    vim elasticsearch.yml
    配置内容：
        cluster.name: myes 
        node.name: node02 
        path.data: /export/servers/es/elasticsearch-6.7.0/datas 
        path.logs: /export/servers/es/elasticsearch-6.7.0/logs
        network.host: 192.168.227.20 
        http.port: 9200 
        discovery.zen.ping.unicast.hosts: ["node01", "node02", "node03"]                   
        bootstrap.system_call_filter: false 
        bootstrap.memory_lock: false 
        http.cors.enabled: true 
        http.cors.allow-origin: "*"
      node03 使用 es 用户执行以下命令修改配置文件
        cd /export/servers/es/elasticsearch-6.0.0/config/ 
        vim elasticsearch.yml
        配置内容:
          cluster.name: myes
          node.name: node03 
          path.data: /export/servers/es/elasticsearch-6.7.0/datas 
          path.logs: /export/servers/es/elasticsearch-6.7.0/logs 
          network.host: 192.168.227.30 
          http.port: 9200             
          discovery.zen.ping.unicast.hosts: ["node01", "node02", "node03"]       
          bootstrap.system_call_filter: false 
          bootstrap.memory_lock: false 
          http.cors.enabled: true
          http.cors.allow-origin: "*"

第七步：修改系统配置，解决启动时候的问题

    由于现在使用普通用户来安装 es 服务，且 es 服务对服务器的资源要求比较多，包 括内存大小，线程数等。所以我们需要给普通用户解开资源的束缚 
    解决启动问题一：普通用户打开文件的最大数限制
    问题错误信息描述： 
    max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] 
     ES 因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除 linux 系统当中打开文件最大数目的限制，不然 ES 启动就会抛错 
    三台机器使用 es 用户执行以下命令解除打开文件数据的限制
    sudo vi /etc/security/limits.conf
    添加如下内容: 注意*不要去掉了
 ![图片.png](https://upload-images.jianshu.io/upload_images/2284182-e1f8e72faedfcb3c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

    解决启动问题二：普通用户启动线程数限制 
    问题错误信息描述 
    max number of threads [1024] for user [es] likely too low, increase to at least [4096] 
    修改普通用户可以创建的最大线程数 
    max number of threads [1024] for user [es] likely too low, increase to at least [4096] 
    原因：无法创建本地线程问题,用户最大可创建线程数太小 
    解决方案：修改 90-nproc.conf 配置文件。 
    三台机器使用 es 用户执行以下命令修改配置文件
    sudo vi /etc/security/limits.d/90-nproc.conf
    * soft nproc 1024 
    #修改为
     * soft nproc 4096
    解决启动问题三：普通用户调大虚拟内存 
    错误信息描述： 
    max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144] 
    调大系统的虚拟内存
     原因：最大虚拟内存太小 
    每次启动机器都手动执行下。 
    三台机器执行以下命令，注意每次启动 ES 之前都要执行
      sudo sysctl -w vm.max_map_count=262144
    备注：以上三个问题解决完成之后，重新连接 secureCRT 或者重新连接 xshell 生效 需要保存、退出、重新登录 xshell 才可生效。

第八步：启动 ES 服务

  三台机器使用 es 用户执行以下命令启动 es 服务
  nohup /export/servers/es/elasticsearch-6.7.0/bin/elasticsearch >/dev/null 2>&1 &
  启动成功之后 jsp 即可看到 es 的服务进程，并且访问页面
  http://node01:9200/?pretty
  能够看到 es 启动之后的一些信息 
  注意：如果哪一台机器服务启动失败，那么就到哪一台机器的
  /export/servers/es/elasticsearch-6.7.0/logs
  这个路径下面去查看错误日志