elasticsearch的简单搭建

一、elasticsearch介绍

ElasticSearch 是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch 是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch 来解决所有这些问题以及可能出现的更多其它问题。

二、elasticsearch优点

便于安装支持多平台；Linux，Windows等

便于开发支持多语言；Java，Python，PHP等

查询速度快，使用于大量数据查询

支持分词系统和聚合分析等多种功能

三、window和Linux

提示：以elasticsearch-2.3.3为例，无论是Windows还是Linux在配置elasticsearch.yml文件时对其中的配置项保持严格的缩进，否则启动可能报错

并且当前安装elasticsearch版本较低，后续版本可能与此不同但是万变不离其宗。

3.1、Windows搭建elasticsearch

(1)将下载好的elasticsearch-2.3.3.zip包解压

(2)进入elasticsearch-2.3.3目录下的conf下

(3)修改elasticsearch.yml(详细介绍见文章结尾)配置文件中的network.host选项为自己本地的ip地址

(4)在此返回到elasticsearch-2.3.3目录下并进入到bin目录下双击启动elasticsearch.bat该文件即可

3.2、Linux搭建elasticsearch

(1)将下载好的elasticsearch-2.3.3.zip包解压

(2)进入elasticsearch-2.3.3目录下的conf下

(3)修改elasticsearch.yml(详细介绍见文章结尾)配置文件

        cluster.name:英文集群名称 

        node.name: 英文节点名称

        path.data: 数据存放位置

        path.logs:日志存放位置

        network.host:主节点ip地址

        transport.tcp.port: tcp端口一般使用9300

        http.port: web访问端口一般使用9200

        保存并退出

(4)在此返回到elasticsearch-2.3.3目录下并进入到bin目录下执行./elasticsearch即可，后台执行需在后面加上-d

四、增加head，kopf，elasticsearch-sql可视化插件等

(1)查看elasticsearch-2.3.3目录下是否含有plugins改目录，如果没有则需要手动创建

(2)将head.zip解压至plugins目录下按照以上步骤重新启动即可

访问地址：http://ip:9200/_plugin/head/

同理kopf和elasticsearch-sql安装

特殊说明：只有elasticsearch-sql插件只能查询并且可以将sql转为elasticsearch聚合语句；而kopf和head既可以做查询又可以做增、删、改

head插件展示效果图

kopf插件展示效果图

elasticsearch-sql插件展示效果图

五、关于elasticsearch.yml配置详解

(1)集群名称，默认为elasticsearch

            cluster.name:elasticsearch

(2)节点名称，es启动时会自动创建节点名称，但你也可进行配置

            node.name: "node1"

(3)是否作为主节点，每个节点都可以被配置成为主节点，默认值为true

            node.master: true

(4)是否存储数据，即存储索引片段，默认值为true

            node.data: true

            {master和data同时配置会产生一些奇异的效果：

            1) 当master为false，而data为true时，会对该节点产生严重负荷；

            2) 当master为true，而data为false时，该节点作为一个协调者；

            3) 当master为false，data也为false时，该节点就变成了一个负载均衡器。}

(5)每个节点都可以定义一些与之关联的通用属性，用于后期集群进行碎片分配时的过滤

             node.rack: rack1

(6)默认情况下，多个节点可以在同一个安装路径启动，如果你想让你的es只启动一个节点，可以进行如下设置

            node.max_local_storage_nodes: 1

(7)设置一个索引的碎片数量，默认值为5

            index.number_of_shards: 5

(8)设置一个索引可被复制的数量，默认值为1

            index.number_of_replicas: 1

(9)配置文件所在的位置，即elasticsearch.yml和logging.yml所在的位置

            path.conf: /path/to/conf

(10) 分配给当前节点的索引数据所在的位置：

            path.data: /path/to/data

(11) 临时文件位置：

            path.work: /path/to/work

(12)日志文件所在位置：

            path.logs: /path/to/logs

(13) 插件安装位置：

            path.plugins: /path/to/plugins

(14) 插件托管位置，若列表中的某一个插件未安装，则节点无法启动：

            plugin.mandatory: mapper-attachments,lang-groovy

(15) JVM开始交换时，ElasticSearch表现并不好：你需要保障JVM不进行交换，可以将bootstrap.mlockall设置为true禁止交换：

            bootstrap.mlockall: true

            请确保ES_MIN_MEM和ES_MAX_MEM的值是一样的，并且能够为ElasticSearch分配足够的内在，并为系统操作保留足够的内存。

(16)默认情况下，ElasticSearch使用0.0.0.0地址，并为http传输开启9200-9300端口，为节点到节点的通信开启9300-9400端口，也可以自行设置IP地址：

            network.bind_host: 192.168.0.1

(17)publish_host设置其他节点连接此节点的地址，如果不设置的话，则自动获取，publish_host的地址必须为真实地址：

            network.publish_host: 192.168.0.1

(18)bind_host和publish_host可以一起设置：

            network.host: 192.168.0.1

(19)可以定制该节点与其他节点交互的端口：

            transport.tcp.port: 9300

(20)节点间交互时，可以设置是否压缩，转为为不压缩：

            transport.tcp.compress: true

(21)可以为Http传输监听定制端口：

            http.port: 9200

(22)设置内容的最大长度：

            http.max_content_length: 100mb

(23)禁止HTTP

            http.enabled: false

(24)网关允许在所有集群重启后持有集群状态，集群状态的变更都会被保存下来，当第一次启用集群时，可以从网关中读取到状态，默认网关类型（也是推荐的）是local：

            gateway.type: local

(25)允许在N个节点启动后恢复过程：

            gateway.recover_after_nodes: 1

(26)设置初始化恢复过程的超时时间：

            gateway.recover_after_time: 5m

(27)设置该集群中可存在的节点上限：

            gateway.expected_nodes: 2

(28)设置一个节点的并发数量，有两种情况，一种是在初始复苏过程中：

            cluster.routing.allocation.node_initial_primaries_recoveries: 4

            另一种是在添加、删除节点及调整时：

            cluster.routing.allocation.node_concurrent_recoveries: 2

(29)设置复苏时的吞吐量，默认情况下是无限的：

            indices.recovery.max_size_per_sec: 0

(30)设置从对等节点恢复片段时打开的流的数量上限：

            indices.recovery.concurrent_streams: 5

(31)设置一个集群中主节点的数量，当多于三个节点时，该值可在2-4之间：

            discovery.zen.minimum_master_nodes: 1

(32)设置ping其他节点时的超时时间，网络比较慢时可将该值设大：

            discovery.zen.ping.timeout: 3s

            http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多关于discovery的设置。

(33)禁止当前节点发现多个集群节点，默认值为true：

            discovery.zen.ping.multicast.enabled: false

(34)设置新节点被启动时能够发现的主节点列表：

            discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

六、elasticsearch集群的简单说明

单点与集群的关系是依靠同一个主节点名称和不同子节点名称，不同端口号，不同ip作为联系的介质，在配置文件中只需要在个别配置项配置多个不同ip和不同端口，并且同一个集群名称即可

七、工作中elasticsearch踩过的坑

(1)在个别业务场景下需要查询大量的数据并展示出来，无论是http请求查询也好还是elasticsearch API查询也好，当查询大于1024条数据事基本都会遇到一个报错；显示查询内容大于1024，这时需要在elasticsearch的配置文件中增加一个设置:

            index.query.bool.max_clause_count: 100000

(2)踩坑继续补充中.............