[LNMP]全文检索方案：分布式Elasticsearch+Mysql

从2011年开始使用coreseek（基于sphinx）作为全文检索的解决方案，对于中小型应用使用还不错，但coreseek的新版一直跳票，而且在实际生产环境的表现不太稳定（单索引文件超过1G），缺少相应的运维监控工具，考虑替换其他的检索引擎。

在Yii 2.x 官方扩展中集成了Elasticsearch，于是开始学习关于Elasticsearch的资料，但由于版本更新太快，大部分资料都已经过时，所以用本文稍作记录，当然与sphinx 对比，Elasticsearch并不是完全对等的替代。

简介

---

概括来说是支持中文分词（重要）、多种数据源的分布式全文检索引擎，更多详细 看官网：https://www.elastic.co/products/elasticsearch/

版本说明

---

• 服务器：Linux（centos 6.x）
• java环境：JDK 1.8.0
• elasticsearch：2.3.1
• elasticsearch-jdbc（数据源插件）：2.3.1
• IK Analysis（中文分词插件）：1.9.1

安装

---

JDK 环境

1. 检查java版本
   java -version
2. 安装1.8+JDK
   yum install java-1.8.0
3. 查询旧版 JDK
   rpm -qa | grep java
4. 移除旧版JDK，根据查询的旧版本包名
   yum remove java-1.6.0

Elasticsearch

1.添加yum源

创建.repo文件（elasticsearch.repo）：

[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=https://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1


导入key：

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch


2.安装

yum install elasticsearch


基本配置

---

创建相应服务目录&目录权限

 mkdir -p /data/elasticsearch/data
 mkdir -p /data/elasticsearch/logs
 chown -R elasticsearch /data/elasticsearch/data
 chown -R elasticsearch /data/elasticsearch/logs
 

Elasticsearch 配置

默认路径：/etc/elasticsearch/elasticsearch.yml

 
 
集群名（同一个集群，名称必须相同）
 
 
cluster.name: my-application
 
 
服务节点名（每个服务节点不一样）
 
 
node.name: node-1
 
 
数据存储路径
 
 
path.data: /data/elasticsearch/data
 
 
服务日志路径
 
 
path.logs: /data/elasticsearch/logs
 
 
服务ip地址
 
 
network.host: 0.0.0.0
 
 
服务端口
 
 
http.port: 9200
 

Elasticsearch 环境变量配置

默认路径：/etc/sysconfig/elasticsearch

 
 
设置为可用内存的50%
 
 
ES_HEAP_SIZE = 1g
 
 
其余参数参考说明进行调优（JVM）
 
 

中文分词

---

采用 ik 分词插件进行中文分词，支持web热更新词库，项目github地址：https://github.com/medcl/elasticsearch-analysis-ik

安装

elasticsearch plugin安装方式失败，采用手动安装

1.安装maven工具
wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

yum install apache-maven
2.下载ik源码包
git clone https://github.com/medcl/elasticsearch-analysis-ik

cd elasticsearch-analysis-ik
3.生成jar插件包

mvn clean
mvn compile
mvn package

4.copy到plugins 目录（/usr/share/elasticsearch/plugins）
unzip target/releases/elasticsearch-analysis-ik-*.zip

cp -r target/releases/ /usr/share/elasticsearch/plugins/ik

5.配置词库（ik自带搜狗词库）
配置：/usr/share/elasticsearch/plugins/ik/config/ik/IKAnalyzer.cfg.xml

 
 custom/mydict.dic;custom/single_word_low_freq.dic;custom/sougou.dic
 
 

6.重启elasticsearch
service elasticsearch restart

数据源（JDBC importer for Elasticsearch）

---

插件官网：https://github.com/jprante/elasticsearch-jdbc

1. 安装：（一般 解压即可使用）
强烈建议下载与Elasticsearch 版本对应的源码包：https://github.com/jprante/elasticsearch-jdbc/tree/2.3.1.0

2. mysql数据源配置（默认脚本目录/path/bin/）

全量索引：mysql-es-all.sh

 
 
!/bin/sh
 
 
DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
 bin=${DIR}/../bin
 lib=${DIR}/../lib
 
 
curl -XDELETE '192.168.115.115:9200/myindex'
 echo '
 {
 "type" : "jdbc",
 "jdbc" : {
 "locale" : "zh_CN",
 "statefile" : "statefile.json",
 "timezone" : "GMT+8",
 "autocommit" : true,
 
 
    "elasticsearch" : {
        "cluster" : "my-application",
        "host" : "192.168.115.115",
        "port" : "9300"
    },

    "index" : "myindex",
    "type" : "mytype",

    "url" : "jdbc:mysql://192.168.115.112:3306/search_content",
    "user" : "root",
    "password" : "",
    "sql" : "select cid as _id,title,content from news",
    
   
    "schedule": "0 0/15 0-23 ? * *",
    "metrics" : {
        "enabled" : true,
        "interval" : "5m"
    },

    "index_settings" : {
        "index" : {
            "number_of_shards" : 2,
            "number_of_replicas" : 2
        }
    },
    "type_mapping": {
        "mytype" : {
            "properties" : {
                "title" : {
                    "type" : "string",
                    "store": "no",
                    "term_vector": "with_positions_offsets",
                    "analyzer": "ik_max_word",
                    "search_analyzer": "ik_max_word",
                    "include_in_all": "true"
                },
                "content" : {
                    "type" : "string",
                    "store": "no",
                    "term_vector": "with_positions_offsets",
                    "analyzer": "ik_max_word",
                    "search_analyzer": "ik_max_word",
                    "include_in_all": "true"
                }
            }
        }
    }   
}
 
 
}
 ' | java 
 -cp "${lib}/*" 
 -Dlog4j.configurationFile=${bin}/log4j2.xml 
 org.xbib.tools.Runner 
 org.xbib.tools.JDBCImporter
 
 

增量索引:mysql-es-update.sh

通过statefile.json 里面的时间进行查询，需相应的数据表有相应的字段

 ...
 "sql" : [
 {
 "statement" : "select cid as _id,title,content,from news where utime > unix_timestamp(?)",
 "parameter" : [ "$metrics.lastexecutionstart" ]
 }
 ],
 ...
 

3. shell 运行相应的脚本

如果出现运行问题，通过查看/path/bin/logs/jdbc.log 排查

常用组件

---

head

安装命令：

/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

使用：
http://localhost:9200/_plugin/head/

head 插件

license

安装命令：

/usr/share/elasticsearch/bin/plugin install license


kibana＋marvel 监控台

elasticsearch集群监控平台

1. 安装kibana
1).添加yum源
创建.repo文件（kibana.repo）：

[kibana]
name=Kibana
baseurl=http://packages.elastic.co/kibana/4.5/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1


导入key：

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch


2).安装

yum install kibana


2. 安装Marvel
在elasticsearch 安装 Marvel 插件

/usr/share/elasticsearch/bin/plugin install marvel-agent


在kibana 安装 Marvel 插件

/opt/kibana/bin/kibana plugin --install elasticsearch/marvel/latest


3. 启动kibana

service elasticseach restart
service kibana restart


4. 使用
http://localhost:5601/app/marvel

kibana监控台界面

集群配置

---

服务节点的基本参数，参考 Elasticsearch 配置 进行设置，为了方便，集群机器放在同一网段下（非强制）

默认路径：/etc/elasticsearch/elasticsearch.yml

 
 
允许多播节点自动发现
 
 
discovery.zen.ping.multicast.enabled: true
 
 
单播节点ip配置，用于集群组件（可不设）
 
 
discovery.zen.ping.unicast.hosts: ["192.168.115.115","192.168.115.116"]
 

注意集群所有服务节点的插件，最好保持一致

与sphinx索引速度对比

---

[LNMP]全文检索引擎sphinx 与 Elasticsearch 索引速度对比