Elasticsearch在项目中的应用

需求背景

1. 项目中需要对外提供门店级别的业务库存查询接口，现场sku数为5W+，门店数量400+，业务库存记录约2000W+，为不影响系统的库存业务性能，不能直连数据库进行查询。
2. 对外的门店业务库存查询接口，不要求数据实时强一致，允许有误差。
3. 对外的业务库存查询接口调用频繁（门店级别的业务调用），对查询性能要求较高。

解决方案

1. 由于库存查询所需的业务字段相对简单，也考虑过将库存数据缓存起来，接口直连缓存服务。但是，实现相较ES来说复杂，维护成本高；另一方面，扩展性差，无法有效支持后续较为复杂的海量查询场景。
2. 分库分表方案，实现复杂，维护等成本较大，放弃。
3. 基于上述背景，最终选用Elasticsearch来解决海量数据的近实时查询功能。

ES使用过程

版本选型

选用6.6.2 版本。

1. 2.X版本，太老，弃坑。
2. 5.X版本，目前市面上用的较多，但考虑到Type在7.X版本被ES废弃，弃坑。
3. 6.X版本，能够从5.X无宕机升级，当然还有很多新功能，支持Type，但不推荐一个索引定义多Type，不老不新刚刚好，选它。
4. 7.X版本，太新了除了官方文档，相关内容较少，等用的人群较为广泛后再考虑。

部署方式

由于客户有自己机房，且ERP全线内网访问，因此自建ES服务。

开发技术

1. TransportClient 7.X版本已不被推荐，将在 8.X 版本中被废弃，不选择。
2. 那就只能是走REST Client了，最终使用官方提供的Java High Level REST Client；实际使用时我们项目基于它再包了一层，方便对其了解不深的开发能够快速上手。

问题记录

已解决

1. docker安装过程遇到问题
   • 配置es的data挂载目录时，必须赋予当前用户文件夹的读写权限，否则启动报错，查看docker日志发现是无文件的读写权限。
   • 必须使用非root用户账号创建和启动es容器。
   • 为了外网可访问，在elasticsearch.yml中配置以下内容：

     network.host: 0.0.0.0
     

   • 启动时报内存不足。

     Elasticsearch 对各种文件混合使用了 NioFs（ 注：非阻塞文件系统）和 MMapFs （ 注：内存映射文件系统）。请确保你配置的最大映射数量，以便有足够的虚拟内存可用于 mmapped 文件。
     # 暂时设置 $ sudo sysctl -w vm.max_map_count=262144 # 永久设置 $ echo "vm.max_map_count=262144" > /etc/sysctl.conf $ sysctl -p
     - 防火墙别忘记开放相关端口（一般为9200-HTTP协议端口和9300-TCP协议端口，ES集群之间是通过9300进行通讯）。

2. 编码问题
   • 调用ES REST查询接口报错“could not initialize class org.elasticsearch.action.search.searchrequest”。

     现象：有时候会出现，一般出现在Java应用程序重启之后；再次重启可以避免这个报错。
     解决方式：
     1. 检查jackson-XX.jar的相关依赖版本，发现有不一致的（部分未2.9.5,部分未为2.9.0），通过查看elasticsearch 6.6.2的jar包发现其默认依赖的是2.9.5版本的jackson-XX.jar，解决jar包版本冲突后，暂无发现此问题出现。
     2. 检查es的相关jar包保证版本一致。（都是6.6.2）
     

未解决

1. 如何对ES进行性能调优。