十二翼堕落天使

Elasticsearch7.8.0从安装到高亮搜索LOL英雄名

一、前言

环境：

ES 7.8.0
JDK11
SpringBoot 2.3.0（ES 7.6.2）

二、安装

2.1 (中文)IK分词器

2.1.1 分词器效果：

2.1.2 GitHub地址：

https://github.com/medcl/elasticsearch-analysis-ik

2.1.3 下载：

为了避免在容器内下载过慢，教主选择了提前用迅雷下载下来，并以容器卷挂载的方式放到容器里去。大致的目录如下：

elasticsearch/
|--compose-elasticsearch.yml  # docker-compose.yml
|--es0/						  # es0 节点
|--plugins/					  # 插件卷
   |--ik/					  # 分词器插件
|--data/					  # 数据卷好东西就要分享出来：

另外容器卷挂载的方式还有个好处就是可以更加方便的添加用户词典：

2.1.4 好东西分享出来：

GitHub代下地址 http://gitd.cc/

2.2 Elasticsearch

2.2.1 创建(全局默认)网络：

docker network create local-net

2.2.2 compose.yml：

version: '3.8'
services:
  es0:
    image: elasticsearch:7.8.0
    restart: always
    ports:
      - 9200:9200
    volumes:
      - ./es0/data/:/usr/share/elasticsearch/data/
      - ./es0/plugins/:/usr/share/elasticsearch/plugins/
    environment:
      - node.name=es0
      - cluster.name=es-cluster
      - cluster.initial_master_nodes=es0
      - bootstrap.memory_lock=true
      - 'ES_JAVA_OPTS=-Xms512m -Xmx512m'
      - xpack.security.enabled=true
      - xpack.security.transport.ssl.enabled=true
    ulimits:
      memlock:
        soft: -1
        hard: -1
networks:
  default:
    external:
      name: local-net

2.2.3 设置密码：

容器的工作目录已经在/usr/share/elasticsearch/目录下，进入容器后直接输入以下命令即可：

bin/elasticsearch-setup-passwords interactive

注意事项：

设置密码后如果删除了新增的索引，下次登录时可能会登录不上，需要重新进入容器设置密码。
elastic用户相当于root用户

2.3 Head 插件

Head 插件感觉起来可有可无(不是太好看)，有现成的 chrome 插件可用：ElasticSearch Head

2.4 Kibana

2.4.1 compose.yml：

version: '3.8'
services:
  kibana:
    image: kibana:7.8.0
    privileged: true
    ports:
      - 5601:5601
    volumes:
      - ./kibana/conf/kibana.yml:/usr/share/kibana/config/kibana.yml
networks:
  default:
    external:
      name: local-net

2.4.2 配置文件 kibana.yml：

server.host: "0"
elasticsearch.hosts: ['http://es0:9200']
elasticsearch.username: 'elastic'
elasticsearch.password: '123456'
i18n.locale: 'zh-CN'

获取完整的配置文件可以从官网下载一份 Windows 版的进行参考。

2.4.2 踩坑点：

可见，在上面的Compose文件中教主选择了挂载配置文件，主要原因还是因为安装官网文档在environment中配置，但是结果不生效。
需要特别注意的就是 kibana 默认允许的 HOST 为 127.0.0.1，只能容器内访问，需要设为 0.0.0.0 容器外映射端口才能进行访问。

三、集成 SpringBoot 高亮查询

3.1 连接配置

spring.data节点下的配置大部分已经@Deprecated了，使用 RestHighLevelClient 的elasticsearch节点直接在spring节点下：

spring:
  elasticsearch:
    rest:
      uris: http://127.0.0.1:9200
      username: elastic
      password: 123456

3.2 创建规则

需要注意的是，就好比直接使用 REST API 插入数据并创建索引一样不会创建规则一样，尽管在实体属性的@Field注解上注明了字符串字段具体类型，也同样不会创建索引规则。例如如下方式不会自动创建规则：

PUT /hero/_doc/1
{
  "id": 1,
  "name": "黑暗之女",
  "alias": "Annie",
  "title": "安妮"
}

因此需要提前创建好规则(keyword不会被分词器分词，适合term查询)：

PUT /hero
{
  "mappings": {
    "properties": {
      "id": {
        "type": "integer"
      },
      "name": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "alias": {
        "type": "keyword"
      },
      "title": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "short_bio": {
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "avatar_src": {
        "type": "keyword"
      }
    }
  }
}

3.3 建立 Hero 实体

@Data
@Accessors(chain = true)
@AllArgsConstructor
@NoArgsConstructor
@Document(indexName = "hero")
public class Hero {
    @Id
    @Field(type = FieldType.Integer)
    private Integer id;

    @Field(type = FieldType.Text, analyzer = "ik_smart")
    private String name;

    @Field(type = FieldType.Keyword)
    private String alias;

    @Field(type = FieldType.Text, analyzer = "ik_smart")
    private String title;

    @Field(value = "short_bio", type = FieldType.Text, analyzer = "ik_max_word")
    private String shortBio;

    @Field(value = "avatar_src", type = FieldType.Keyword)
    private String avatarSrc;
}

3.4 导入LOL英雄数据

第一个英雄的接口为黑暗之女 / Annie / 安妮，目前从官网可见最大的 ID 为 856，但是实际上只有 148 条有效记录。对于不存在的接口会返回 404 ，Jsoup 会直接抛出异常，因此需要设置ignoreHttpErrors(true)。

请求到的 JSON 除了英雄本身的信息外，还有皮肤信息、技能信息等，即代码中的wrapper / rootNode，而我们暂时只需要hero节点，将其读取为JsonNode树状结构。

@Slf4j
@SpringBootTest
public class ImportDataTest {
    @Autowired private ObjectMapper objectMapper;
    @Autowired private ElasticsearchRestTemplate elasticsearchRestTemplate;
    // @Autowired private MongoTemplate mongoTemplate;

    // 导入数据
    @Test
    void importDataTest() {
        final int start = 1;
        final int end = 856;
        List<Hero> list = new ArrayList<>();
        // List