Elasticsearch 官网阅读学习笔记01

Elasticsearch 官网阅读学习笔记01

• 什么是 Elasticsearch？

  • Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。
  • Elasticsearch 可为所有类型的数据提供近乎实时的搜索和分析。无论您拥有的是结构化或非结构化文本、数值数据还是地理空间数据

• Elasticsearch 使用可以做什么

  • 在应用程序或网站中添加搜索框
  • 存储和分析日志、指标和安全事件数据
  • 使用 Elasticsearch 作为存储引擎，实现业务工作流程自动化
  • 将 Elasticsearch 作为地理信息系统 (GIS) 来管理、整合和分析空间信息

• 数据：文件和索引

  • 关键内容提取

    • Elasticsearch 是一种分布式文档存储。Elasticsearch 存储的是序列化为 JSON 文档的复杂数据结构，而不是以列数据行的形式存储信息

    • 文档存储后，会在 1 秒钟内编制索引并进行完全实时搜索Elasticsearch 使用一种称为倒排索引的数据结构，支持非常快速的全文检索

    • 索引可以看作是文档的优化集合，而每个 文档又是字段的集合 ，即包含数据的键值对

    • Elasticsearch 会为每个字段中的所有数据建立索引，每个索引字段都有一个专用的优化数据结构。

      • 文本字段存储在倒排索引中
      • 数字和地理字段存储在 BKD 树中

    • 启用动态映射后，Elasticsearch 会自动检测新字段并将其添加到索引中

    • 定义映射可以作什么

      • 区分全文字符串字段和精确值字符串字段
      • 进行特定语言的文本分析
      • 优化字段以进行部分匹配
      • 使用自定义日期格式
      • 使用 geo_point^{(用于存储单个地理坐标点（经纬度），例如：一个商店的位置、用户的实时坐标等。 适合场景：快速查询“附近的地点”、计算两点距离、聚合地理位置数据。)} 和 geo_shape ^{(用于存储复杂的地理形状（如多边形、线、圆形等），例如：国家边界、配送区域、地理围栏。 适合场景：判断地理空间关系（如“某个点是否在某个区域内”或“两个区域是否相交”）。)}等无法自动检测的数据类型

  • 总结:

    • 文档存储架构

      • 分布式文档存储，数据以序列化JSON文档形式存储
      • 支持跨节点分布式存储，数据可被集群内任意节点实时访问
      • 近实时搜索（1秒内完成索引）

    • 倒排索引机制

      • 核心数据结构支持快速全文搜索

      • 通过记录单词与文档的映射关系实现快速检索

      • 所有字段默认被索引，不同字段类型使用不同数据结构：

        • 文本字段 → 倒排索引
        • 数值/地理位置 → BKD树

    • 动态映射（Schema-less）

      • 自动检测字段类型（布尔值、数值、日期、字符串等）
      • 自动添加新字段到索引
      • 适合快速探索数据的场景

    • 自定义映射控制

      • 可覆盖自动映射规则，实现更精确控制：

        • 区分全文检索(text)与精确值(keyword)字段
        • 执行语言特定的文本分析
        • 优化部分匹配
        • 自定义日期格式
        • 支持特殊类型（geo_point/geo_shape）

    • 字段多用途索引

      • 持同一字段不同索引方式：

        • 文本字段同时用于全文搜索和排序/聚合
        • 多语言分析器处理混合语言内容

      • 索引和分析链在查询时保持一致

    • 搜索优化特性

      • 查询文本会经过与索引时相同的分析处理
      • 字段级数据结构优化查询性能
      • 支持复杂数据类型的地理空间查询

• 信息输出：搜索和分析

  • 基于 Apache Lucene 搜索引擎库的全套搜索功能。

  • Elasticsearch 提供了一个简单、连贯的 REST API，用于管理集群以及索引和搜索数据

    • 简短说明 REST请求 RESTful 风格

      • 资源导向 : 所有数据/服务抽象为资源，通过URI唯一标识 示例：/users/123​ 表示ID为123的用户资源

      • HTTP方法映射操作

        • 通过标准HTTP方法实现CRUD：

          • ​GET​ → 获取资源
          • ​POST​ → 创建资源
          • ​PUT​ → 更新资源
          • ​DELETE​ → 删除资源

    • 说明应用程序可以通过简单网络请求获取到数据

    • Elasticsearch 客户端：Java、JavaScript、Go、.NET、PHP、Perl、Python 或 Ruby

  • 数据搜索

    • Elasticsearch REST API 支持结构化查询、全文本查询以及将二者结合起来的复杂查询

      • 结构化查询类似于在 SQL 中构建的查询类型。例如，您可以搜索 employee 索引中的 gender 和 age 字段，并根据 hire_date 字段对匹配结果进行排序
      • 全文查询可查找与查询字符串匹配的所有文档，并按相关性（即与搜索条件的匹配程度）排序返回。

    • 支持 支持高性能地理和数值查询。

    • 查询方式

      • Elasticsearch 的综合 JSON 风格查询语言（ 查询 DSL ）访问所有这些搜索功能
      • 内部构建 SQL 风格 的查询
      • JDBC 和 ODBC 驱动程序可让大量第三方应用程序通过 SQL 与 Elasticsearch 进行交互。

  • 分析数据

    • 概述 : Elasticsearch 聚合使您能够建立复杂的数据摘要，并深入了解关键指标、模式和趋势

  • 总结:

    1. 核心搜索能力
    • 支持结构化查询（类SQL）与全文搜索（基于相关性排序）
    • 提供短语搜索、模糊匹配、前缀搜索及自动补全功能
    • 专为地理空间/数值数据优化，支持高性能地理查询
    • 提供Query DSL（JSON风格）和SQL双查询模式
    • 支持JDBC/ODBC驱动实现第三方工具集成
    2. 实时数据分析
    • 聚合分析功能可生成多维数据洞察：
      ▪ 统计聚合（数量/平均值/中位数）
      ▪ 时间趋势分析（如按月统计）
      ▪ 制造商分布等商业洞察
    • 搜索与聚合在单请求中同步执行
    • 分析结果实时更新，支持动态数据可视化

• 可扩展性和弹性：集群、节点和碎片

  核心概念

  • Cluster（集群）

    • 分布式架构，支持横向扩展和高可用性。
    • 自动分配数据和查询负载到所有节点。
    • 节点增减时自动重平衡分片（Shard）分布。

  • Node（节点）

    • 集群中的单个服务器，可动态加入或移除。
    • 节点越多，集群容量和查询能力越强（冗余性提升）。

  • Shard（分片）

    • 逻辑索引（Index）由多个物理分片组成。

    • 分片分为两类：

      • Primary Shard（主分片） ：存储文档的唯一副本，数量在索引创建时固定。
      • Replica Shard（副本分片） ：主分片的冗余副本，提供数据保护和读请求负载均衡，数量可动态调整。

    • 分片分布在多个节点上，实现冗余和性能优化。

  ---

  2. 分片设计原则

  • 分片大小

    • 推荐范围：几GB到几十GB（时间序列数据建议20-40GB）。
    • 过大问题：集群重平衡时迁移时间变长。
    • 过小问题：维护开销高（如大量小分片导致查询性能下降）。

  • 分片数量

    • 主分片数：索引创建时确定，不可修改。
    • 副本分片数：可随时调整，不影响读写操作。
    • 分片与堆内存关系：每GB堆内存建议不超过20个分片（避免“海量分片”问题）。
    • 测试验证：需根据实际数据和查询场景测试最佳配置。

  ---

  3. 高可用与容灾

  • 跨集群复制（CCR, Cross-Cluster Replication）

    • 作用：主集群（Active Leader）到备用集群（Passive Follower）的热备份，支持故障转移和地理邻近读请求。

    • 模式：

      • 主集群处理写请求，副本集群只读。
      • 主集群故障时，副本集群可接管。

  ---

  4. 运维与管理

  • 节点部署

    • 节点间需高可靠、低延迟连接（建议同数据中心或邻近数据中心）。
    • 避免单点故障（多区域部署需结合CCR）。

  • 工具与功能

    • Kibana：集群管理控制中心，集成安全、监控、管理功能。
    • 索引生命周期管理：自动管理数据（如滚动更新、归档）。
    • 数据汇总（Rollups） ：优化历史数据存储与查询效率。

‍