ElasticSearch11-8.x 新特性

零、文章目录

ElasticSearch11-8.x 新特性

1、API 变更

（1）类型（_type）移除

• 在 Elasticsearch 8.x 中，索引中的 _type 已经被完全移除。这意味着所有文档在同一个索引中将不再区分类型，简化了索引结构，但同时也要求开发者调整应用程序逻辑以适应这一变化。

（2）客户端库更新

• Elasticsearch 8.x 不再支持 rest-high-level-client，而是推荐使用新的 elasticsearch-java 客户端库。这个新客户端提供了同步和异步两种API，并且更好地集成了现代 Java 特性如流式处理、lambda表达式等。
• 对于想要保持向后兼容性的开发者，可以使用 7.17.x 的 rest-high-level-client 来访问 8.x 集群，但这只是临时解决方案。

（3）事件查询语言 (EQL)

• Elasticsearch 8.x 引入了 EQL，这是一种用于复杂事件处理的新查询语言，特别适合检测序列模式或异常行为。

（4）SQL 支持

• 虽然 7.x 已经开始支持 SQL 查询，但在 8.x 中这项功能得到了进一步的发展和完善，包括更好的性能和更多的特性支持。

2、 功能增强

（1）安全性改进

• 默认启用了安全配置，包括自动生成 TLS 证书、密钥和为 elastic 用户设置密码，以及在 Kibana 上生成注册令牌。此外，对系统索引的访问进行了限制，提高了系统的安全性。

（2）机器学习与 NLP 模型集成

• Elasticsearch 8.x 原生支持加载并运行 PyTorch 模型，这使得可以在数据摄取时直接应用复杂的自然语言处理模型，比如 BERT，来进行文本分类、情感分析等任务。

（3）矢量搜索

• 8.x 强化了矢量搜索的能力，特别是通过 k-Nearest Neighbors (kNN) 算法的支持，这对于图像识别、推荐系统等领域非常重要。

（4）存储优化

• 新版本引入了更加高效的倒排索引编码方式，减少了磁盘空间占用，同时提升了 geo_point、geo_shape 和 range 字段的索引速度。

（5）时间序列数据流 (TSDS)

• 8.8 版本新增的时间序列数据流功能确保特定时间序列的所有文档都位于同一分片上，并按时间戳排序，有助于提高查询效率。

3、 内部实现的变化

（1）JDK 升级

• Elasticsearch 8.x 需要 JDK 17 才能运行，这带来了性能上的提升和对最新 Java 特性的支持。

（2）段合并策略

• 8.x 对段合并策略进行了优化，减少了 I/O 操作，提高了索引和查询性能。

（3）读写一致性

• 为了保证读写一致性，8.x 提供了更严格的控制选项，例如可以通过设置更高的写入一致性级别来确保数据的一致性。

4、其他注意事项

（1）升级路径

• 从 7.x 到 8.x 的升级需要仔细规划，因为某些旧的功能可能已经被废弃或者发生了重大变更。官方建议先创建快照，然后在新的 8.x 集群中恢复这些快照，以确保数据的安全迁移。

（2）依赖管理

• 由于 API 和客户端库的变化，项目中的依赖也需要相应更新，特别是在使用 Java 进行开发时，需要注意版本兼容性问题。