使用 Elastic Cloud Hosted 优化长期数据保留：确保政府合规性和效率

作者：来自 Elastic Jennie Davidowitz

在数字时代，州和地方政府越来越多地承担着管理大量数据的任务，同时确保遵守严格的监管要求。这些法规可能因司法管辖区而异，通常要求将数据保留较长时间 —— 有时从一年到七年不等。遵守刑事司法信息服务 (Criminal Justice Information Services - CJIS)、健康保险流通与责任法案 (Health Insurance Portability and Accountability Act - HIPAA) 和支付卡行业数据安全标准 (Payment Card Industry Data Security Standard  - PCI DSS) 等标准不仅是法律义务，也是维护公众信任和运营完整性的关键组成部分。Elastic Cloud 提供强大的解决方案，帮助政府实体高效且经济地满足这些合规需求。

使用 Elasticsearch logsdb 索引模式降低数据存储成本

最近推出的 Elasticsearch logsdb 索引模式旨在通过高效存储和搜索基本日志数据来显著降低数据存储成本。Logsdb 索引模式可以将数据存储成本降低高达 65%，使其成为旨在优化数据管理预算的公共部门组织的理想选择。通过使用 logsdb 索引模式，政府机构可以维护全面的日志数据以用于合规和审计目的，而无需承担过高的成本。此功能可确保关键日志数据保持可访问和管理，支持长期数据保留策略，同时遵守预算限制。

Elastic 的数据分层策略：提取和搜索/存档

与其他供应商不同，Elastic 的数据分层方法通过根据访问频率和成本将数据分类到存储层来优化数据管理：

• 热层（Hot tier）：专为频繁访问、需要快速分析的关键数据而设计。热层中的数据通常保留一到七天，以便立即进行分析。
• 冷层（Cold tier）：适用于不经常访问的只读数据，使用低成本的对象存储，如 AWS S3。它通过缓存和部分恢复来平衡成本和性能。
• 冻结层（Frozen tier）：非常适合长期保留，将数据完全存储在对象存储中长达两年或更长时间。Elastic 独特的可搜索快照功能支持直接搜索而无需任何补水，从而保持高效的搜索性能。大多数 Elastic 客户一直采用热冻结架构，其中数据在热层中存储一到三天，其余数据在冻结层中。这种方法可以显著降低成本，同时保持高水平的搜索性能。

Elastic 的冷层和冻结层的搜索速度与竞争对手的热层相当，通常无需使用暖层（warm tier）。这种方法允许以相同的成本存储多达 20 倍的只读数据，从而降低总拥有成本并提高数据可用性、合规性和业务成果。

可搜索快照如何工作？

可搜索快照（searchable snapshots）允许你将数据保留在低成本的对象存储中，由 Elastic 管理，并且无需恢复即可进行搜索，从而避免延迟、传输成本和潜在的数据驻留问题。这对于处于冻结层的数据尤其有利，在该层中存储成本被降至最低，但数据仍然可用于分析和合规目的。

• 快照创建：Elastic 集群中的数据会被定期捕获，并作为快照存储在选定的对象存储库中。这些快照是索引的时间点副本。
• 可搜索性：与传统快照需要恢复后才能查询不同，可搜索快照支持直接查询存储在对象存储中的数据。
• 成本效益：通过 Elastic 将数据存储在对象存储中，组织可以享受比传统块存储更低的存储成本。
• 缓存加速性能：Elastic 通过缓存常用搜索结果来加快查询速度。如果搜索需要的数据不在缓存中，Elasticsearch 会从快照存储库中获取缺失数据。这类搜索可能较慢，但获取的数据会存入缓存，以便后续类似查询更快返回结果。Elasticsearch 会逐出不常使用的数据以释放缓存空间。当节点重启时，缓存将被清空。

这种方法大大降低了总拥有成本，使其成为预算紧张的政府实体的理想选择。

通过设置快照存储库卸载长期数据

Elastic 与多种对象存储解决方案集成，允许政府机构将数据卸载到他们选择的存储库，例如 AWS、Azure Blob Storage 或 Google Cloud Platform。Elasticsearch 还提供了在本地存储数据的选项，用于需要监管或数据主权的用例。

工作原理如下：

• 存储库设置：在 Elastic Cloud 中，使用你首选的云存储服务配置快照存储库。这涉及设置必要的凭据和权限，以允许 Elastic 存储和检索你选择的存储解决方案中的数据。
• 可搜索快照：配置存储库后，创建索引的可搜索快照。这些快照存储在配置的存储库中，可以直接查询，而无需将它们还原到 Elastic 集群。
• 成本效益和灵活性：通过使用你自己的存储帐户，你可以保持对数据的控制，并可以根据特定的性能需求和保留要求优化成本。可搜索快照提供了一种经济高效的方式来保留长期数据，同时确保它仍然可用于分析和合规目的。

了解有关快照存储库的更多信息。

可扩展的数据增长选项

Elastic 的数据分层策略（从热到冷）为政府机构提供了强大的工具来管理云中的长期数据保留。通过使用可搜索快照和 logsdb 索引模式，机构可以实现成本节约、可扩展性和合规性，同时保持高效搜索和分析数据的能力。随着数据的不断增长，Elastic 为管理和使用这种宝贵资源提供了可持续的解决方案。

有关设置可搜索快照和与云存储集成的更详细指导，请参加我们于 2025 年 3 月 12 日举办的公共部门长期数据保留研讨会。在此处注册。

相关资源

• 博客：实时日志和发展：Elasticsearch 全新专业化的 logsdb 索引模式
• 博客：Elastic 搜索快照如何工作？
• 博客：有什么区别？Elastic 和 Splunk 数据层
• 博客：冰，冰，也许：评估可搜索快照的性能
• 白皮书：使用 Elastic 作为数据网格加速你的任务

原文：Optimizing long-term data retention with Elastic Cloud Hosted: Ensuring compliance and efficiency for government | Elastic Blog