es 为什么不支持对象存储 & 备份

原因

Elasticsearch 本身并不直接支持对象存储,主要原因是 Elasticsearch 是基于 Lucene 构建的全文搜索引擎,而 Lucene 只支持文件系统存储。因此,Elasticsearch 只能使用文件系统作为数据存储介质。

另外,对象存储和文件系统存储有很大的区别。对象存储通常是基于 HTTP 协议的 RESTful API,可以提供高可用、高可靠、高扩展性的存储服务,而文件系统存储则需要在文件系统层面保证数据的可用性和可靠性,同时还需要考虑数据的一致性和并发访问的问题。

虽然 Elasticsearch 不支持对象存储,但是可以通过一些工具和插件来实现 Elasticsearch 和对象存储的集成。例如,可以使用 Elasticsearch 的插件 elasticsearch-repository-s3 来将索引数据备份到 AWS S3 对象存储中,也可以使用 Elasticsearch 的插件 elasticsearch-hadoop 来将数据从 Hadoop 集群中导入到 Elasticsearch 中。这些工具和插件可以帮助用户在 Elasticsearch 中使用对象存储的能力。

备份

s3

将ES备份到S3存储需要使用S3仓库插件。以下是基本的步骤:

  1. 安装S3仓库插件
    使用ES的插件管理工具安装S3仓库插件:
sudo bin/elasticsearch-plugin install repository-s3
  1. 配置S3仓库
    在ES的配置文件中,需要添加以下配置来配置S3仓库:
# 配置S3仓库
cloud.aws.access_key: 
cloud.aws.secret_key: 
cloud.aws.region: 

其中,access_key和secret_key是你的AWS凭证,region是你的S3存储区域。

  1. 创建S3仓库
    使用ES的API创建S3仓库:
PUT _snapshot/my_s3_backup
{
  "type": "s3",
  "settings": {
    "bucket": "my_bucket",
    "region": "us-east-1",
    "base_path": "my_backup"
  }
}

这个命令将创建一个名为"my_s3_backup"的S3仓库,使用"my_bucket"存储快照文件。快照文件将存储在"my_backup"目录下。

  1. 创建快照
    使用ES的API创建快照:
PUT /_snapshot/my_s3_backup/snapshot_1?wait_for_completion=true

这个命令将创建一个名为"snapshot_1"的快照,并将其存储在"my_s3_backup"仓库中。wait_for_completion参数表示等待直到快照过程完成。

  1. 恢复快照
    使用ES的API恢复快照:
POST /_snapshot/my_s3_backup/snapshot_1/_restore

这个命令将恢复名为"snapshot_1"的快照。恢复的索引将存储在默认的索引目录中。

需要注意的是,使用S3存储备份需要在AWS中创建S3存储桶,并为ES提供访问S3存储桶的权限。此外,备份和恢复操作需要足够的磁盘空间,以存储快照文件。

nfs

以下是ES备份的基本命令:

  1. 创建快照仓库
PUT /_snapshot/my_backup
{
  "type": "fs",
  "settings": {
    "location": "/mnt/backups/my_backup"
  }
}

这个命令将创建一个名为"my_backup"的快照仓库,使用本地文件系统存储快照文件。快照文件将存储在"/mnt/backups/my_backup"目录下。

  1. 创建快照
PUT /_snapshot/my_backup/snapshot_1?wait_for_completion=true

这个命令将创建一个名为"snapshot_1"的快照,并将其存储在"my_backup"仓库中。wait_for_completion参数表示等待直到快照过程完成。

  1. 恢复快照
POST /_snapshot/my_backup/snapshot_1/_restore

这个命令将恢复名为"snapshot_1"的快照。恢复的索引将存储在默认的索引目录中。

  1. 查看快照仓库和快照
GET /_snapshot/my_backup/_all

这个命令将列出"my_backup"仓库中的所有快照。

  1. 删除快照
DELETE /_snapshot/my_backup/snapshot_1

这个命令将删除名为"snapshot_1"的快照。

需要注意的是,这些命令需要在ES的API中使用。可以使用curl等工具来执行这些命令。

你可能感兴趣的:(k8s,elasticsearch,java,大数据)