两大场景,数据迁移到OSS竟然这么简单!

用户希望将历史数据迁移到用户在OSS的某个目标Bucket上。其中,需要迁移的源数据可能来自于OSS的某个Bucket,也可能来自于本地、第三方云存储(如AWS S3、Azure Blob、腾讯云COS、七牛、百度BOS、又拍云、金山KS3等)、HTTP等。

主要方法

  • 在线迁移服务

    使用在线迁移服务进行迁移。适用于各类数据源的数据,批量迁移到OSS。迁移时无需搭建迁移环境,可在线提交迁移任务并随时监控迁移过程,请参考在线迁移服务文档

  • OssImport

    使用OssImport工具进行迁移。适用于各类数据源的历史数据,批量迁移到OSS,请参考OssImport文档

  • 镜像回源

    适用于客户源站无缝迁移数据到OSS。即服务已经在自己建立的源站或者在其他云产品上运行,需要迁移到OSS上,但是又不能停止服务,此时可利用镜像回源功能实现。在OssImport完成历史数据迁移后,将新产生的数据迁移过程,请参考镜像回源无缝迁移到OSS

  • OSS跨区域复制

    适用于同一账户下,从OSS Bucket A将数据复制到Bucket B,请参考设置跨区域复制。在使用时,需注意设置“同步历史数据”。此外,如果不希望同步BucketA的删除操作,可将同步策略设置为“写同步”。

  • 闪电立方

    适用于线下数据中心大规模数据迁移上云,支持TB到PB级别大规模数据上云。具体参考官网产品介绍闪电立方

  • OSS API或SDK

    使用OSS API或SDK编写代码实现,适用于开发能力较强的客户,请参考Copy ObjectUpload Part Copy

场景1:将非OSS上的数据迁移到OSS中

在此场景中,迁往目的地是OSS上的Bucket,而源数据不是存储在OSS上,比如在本地、HTTP、第三方云存储(如AWS S3、Azure Blob等)。

各方法的选择如下:

  • 在线迁移服务

    适用于各种规模大小的第三方源数据迁移到OSS。

  • OssImport

    适用于历史数据批量迁移到OSS,特别适合数据量比较大的情况。数据量大时,使用OssImport分布式版本。

  • 镜像回源

    适用于源站新的热数据在线迁移到OSS,如满足您对于数据热迁移、特定请求重定向等需求。

  • 闪电立方

    适用于用户本地数据中心,TB到PB级别大规模数据上云

  • OSS API/SDK(Copy Object、Upload Part Copy)

    适用于有特性需求,使用OSS API/SDK 编写代码上传OSS。

场景2:OSS之间的数据迁移

此场景是指将OSS源Bucket数据迁移到OSS目标Bucket中。迁移的数据源和迁移目的地都是OSS的Bucket。

各方法的选择如下:

  • 在线迁移服务

    适用于各种规模大小的数据迁移场景。

说明:不适用于归档类型的文件迁移。
  • OSS跨区域复制

    • 源Bucket和目标Bucket属于同一个用户,且分属不同的地域。
    • 源Bucket、目标Bucket存储类型都不是归档类型:
说明:如果希望源Bucket历史数据迁移(复制到)目标Bucket后,源Bucket的变更(新增、更新、删除)不再同步到目标Bucket,可以在控制台关闭源Bucket的跨区域复制。
  • OssImport

    更适合数据量较大(如大于10TB)历史数据迁移场景。

  • OSS API/SDK(Copy Object、Upload Part Copy)

    建议优先使用OssImport或跨区域复制,除非用户有更细化或特性的需求,且有一定的开发能力。

其他

如果问题还未能解决,请联系售后技术支持


更多场景实践敬请关注【阿里云云栖号】

本文为阿里云内容,未经允许不得转载。

你可能感兴趣的:(数据迁移,开源软件,云服务,oss)