记一次在中国区使用AWS Snowball

背景：

这是一个将本地数据中心的数据迁移至AWS S3的项目，数据量大概有60-70TB。存储服务器为Windows2012，文件类型主要由文本文件和视频媒体文件组成。
本以为是一次简单的数据迁移上云，没想到遇到了不少坑..

image.png

1.什么是snowball

简单的说 Snowball是一个快速、安全、便宜的数据迁移方案，这里的便宜是指比通过互联网传输的流量费要节省5倍左右，容量一般为50TB和80TB。
不仅可以将本地数据导入至S3，还可以将海量的S3数据传输回本地，不过在这里要注意的是，传入云中的数据是不计费的，从S3中导出数据是要按照数据量额外收取费用的。
查看定价

2.开始使用

使用的流程：

• 1：创建任务（导入还是导出）

  
  
  image.png

• 2：提供运输信息 （贵公司数据中心地址）

  
  
  image.png

• 3：给任务起个名，选择目标存储桶

  
  
  image.png

• 4：创建IAM角色 设置SNS通知提交后等待审核

  
  
  image.png
  
  
  image.png

• 5：接收snowball后连接到本地网络，随机附带电源线， RJ45 网线、SFP+ 铜缆（或者 SFP+ 光学网络接口）默认可通过 DHCP 设定 IP，也可以手动设定固定 IP 地址）

  
  
  image.png

• 6：下载snowball的客户端（这里是第一个坑，从文档里下载的client叫opshub是针对snowball edge，中国区只有snowball v1.....中国区client下载链接 : Linux Windows 目前为止官网上还是没有找到用于中国区的snowballv1的client下载地址 ）
  

  image.png

• 7：从控制台上下载manifest 和密码验证snowball的完整性并解锁开始使用（这里是第二个坑，我发现解锁的时候软件是没有任何响应的，最后发现作业状态是正在准备发运，可是我已经收到货了，后来联系了客服才知道是后台的问题没有更新状态的情况下是无法正常解锁的，通过开case等了一天之后才将状态更新...）
  

  错误的状态！

正确的状态

• 8：传输数据，这里我使用的是Windows，使用powershell配合命令完成数据传输

## 连接snowball 提供地址、清单文件、解密密码
snowball start -i 192.168.0.10 -m /Downloads/JID2EXAMPLE-0c40-49a7-9f53-916aEXAMPLE81-manifest.bin -u 12345-abcde-12345-ABCDE-12345
## 返回信息：
# snowball status: OK
# Snowball appliance version: 1.0.1 build 2017-03-10.5744751551
# Snowball client version: 1.0.1 Build 146
# IP: 10.29.180.135
# Used space Free space Total space
# 3739.88 GB 70474.39 GB 74214.27 GB
# Ready to transfer. When you're finished, run "snowball stop".

## 拷贝本机/Desktop/SnowballTestData目录下所有文件到Snowball s3://ie-test-profiles-bjs/Logs目录中，注意桶名
snowball cp --recursive ~/Desktop/SnowballTestData s3://ie-test-profiles-bjs/Logs

## 列出存储桶中的数据
snowball ls s3://ie-test-profiles-bjs/Logs

## 删除存储桶中的数据
snowball rm -r  s3://ie-test-profiles-bjs/Logs

• 9 snowball寄回有两种方式

1. 根据控制台的邮件地址开case

   
   
   image.png
2. snowball断电后墨水屏上也会显示寄回的方式

3.使用场景

• 1 将大量本地数据中心上传至S3，至少是10TB以上，数据量小会比较不划算
• 2 将大量S3的数据回传至本地的数据中心，将大大提高检索速度
• 3 机器学习、边缘计算、内容分发等高级用法参考官网使用手册