AWS学习笔记-存储小结
EBS
Elastic Block Store (EBS) provides persistent block storage volumes for usage with Amazon EC2 instances in the AWS Cloud.
- EKS使用EC2，AWS提供EBS CSI驱动 for EKS
- 每个Amazon EBS卷都会自动与其AZ一起复制，以保护您免受组件故障的影响，从而提供高可用性和耐用性。
TIPs：
EBS就像云中的虚拟硬盘驱动器
- 它使用网络与实例通信，这意味着可能会有一点延迟
- 它可以从EC2实例中分离出来，并快速连接到另一个实例，只要在同一个环境中
- 它一次只能附加到单个实例
- 对于EKS，其Access Mode为RWO
Classes
| Type | Description | Use Cases | API Name | Volume Size | Max. IOPS / Volume |
|---|---|---|---|---|---|
| General Purpose (GP2 SSD) | General purpose that balances price and performance - can be used as boot volumes | Most work loads | gp2 | 1GB - 16TB | 16000 |
| Provisioned IOPS (SSD) | Highest-performance SSD for mission-critical applications, IOPS (I/O Ops Per Sec) - can be used as boot volumes | Databases | io1 | 4GB - 16TB | 64000 |
| Throughput Optimised Hard Disk Drive (ST1 HDD) | Low cost HDD for freq. accessed, throughput-intensive workloads | Big Data & Data warehouses | st1 | 500GB - 16TB | 500 |
| Cold HDD (SC1 HDD) | Lowest cost HDD for less freq. accessed workloads | File Servers | sc1 | 500GB - 16TB | 250 |
| EBS Magnetic Previous generation HDD | Workloads where data is infreq. accessed | Standard | 1GB - 1TB | 40 - 200 |
EBS锁定在AZ中，这意味着如果us-east-1a中的EBS卷无法连接到us-east-1b。要跨卷移动卷，首先需要对其进行快照
- EBS卷的默认类型是SSD，但附带了其他的选项
不同EBS卷的详细信息
gp2/gp3
GP2-General purpose是用于平衡价格和性能的通用卷，这种类型的卷可以用作引导卷：
- 建议用于大多数工作负载
- 系统启动卷
- 虚拟桌面
- 低延迟交互式应用程序
- 开发和测试环境
以下是GP2/3的一些统计数据
- 1 GB-16 TB
- 小型gp2卷可以将IOPS突发到3000
- 最大IOPS为16000
- 每GB 3个IOPS，意味着在5334GB时，我们达到了最大IOPS
- gp2吞吐量介于 128 MiB/s 和 250 MiB/s 之间，具体取决于卷大小。小于或等于 170 GiB 的卷提供最大 128 MiB/s 的吞吐量。如果有突增积分可用，大于 170 GiB 但小于 334 GiB 的卷将提供 250 的最大吞吐量。无论突增点数是多少，大于或等于 334 GiB 的卷均可提供 250 MiB/s。gp3吞吐量 1000-MiB/s
io1/2
io1适用于需要持续IOPS性能或每卷超过16000 IOPS（gp2限制）的关键业务应用程序，也适用于大型数据库工作负载
io1的统计数据
- 4 GB-16 TB
- 已设置IOPS（PIOPS）-最小值为100~最大值为64000
- 配置的IOPS与请求的卷大小（GB）的最大比率为50:1
io2 Block Express volumes
- up to 4,000 MB/s throughput,
- 256,000 IOPS,
- 64 TiB storage capacity
- 1,000 IOPS/GB
sc1
- 面向吞吐量的存储，用于不经常访问的大量数据
- 最低存储成本非常重要的场景
- 不能是启动卷
吞吐量是指在给定的时间内，有多少数据可以从一个位置传输到另一个位置。它用于测量硬盘和RAM的性能，以及Internet和网络连接。
sc1的统计数据
- 500 GB-16 TB
- 最大IOPS为250
- 最大吞吐量为250 MB/s-can突发
EBS卷类型摘要
-
gp2：通用卷（便宜）
○ 3 IOPS/GB，最小为100 IOPS，可突发到3000 IOPS，最大为16000 IOPS -
io1：配置的IOPS（昂贵）
○ 最低100 IOPS，最高64000 IOPS（Nitro）或32000（其他）Nitro 系统是 AWS 构建的硬件和软件组件的集合，可实现高性能、高可用性和高安全性。
-
st1：吞吐量优化的硬盘驱动器
○ 500 MB/s吞吐量 -
sc1：冷硬盘，很少访问数据
○ 250 MB/s吞吐量
EBS快照
需要确保EC2实例的AZ与EBS卷的AZ相同，否则将导致巨大的延迟时间。
EBS快照以增量方式备份到S3
如果我们终止EC2实例会发生什么？
- 自动删除EBS卷（根设备）
- 其他卷（默认情况下）继续存在，并且卷的状态为可用
- 我们可以创建EBS并选中“终止时删除”
如何将数据从AZ1迁移到另一个不同的AZ（EC2/EBS）？
- 操作->创建快照:找到根设备卷，根设备卷将具有snapshotID，“操作”->“创建快照”
- 将快照转换为AMI:选择快照“操作”->“创建映像”，然后我们可以使用它并部署到另一个AZ
- 使用AMI在另一个AZ中启动
对于“虚拟化类型”，有“准虚拟”（PV）和硬件虚拟机（HVM）
Tips
- 卷存在于EBS上，请将EBS视为虚拟硬盘
- 快照位于S3上，可以将快照视为磁盘的照片
- 快照是卷的时间点拷贝
- EBS快照是增量的，只有自上次快照以来更改的块才会移动到S3
- 要为用作根设备的Amazon EBS卷创建快照，应在拍摄快照之前停止实例
- 您可以从卷和快照创建AMI
- 您可以动态更改EBS卷大小，包括更改大小和存储类型
- 卷将始终与EC2实例位于同一个AZ，但您可以跨AZ或区域复制快照
- EBS备份将利用IO，因此在处理大量流量时不应启用它
- 建议-分离EBS卷以执行备份，但不是必须的
- 通过快照恢复的EBS卷需要预热（使用fio或dd命令读取整个卷）
- 可以使用“Amazon Data Lifecycle Manager”自动化快照
EBS Encryption
- 创建加密的EBS卷时，会得到以下结果：
○ 数据在卷内进行加密
○ 在实例和卷之间移动的所有数据都是加密的
○ 所有快照都是加密的
○ 从快照创建的所有卷都是加密的 - 加密和解密是透明处理的，这意味着您不需要做任何事情
- 加密对延迟的影响最小
- EBS加密利用KMS（AES-256）的密钥
- 如果未加密的EBS需要加密，复制未加密的快照允许加密
○ Create an EBS snapshot of the volume
○ Encrypt the EBS snapshot (using copy)
○ Create a new EBS volume from the snapshot (the volume will also be encrypted)
○ Now you can attach the encrypted volume to the original instance
EBS vs Instance Store
某些实例不附带根EBS卷。相反，它们附带了“实例存储”，即短暂存储。实例存储物理连接到计算机（EBS是一个网络驱动器）
使用实例存储有优点和缺点
- 赞成的意见
○ 更好的I/O性能
○ 适用于缓冲区/缓存/暂存数据/临时内容
○ 数据在重新启动后仍然有效 - 缺点
○ 停止或终止时，实例存储将丢失（因为短暂的<->临时的）
○ 无法调整实例存储的大小
○ 备份必须由用户操作
本地EC2实例存储是连接到EC2所在的物理服务器的物理磁盘
它的IOPS非常高，但无法增加其大小，如果硬件出现故障，数据将丢失
EBS RAID选项
EBS在AZ中自动化复制，因此它已经是冗余存储。但是，如果要进一步提高IOPS或镜像EBS卷，则需要在RAID设置中并行装载卷(RAID是可能的，只要您的操作系统支持它）
常规RAID选项：
- RAID 0
- RAID 1
- RAID 5-不建议用于EBS
- RAID 6-不建议用于EBS
RAID 0-提高性能
- 合并2个或多个卷并获取总磁盘空间和I/O
- 但一个磁盘出现故障，则所有数据都出现故障
- 用例：
○ 应用程序需要大量IOPS，不需要容错
○ 已内置复制的数据库 - 使用它，我们可以拥有一个IOPS非常大的磁盘
○ 两个500G EBS io1卷（每个卷具有4000个已配置IOPS）将创建一个1000GB RAID 0阵列，可用带宽为8000 IOPS，吞吐量为1000 MB/s
RAID 1-提高容错能力
RAID 1是将一个卷镜像到另一个卷，这意味着如果一个磁盘出现故障，那么我们的逻辑卷仍在工作（因为存在镜像卷）
用例：
- 需要提高卷容错性的应用程序
- 需要服务磁盘的应用程序
○ 将创建两个500 GB EBS io1卷，每个卷具有4000个配置的IOPS 500 GB RAID 1阵列，可用带宽为4000 IOPS，吞吐量为500 MB/s
EFS（弹性文件系统）
- EFS是一个受管理的NFS（网络文件系统），可以安装在许多EC2上，EFS可以在多个环境Multi-AZ中使用EC2实例。
- EC2 实例可以跨可用区和区域访问您的文件系统
- EFS是一种高可用性、可扩展性和昂贵的服务
- EFS CSI为EKS、ECS、Fargate提供Access Mode=RWX的存储类
- 吞吐量和 IOPS 可以随文件系统增长而扩展
- 可以按需扩展至 PB 级
- 可以支持超过 10 GB/秒的性能和高达 500000 次 IOPS
Use cases:
content management,
web serving,
data sharing,
WordPress application
Summary: EBS or EFS —&S3
| EBS | EFS |
|---|---|
| can be attached to only one instance at a time | can be mounted to hundreds of instances |
| locked at the AZ level | can share website media files |
| migrating an EBS volume across AZ means first backing it up and re-create it using snapshot in another AZ | |
| EBS backups use IO and you should avoid it while the application is handling a lot of traffic | |
| Root EBS volumes of instances get terminated by default if the EC2 instance gets terminated (you can disable it) |
| Characteristics | S3 | EFS | EBS |
|---|---|---|---|
| Performance | Supports up to 3500 PUT/LIST/DELETE requests and 5500 GET requests per second Slower than EBS and EFS | Baseline performance: 3GB/s Upto 7K IOPS Faster than S3 but slower than EBS | 250-500 IOPS per volume for HDD and 16-64K per volume for SSD Faster than S3 and EFS |
| Storage and file size limit | No limit on storage. The individual object can be up to 5TB. | Max 16TB per volume Max 52TB for individual file | Max storage 16 TB No file size limit. |
| Accessibility | Accessible via the internet using APIs. It is accessible from anywhere. | Accessible from any region. It has up to 1000 concurrent EC2 instances. You can share files between different regions on multiple EFS instances. | Accessible via single EC2 instance. Accessible in a particular region. |
| Access Control | IAM user-based authentication. Uses user policies and bucket policies. Public access via block public access | IAM user-based authentication. Security groups. | IAM user-based authentication. Security groups. |
| Data backup and restoring | Use versioning or cross-region replication | EFS to EFS replication | Automated backups and snapshots |
| Cost Pay | per use Free: 5GB 1st 50 TB/month at $0.023/GB Next 450 TB/month at $0.022/GB Over 500 TB/month at $0.021/GB | Pay per use Standard storage: $0.30-$0.39 per GB per month (depends on region) Infrequent storage: $0.025-$0.03 per GB per month Provisioned throughput: $6 per MBps-month | Pay for provisioned capacity Free: 30GB General-purpose: $0.045 per Gb per month Provisioned SSD: $0.125 per GB/month, $0.065 per IOPS/month |
| Advantages | Easily scalable and can access multiple instances of EC2. Best used for data archiving | Faster than S3 with high IOPS and low latency Most scalable due to availability of multiple EC2 instances. Auto Scaling potential | Faster than S3 with high IOPS and low latency Cheaper than EFS. |
| Usage | Use for static storage like for website, media, and entertainment. Best to use for running analytics over static data pool present in S3 with the provision of running complex queries to draw insights | Best for large quantities of data. Large analytic workloads as in bigData analytics. Most suitable for a content management system. Must be used for lift and shift application support | Database backups and low latency applications Use EBS for high-performance storage service on a single device. Transactional and NoSQL databases |
Use S3 for static purposes.
EFS can be used for an application that is highly scalable and high-performance oriented.
EBS is best suited where a single device requires high performance. The best example of EBS will be transactional databases.
Snowball
简而言之,Snowball是一种将大量数据移动到AWS云中的设备。它支持：
- 从S3导入
- 导出到S3
- Storage Gateway是一项服务，使您能够安全地将数据存储到AWS云，以实现可扩展且经济高效的存储
- Snow 系列由 AWS Snowcone、AWS Snowball 和 AWS Snowmobile 组成
Snowball Edge：Snowball Edge为设备添加了计算能力，它支持自定义EC2 AMI，因此可以将数据处理和分析移动到尽可能接近创建数据的位置
功能比较
| AWS Snowcone | AWS Snowball Edge Storage Optimized | AWS Snowball Edge Compute Optimized | AWS Snowmobile | |
|---|---|---|---|---|
| 使用情景 | 边缘计算、数据传输、边缘存储 | 数据传输、边缘存储 | 边缘计算、数据传输 | 数据传输 |
| 可用 HDD 存储 | 8 TB | 80 TB | 42 TB | 100 PB |
| 可用 SSD 存储 | 14 TB | 1 TB | 7.68 TB | 否 |
| 可用 vCPU | 4 个 vCPU | 40 个 vCPU | 52 个 vCPU | 不适用 |
| 可用内存 | 4 GB | 80 GB | 208GB | 不适用 |
| GPU | 否 | 否 | nVidia V100（可选） | 否 |
| 板载计算选项 | AWS IoT Greengrass Amazon EC2 AMI | AWS IoT Greengrass Amazon EC2 AMI | AWS IoT Greengrass Amazon EC2 AMI | 不适用 |
| DataSync | 是 | 否 | 否 | 否 |
| 通过 NFS 传输 | 是 | 是 | 是 | 是 |
| 通过 S3 API 传输 | 否 | 是 | 是 | 否 |
| 网络接口 | 2x 1/10 Gbit - RJ45 | 2x 10 Gbit – RJ45 1x 25 Gbit – SFP+ 1x 100 Gbit – QSFP28 | 2x 10 Gbit – RJ45 1x 25 Gbit – SFP+ 1x 100 Gbit – QSFP28 | 6x 40 Gbit |
| 设备大小 | 9 英寸长，6 英寸宽，3 英寸高(227 mm x 148.6 mm x 82.65 mm) | 28.3 英寸长，10.6 英寸宽，15.5 英寸高(548 mm x 320 mm x 501 mm) | 28.3 英寸长，10.6 英寸宽，15.5 英寸高(548 mm x 320 mm x 501 mm) | 不适用 |
| 设备重量 | 4.5 lb(2.1 kg) | 49.7 lb(22.3 kg) | 49.7 lb(22.3 kg) | 不适用 |
| 加密 | 有，256 位 | 有，256 位 | 有，256 位 | 是，256 位 |
| 便携性 | 依靠电池运行 | 否 | 否 | 否 |
| 无线 | Wi-Fi | 否 | 否 | 否 |
| 存储集群 | 否 | 是，5-10 个节点 | 是，5-10 个节点 | 不适用 |
| 常规作业生命周期 | 离线或在线数据传输:数天-数周 边缘计算：数周-数年 | 离线数据传输:数天-数周 | 边缘计算:数周-数年 | 数据迁移：数月 |
Storage Gateway
适合混合云存储
基础设施的一部分在云上，另一部分在本地
作为内部部署数据和云数据之间的桥梁，在S3中，典型的使用案例是灾难恢复、备份和恢复以及分层存储
Types of Storage Gateway:
1. File Gateway
2. Volume Gateway
Stored Volumes
Cached Volumes
3. Tape Gateway Virtual Tape Library (VTL)
4. FSx File Gateway
文件网关File GW
- 可以使用NFS和SMB协议访问配置的S3存储桶
- 支持S3标准、S3 IA、S3一区IA
- 使用IAM角色对每个文件网关进行bucket访问
- 最近使用的数据缓存在文件网关中
- 可以安装在许多服务器上
文件作为对象存储在S3存储桶中，通过网络文件系统（NFS）mounting point进行访问
卷网关 Volume Gateway
- Volume Gateway为您的应用程序提供使用iSCSI数据块协议的磁盘卷，该协议由S3支持
- 异步备份为时间点快照，快照作为Amazon EBS快照存储在云中
- 快照是增量备份，只捕获更改的块，但压缩到最小的费用
=>在云中存储虚拟硬盘驱动器
总结一下存储卷和缓存卷之间的区别
- 对于存储卷：
○ 整个数据集存储在站点上
○ 异步计划备份到S3 - 对于缓存卷：
○ 整个数据集存储在S3上
○ 最常访问的数据在on-site缓存（对最近使用的数据进行低延迟访问）
存储卷将文件存储在S3上并提供本地缓存的copy，而缓存卷将文件存储在本地并将其作为备份推送到S3
磁带网关Tape Gateway
- Physical tapes for the backup process, for example
- Virtual Tape Library (VTL) backed by S3 and Glacier
- Back up data using existing tape-based processes (and iSCSI interface)
- Works with leading backup software vendors
Exam Tip:
if the question is asking “On-premise data to the cloud”, we want Storage Gateway
- File Access / NFS -> File Gateway, backed by S3
- Volumes / Block Storage / iSCSI -> Volume Gateway, backed by S3 with EBS Snapshots
- VTL Tape solution / Backup with iSCSI -> Tape Gateway, backed by S3 and Glacier
| 类型 | 说明 |
|---|---|
| 文件网关（NFS） | 文件作为对象存储在S3存储桶中，通过NFS装载点进行访问。 |
| 卷网关（iSCSI） | 通过iSCSI块协议使用虚拟目录。文件作为Amazon EBS快照存储在云中。两种类型：（1）存储卷和（2）缓存卷。 |
| 类型网关（VTL） | 它提供了一个持久、经济高效的解决方案，用于在AWS云中归档您的数据（与卷网关的机制相同）。 |
FSx
Amazon FSx for Windows
EFS是用于Linux系统的共享POSIX系统，不适用于Windows机器
Amazon FSx for Windows是一个完全受管理的Windows文件系统共享驱动器
- 支持SMB协议和Windows NTFS
- Microsoft Active Directory集成、ACL、用户配额
- 它构建在SSD上，具有高IOPS、高吞吐量
- 可以从您的内部on-premise基础设施访问
- 可配置为多AZ（高可用性）
- 数据每天备份到S3
FSx for Lustre
Amazon FSx for Lustre是一种用于大规模计算的并行分布式文件系统
机器学习、高性能计算（HPC）、视频处理、金融建模、电子设计自动化
与S3的无缝集成：
- 可以将S3作为文件系统读取（通过FSx）
- 可以将计算输出写回S3（通过FSx）
它可以从本地服务器使用
Storage Comparison
| Storage Type | Note |
|---|---|
| S3 | Object Storage |
| Glacier | Object Archival |
| EFS | Network File System for Linux instances |
| FSx for Windows | Network File System for Windows |
| FSx for Lustre | High-Performance Computing |
| EBS volumes | Network storage for one EC2 instance at a time |
| Instance Storage | Physical storage for your EC2 instance (high IOPS) |
| Storage Gateway | File Gateway; Volume Gateway (cache & stored); Tape Gateway |
| Snowball / Snowmobile | move a large amount of data to the cloud, physically |
| Database | specific workloads, usually with indexing and querying |