S3 test 知识点

S3 test 知识点

1

1. 创建S3的bucket的默认配置值

2. versioning默认是不被选中的；

3. Server access logging默认是不被选中的；

4. Tag默认是可以定义的；

5. Object Level logging：默认是不被选中的，这个需要配合CloudTrail使用，需要额外付费

6. Default Encrypted：默认是不被选中的；

7. Transfer Acceleration默认是挂起的；

8. Bucket policy默认是没有设置的；

2

1. S3的bucket属性

2. Versioning

3. Server Access logging

4. Static website hosting

5. Object-level logging

6. Tags

7. Transfer Acceleration

8. Events

9. Storage Class是Object Level属性

10. MetaData是Object Level属性

3

1. S3提供了最终一致性 eventual consistency 对于put和deletes 在所有region中；
2. S3提供read-after-write for new object的consistency，没有所谓的Strong consistency；

4

1. S3提供read-after-write consistency 对于新的object
2. AWS 提供open-after-close consistency for EFS
3. DynamoDB支持Eventual consistency和Strong Consistency。如果网络环境延迟，就会影响Strong Consistency。

5

1. 文件网关– 文件网关支持连接到 Amazon Simple Storage Service (Amazon S3) 的文件接口并将服务和虚拟软件设备组合在一起。通过使用此组合，可以使用行业标准文件协议（如网络文件系统 (NFS)）和服务器消息块 (SMB) 在 Amazon S3 中存储和检索对象。软件设备 (也就是网关) 作为运行在 VMware ESXi 或 Microsoft Hyper-V 管理程序上的虚拟机 (VM) 部署到您的本地环境中。利用网关，可以将 S3 中的对象作为文件或文件共享挂载点进行访问。利用文件网关，您可以：

2. 您可以直接使用 NFS 版本 3 或 4.1 协议存储和检索文件；

3. 您可以直接使用 SMB 文件系统版本 2 和 3 协议存储和检索文件。

4. 您可以从任意 AWS 云应用程序或服务直接访问 Amazon S3 中的数据。

5. 您可以使用生命周期策略、跨区域复制和版本控制管理 Amazon S3 数据。您可以将文件网关视为 S3 上的文件系统挂载。

6. 磁带网关– 利用虚拟磁带库，您可以采用经济高效且持久的方式在 Amazon Glacier 中对备份数据进行存档。虚拟磁带库提供了虚拟磁带基础设施，该基础设施可根据您的业务需求以无缝方式扩展，并可消除预配置、扩展和维护物理磁带基础设施的运营负担。

7. 卷网关– 卷网关提供了支持云的存储卷，可以从本地应用程序服务器将该存储卷作为 Internet 小型计算机系统接口 (iSCSI) 设备安装。该网关支持以下卷配置：

8. 缓存卷- 将数据存储在 Amazon Simple Storage Service (Amazon S3) 中并本地保留经常访问的数据子集的副本。缓存卷不仅有助于节省大量主存储成本，而且最大程度地减小了本地扩展存储的需求。您还可以保留对经常访问的数据的低延迟访问。

9. 存储卷– 如果需要对整个数据集进行低延迟访问，请首先将本地网关配置为将所有数据存储在本地。然后以异步方式将此数据的时间点快照备份到 Amazon S3。此配置提供了经久、价格低廉且可以恢复到本地数据中心或 Amazon EC2 的场外备份。例如，如果您出于灾难恢复目的需要替代容量，则可以将备份恢复到 Amazon EC2。

10. 卷网关的缓存卷在S3侧是无法通过console或者api进行访问的

6

1. 默认情况下，所有的对象都为私有。只有对象所有者具有访问这些对象的权限。但是，对象所有者可以选择使用自己的安全凭证来创建预签名的 URL，以授予有限时间内的下载对象许可，从而与其他用户共享对象。
2. 当您为对象创建预签名的 URL 时，必须提供安全凭证、指定存储桶名称和对象键、指定 HTTP 方法 (指定为 GET 以下载对象) 和过期日期和时间。预签名 URL 仅在指定的持续时间内有效。
3. 然后，收到预签名 URL 的任何人都可以访问对象。例如，如果您在存储桶中具有一段视频，并且存储桶和对象均为私有，您可以通过生成预签名的 URL 来与其他用户共享视频。

7

1. Amazon S3 在所有区域为 S3 存储桶中的新对象的 PUTS 提供写后读一致性，不过有一条说明。说明如下，如果在创建对象之前对键名发出 HEAD 或 GET 请求 (查看该对象是否存在) Amazon S3 提供写后读最终一致性。
2. Amazon S3 在所有区域提供最终一致性用于覆盖 PUTS 和 DELETES。
3. 单个键的更新是原子更新。例如，如果您对一个现有键执行 PUT 操作，则后续读取可能会返回旧数据或已更新的数据，但它永远不会返回损坏的数据或部分数据。

8

1. Amazon S3 现在提供了更高的性能，支持每秒至少 3500 个数据添加请求、每秒 5500 个数据检索请求，而且无需额外费用，这可以节省大量处理时间。每个 S3 前缀均支持这些请求速率，因此可以轻松实现显著的性能提升。
2. 目前在 Amazon S3 上运行的应用程序均可享受此性能改进，而无需实施任何更改；在 S3 上构建新应用程序的客户无需进行任何应用程序自定义即可享受此性能。Amazon S3 对并行请求的支持意味着您可以按照计算集群的系数扩展 S3 性能，而无需对应用程序进行任何自定义。性能按前缀扩展，因此您可以并行使用尽可能多的前缀，从而实现所需的吞吐量。前缀的数量没有限制。
3. 在这种 S3 请求速率性能提升推出后，先前任何为加速性能而随机化对象前缀的指南均被淘汰。也就是说，您现在可以在 S3 对象命名中使用逻辑或顺序命名模式，而不会产生任何性能影响。所有 AWS 区域现在均已提供此改进。有关更多信息，请访问 Amazon S3 开发人员指南。

9

1. S3允许单个对象文件最大上传值是5GB
2. 如果超过5G的文件，可以使用分段上传

10

1. 当pre-signed过期的时候，请求访问时会报错；
2. 当一个bucket policy包含deny的规则的时候，你必须将所有IAM resource设置访问白名单。否则IAM resource是无法访问bucket的即使他拥有bucket全部的访问权限；

11

1. 针对S3的Bucket进行安全审计校验的两个策略

2. 通过Server Access log：记录了所有访问bucket的请求；

3. 通过CloudTrail：记录了谁在什么时间调用了Bucket相关的API数据；

4. 还可以启动针对Object level的CloudTrail访问监控；

12

1. 针对S3使用策略的调研

2. 调研访问次数：用来判断使用哪种存储类，如S3-IA，Glacier

3. 调研访问峰值：用来进行存储的性能优化，如给key增加随机的hash值前缀之类的，使用CloudFront之类的；

13

1. S3支持system metadata和用户自定义的metadate
2. S3的system metadata

S3METADATA.jpg

14

1. Bucket policy如果设置了deny规则。那么日志很可能无法写入S3的指定bucket。这个需要在policy设置白名单；

15

1. 跨源资源共享 (CORS) 定义了在一个域中加载的客户端 Web 应用程序与另一个域中的资源交互的方式。利用 CORS 支持，您可以使用 Amazon S3 构建丰富的客户端 Web 应用程序，同时让您可以选择性地允许跨源访问您的 Amazon S3 资源。

2. 场景 1：假设您在名为 website 的 Amazon S3 存储桶中托管网站 (如在 Amazon S3 上托管静态网站中所述)。您的用户加载了网站终端节点 http://website.s3-website-us-east-1.amazonaws.com。现在，您想要使用此存储桶中存储的网页上的 JavaScript，以使用该存储桶的 Amazon S3 API 终端节点 website.s3.amazonaws.com 向同一存储桶发出经身份验证的 GET 和 PUT 请求。浏览器通常会阻止 JavaScript 允许这些请求，但借助 CORS，您可以配置您的存储桶以显式支持来自 website.s3-website-us-east-1.amazonaws.com 的跨源请求。

3. 场景 2：假设您想要托管来自您的 S3 存储桶的 Web 字体。浏览器会再次要求对正在加载的 Web 字体进行 CORS 检查 (也称为预检)。您可以配置托管 Web 字体的存储桶，以允许任何源发出这些请求。

16

1. 在多个客户端写入同一项目时，最终一致性读取和一致性读取请求

2. 可能会导致读取旧数据或者新数据

3. 如果更新时间耗费较长，可能返回无结果

17

1. AWS的bucket访问URL形态

2. .s3-website-.amazonaws.com

3. .s3-website..amazonaws.com

4. S3-aws-region.amazonaws.com/

5. 如果你的bucket在美国的virginia，那么你可以不用指定region

18

1. S3的单个对象可以是0-5TB；
2. S3的put最大单个对象大小在5GB
3. 一般在put的时候，对象超过100M的时候就建议使用分段上传（Multipart upload）能力

19

1. 如果数据上传上去之后不被经常访问，直接使用S3-IA，可以保证实时的获取；
2. 如果数据上传60天之后几乎不被访问，就算有访问时可以等待，那么就可以使用归档的方式Glacier

20

1. 如果S3的version被打开了。删除只是给指定版本的对象增加一个标记。还是需要为这些版本的数据存储付费的；

21

1. 在S3启动versioning的情况下恢复某个被删除的object，就是将delete标记去除；

22

1. S3的versioning被enable了。删除后的对象还是需要被计费的；

23

1. 为了帮助防止出现欺诈和滥用以及保护您作为发件人的声誉，我们将某些限制应用于新的 Amazon SES 账户。

2. 我们将所有新账户放在 Amazon SES沙盒 中。在您的账户位于沙盒时，您可以使用 Amazon SES 的所有功能。不过，在您的账户位于沙盒时，我们将以下限制应用于您的账户：

3. 您只能将邮件发送到已验证的电子邮件地址和域，或者发送到 Amazon SES 邮箱模拟器

4. 您只能从已验证的电子邮件地址和域发送邮件。注意：即使您的账户没有位于沙盒中，该限制也适用。

5. 您每 24 小时最多可以发送 200 条消息。

6. 您每秒最多可以发送 1 封邮件。

24

1. VPC endpoint不支持跨region访问
2. CloudFront是为网站加速的；
3. 可以启动S3加速来提升长距离的访问速度；

25

1. S3的跨region复制必须启动versioning；

2. 跨区域复制是一项存储桶级别配置，该功能支持跨不同 AWS 区域中的存储桶自动异步复制对象。我们将这些存储桶分别称为源 存储桶和目标 存储桶。这些存储桶可由不同的 AWS 账户拥有。

3. 要激活此功能，您可以将一个复制配置添加到源存储桶，来指示 Amazon S3 根据此配置复制对象。在复制配置中，您需要提供如下所示的信息：

4. 您希望 Amazon S3 将对象复制到的目标存储桶。

5. 您要复制的对象。您可以请求 Amazon S3 复制所有对象，也可以通过在配置中提供一个键名称前缀来请求复制部分对象。例如，您可以将跨区域复制配置为仅复制具有键名称前缀 Tax/ 的对象。这会使 Amazon S3 复制具有 Tax/doc1 或 Tax/doc2 等键的对象，但不复制具有 Legal/doc3 键的对象。

6. 默认情况下，Amazon S3 使用源对象的存储类来创建对象副本。您可以选择指定要用于目标存储桶中的对象副本的存储类。