AmazonS3

基于nodejs的minio的sdk，自建服务中转文件的断点续传方案

背景公司业务问题，就不过多阐述，总的需求就是需要一个断点续传的功能公司的文件存储是使用的amazons3，这个是通用的文件存储，类似阿里云的oss，一个文件可以当成是一个对象，可以给文件对象做一些操作，
·2022-03-01 16:16

云计算「半步巅峰」

60年后的2006年，第一个云计算服务AmazonS3出现，让全球的IT厂商猛然发现，“IOE”并不是IT的巅峰，在此之上，还有更高的境界。
腾讯开发者·2022-02-28 10:04

【AWS云从业者基础知识笔记】——模块5：存储和数据库

描述AmazonSimpleStorageService(AmazonS3)的好处。描述AmazonElasticFileSystem(AmazonEFS)的好处。总结各种存储解决方案。
kaijie234·2022-02-17 10:16

AWS S3 接口调用

的任何位置，存储和检索任意大小的数据本身也提供了简单而直观的管理控制台来处理这些任务，但我这里使用的是，面向Java方向的S3网络存储服务在进入正题之前，首先介绍下AWSS3的一些概念1.存储桶存储桶是AmazonS3
炼心之旅·2022-02-14 04:30

Chapter 2: Amazon Simple Storage Service (Amazon S3) and Amazon Glacier Storage

Chapter2:AmazonSimpleStorageService(AmazonS3)andAmazonGlacierStorageD,E.Objectsarestoredinbuckets,andobjectscontainbothdataandmetadata
K1024·2022-02-11 01:39

元数据性能大比拼：HDFS vs OSS vs JuiceFS

以AmazonS3和AliyunOSS为代表的对象存储也是云上大数据平台的候选方案，但它只有HDFS的部分功能和语义，性能也差
JuiceFS·2022-02-09 16:42

元数据性能大比拼：HDFS vs OSS vs JuiceFS

以AmazonS3和AliyunOSS为代表的对象存储也是云上大数据平台的候选方案，但它只有HDFS的部分功能和语义，性能也差
·2022-02-09 16:26

元数据性能大比拼：HDFS vs OSS vs JuiceFS

以AmazonS3和AliyunOSS为代表的对象存储也是云上大数据平台的候选方案，但它只有HDFS的部分功能和语义，性能也差
JuiceFS·2022-02-09 16:00

巧用Amazon PrivateLink——轻松访问私有终端节点Amazon S3

摘要亚马逊云科技在2021年2月正式发布了适用于AmazonS3的AmazonPrivateLink，AmazonPrivateLink使用虚拟网络中的私有IP提供AmazonSimpleStorageService
·2022-01-13 13:32

云计算 「半步巅峰」

60年后的2006年，第一个云计算服务AmazonS3出现，让全球的IT厂商猛然发现，“IOE”并不是IT的巅峰，在此之上，还有更高的境界。
·2022-01-12 22:18

通用数据保护条例的监管下，你的数据湖“断舍离”了吗？

在亚马逊云科技大数据与分析生态系统的背景之下，每一套架构，无论其面向怎样的目标，都需要使用AmazonSimpleStorageService(AmazonS3
·2022-01-10 17:33

通用数据保护条例的监管下，你的数据湖“断舍离”了吗？

在亚马逊云科技大数据与分析生态系统的背景之下，每一套架构，无论其面向怎样的目标，都需要使用AmazonSimpleStorageService(AmazonS3
·2021-12-21 11:24

JuiceFS 性能评估指南

JuiceFS是一款面向云原生环境设计的高性能POSIX文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
·2021-12-08 20:24

JuiceFS 性能评估指南

JuiceFS是一款面向云原生环境设计的高性能POSIX文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
JuiceFS·2021-12-08 14:00

如何利用 JuiceFS 的性能工具做文件系统分析和调优

作为一个云上的分布式文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
·2021-11-25 16:00

如何利用 JuiceFS 的性能工具做文件系统分析和调优

作为一个云上的分布式文件系统，任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储（如AmazonS3），相对应的元数据则持久化在独立的数据库中。
JuiceFS·2021-11-25 15:00

Pulsar 分级存储 -- S3 演示

然后通过一个示例，演示在分级存储中怎样使用AmazonS3作为二级存储。介绍Pulsar中的每个Topic由一列有序的的段（Segment）列表组成。Pulsar只会写入其中的最后一段。
·2021-11-24 18:30

使用 KubeSphere 应用商店 5 分钟内快速部署 JuiceFS

使用JuiceFS存储数据，数据本身会被持久化在对象存储（例如，AmazonS3），而数据所对应的元数据可以根据场景需要被持久化在Redis、MySQL、SQLite等多种数据库中。
·2021-11-23 15:56

Minio 对象存储服务实践

它与AmazonS3云
狄仁杰666·2021-11-05 07:58

QCon看点｜亚马逊云科技可持续软件工程实践分享

这一年是亚马逊云科技成立的第15周年，这一切始于亚马逊云科技的对象存储解决方案AmazonS3。在这过去的15年里，我们可以看到云计算改变了整个世界。
·2021-10-21 16:53

如何安装部署NextCloud？

+MySQL开发，功能类似百度云盘，提供了PC、IOS和Android三个同步客户端支持多种设备访问，用户可以很方便地与服务器上存储的文件、日程安排、通讯录、书签等重要数据保持同步还支持其他同步来源:AmazonS3
·2021-08-30 17:21

iOS上传文件至Amazon S3 （swift）

服务端的人员说，让app这边直接把数据传到amazonS3，不需要再经过他们，也能缓解服务器压力。上网搜了好多资料，都用不了，有很大一部分是还是用旧方法的。还是要去官方网站上看的。
zaq1125·2021-07-02 08:47

2RDD编程

sc.parallelize用于python对象生成rdd1.1通过文件系统加载产生Spark的SparkContext通过textFile()读取数据生成内存中的RDD,支持本地文件系统、分布式文件系统HDFS及AmazonS3
barriers·2021-06-09 04:45

2019-07-01 AWS S3 存储桶

什么是AmazonS3？AmazonSimpleStorageService是AWS提供的互联网存储解决方案，是亚马逊最早发布的服务之一。
AK蜗牛·2021-05-18 14:48

通过Amazon s3访问ceph分布式文件系统

amazons3官方文档参考文档添加radosgw访问账户：210radosgw-adminusercreate--uid-"testuser"--display-name="firstuser"211radosgw-adminusercreate
topwqp·2021-04-30 04:33

minio对象存储使用

它与AmazonS3云存储服务兼容。它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/VM映像。
·2021-03-24 15:50

AWS流量日志的实时分析之Suricata

背景介绍由于VPC的Flowlog不是实时的，VPCflowlog在聚合时间间隔内捕获数据后，需要额外的时间来处理数据并将其发布到CloudWatchLogs或AmazonS3。
·2021-03-16 22:37

WinSCP +穿越派·派盘＝ windows超级文件管理工具

WinSCP是用于MicrosoftWindows的免费开源SFTP，FTP，WebDAV，AmazonS3和SCP客户端。
穿越派·2021-01-19 11:35

云端共享文件系统 JuiceFS 在 2021 年选择开源

开源地址：https://github.com/juicedata/...JuiceFS是什么JuiceFS是基于Redis和对象存储（例如AmazonS3）构建的开源POSIX文件系统，针对云本机环境进行了设计和优化
宗恩·2021-01-12 15:50

python 下载文件的几种方法汇总

前言使用脚本进行下载的需求很常见，可以是常规文件、web页面、AmazonS3和其他资源。Python提供了很多模块从web下载文件。
·2021-01-06 14:47

minio 文件预览_使用 MinIO 快速搭建图片服务器

维基百科的解释如下：MinIO是ApacheLicensev2发布的，与AmazonS3兼容的云存储服务器。作为对象存储，MinIO可以存储非结构化数据，例如照片，视频，日志文件，备份和容器映像。
Leezix·2021-01-05 16:02

MinIO 对象存储搭建

维基百科的解释如下：MinIO是ApacheLicensev2发布的，与AmazonS3兼容的云存储服务器。作为对象存储，MinIO可以存储非结构化数据，例如照片，视频，日志文件，备份和容器映像。
wandy0211·2020-12-20 17:21

Elasticsearch备份和还原（基于hdfs）

Elasticsearch备份数据有很多选择，本地，AmazonS3,HDFS,MicrosoftAzure,GoogleCloudStorage这些都可以。
华阳_3bcf·2020-12-15 12:52

什么？OSS存储你还在用FastDFS？MinIO了解一下！！！

它与AmazonS3云存储服务兼容。它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/VM映像。对象的大小可以从几KB到最大5TB。
java_small_ant·2020-11-23 00:48

基于s3对象存储多文件分片上传的Javascript实现(一)

nojsja.gitee.io/blogs更多内容已经在个人博客发布，请知悉Contents概述浏览器文件操作限制前端多文件分片上传的原理和实现预览upload.png概述AmazonS3提供了一个简单
nojsja·2020-11-21 19:48

【AWS征文】AWS 数据加密知识点

独的权限，该密钥可进一步防止未经授权地访问AmazonS3中的对象。SSE-KMS还向您提供审核跟踪，显示您的CMK的使用时间和使用者。
迪总·2020-10-09 19:29

划重点！AWS的湖仓一体使用哪种数据湖格式进行衔接？

现在您可以使用AmazonRedshift查询AmazonS3数据湖中ApacheHudi/DeltaLake表数据。
leesf·2020-09-27 20:00

上班一周

对AmazonS3服务，EC2，
hispania·2020-09-17 07:11

Filecoin系列 - Filecoin与云存储和比特币的比较

Filecoin与AmazonS3，GoogleCloudStorageFilecoin亚马逊S3，谷歌云存储主要用例以极具竞争力的价格存储文件使用熟悉的，广泛支持的服务存
搬砖魁首·2020-09-17 06:27

使用AWS Glue进行 ETL 工作

而各大云厂商也提供了各自的存储服务，如AmazonS3，AzureBlob等。而由于数据湖中存储的数据全部为原始数据，一般需要对数据做ETL（Extract-Transform-Load）。
ZackFairT·2020-09-17 04:28

MinIO 搭建图片服务器

维基百科的解释如下：MinIO是ApacheLicensev2发布的，与AmazonS3兼容的云存储服务器。作为对象存储，MinIO可以存储非结构化数据，例如照片，视频，日志文件，备份和容器映像。
虚言假面·2020-09-16 23:22

AWS学习笔记1

需要熟练掌握AmazonEC2（elasticcomputercloud）计算AmazonVPC网络AmazonS3（simplestorageservices）存储AmazonEBS存储AmazonRDS
风车带走过往·2020-09-15 06:47

Amazon AWS 中国区的那些"坑"

**文中一些主观猜测或者AWS后续升级,如有误导,敬请见谅.AmazonS3所有坑中,最数S3坑多.原因很简单:EC2的服务大不了大家在webconsole里面点击鼠标,S3更多时候肯定是用SDK访问.
玉羽凌风·2020-09-15 03:09

OpenStack里的三种存储

OpenStack其实有三个与存储相关的组件，这三个组件被人熟知的程度和组件本身出现时间的早晚是相符的，按熟悉程度排列如下：Swift——提供对象存储（ObjectStorage），在概念上类似于AmazonS3
久坐尘埃·2020-09-14 21:01

Hadoop-2.4.1学习之FileSystem及实战

一提到hadoop文件系统，通常想到的就是HDFS，即HadoopDistributedFileSystem，但除了HDFS外，hadoop还支持其它类型的文件系统，比如AmazonS3、Swift文件系统等
skyWalker_ONLY·2020-09-13 22:42

Spark与机器学习----数据的获取、处理与准备

AmazonAWS公开数据集：包含的通常是大型数据集，可通过AmazonS3访问。相关信息可参见：http://aws.amazon.com/publicdatasets/。Kaggle：这里集合
梵天的读书笔记·2020-09-13 15:18

使用异步编程

在不断的探索中，出现了很多简化场景的工具，比如提供可伸缩计算资源的AmazonS3、WindowsAzure，
weixin_30325793·2020-09-12 18:50

com.amazonaws.SdkClientException: Unable to execute HTTP request

做录音上传到AmazonS3云服务器上有一段时间了，遇到这个问题归纳起来见过两次。一次是用AmazonS3测试环境下的配置去进行上传,结果失败；这次是把项目部署测试环境上，运行代码时结果失败。
万米高空·2020-09-12 09:31

AWS re:Invent 2014回顾

它与AmazonEBS，AmazonS3及AmazonRedshift高度集成。还与CloudTrail
weixin_34208283·2020-09-12 09:24

java + minio实现image图片上传下载接口的deme

它与AmazonS3云存储服务兼容。它最适合存储
itfallrain·2020-09-10 16:05
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他