E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
AmazonS3
云计算 「半步巅峰」
60年后的2006年,第一个云计算服务
AmazonS3
出现,让全球的IT厂商猛然发现,“IOE”并不是IT的巅峰,在此之上,还有更高的境界。
·
2022-01-12 22:18
通用数据保护条例的监管下,你的数据湖“断舍离”了吗?
在亚马逊云科技大数据与分析生态系统的背景之下,每一套架构,无论其面向怎样的目标,都需要使用AmazonSimpleStorageService(
AmazonS3
·
2022-01-10 17:33
存储
通用数据保护条例的监管下,你的数据湖“断舍离”了吗?
在亚马逊云科技大数据与分析生态系统的背景之下,每一套架构,无论其面向怎样的目标,都需要使用AmazonSimpleStorageService(
AmazonS3
·
2021-12-21 11:24
分析
JuiceFS 性能评估指南
JuiceFS是一款面向云原生环境设计的高性能POSIX文件系统,任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储(如
AmazonS3
),相对应的元数据则持久化在独立的数据库中。
·
2021-12-08 20:24
数据库运维hdfs云存储
JuiceFS 性能评估指南
JuiceFS是一款面向云原生环境设计的高性能POSIX文件系统,任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储(如
AmazonS3
),相对应的元数据则持久化在独立的数据库中。
JuiceFS
·
2021-12-08 14:00
如何利用 JuiceFS 的性能工具做文件系统分析和调优
作为一个云上的分布式文件系统,任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储(如
AmazonS3
),相对应的元数据则持久化在独立的数据库中。
·
2021-11-25 16:00
云存储数据库
如何利用 JuiceFS 的性能工具做文件系统分析和调优
作为一个云上的分布式文件系统,任何存入JuiceFS的数据都会按照一定规则拆分成数据块存入对象存储(如
AmazonS3
),相对应的元数据则持久化在独立的数据库中。
JuiceFS
·
2021-11-25 15:00
Pulsar 分级存储 -- S3 演示
然后通过一个示例,演示在分级存储中怎样使用
AmazonS3
作为二级存储。介绍Pulsar中的每个Topic由一列有序的的段(Segment)列表组成。Pulsar只会写入其中的最后一段。
·
2021-11-24 18:30
使用 KubeSphere 应用商店 5 分钟内快速部署 JuiceFS
使用JuiceFS存储数据,数据本身会被持久化在对象存储(例如,
AmazonS3
),而数据所对应的元数据可以根据场景需要被持久化在Redis、MySQL、SQLite等多种数据库中。
·
2021-11-23 15:56
云计算
Minio 对象存储服务实践
它与
AmazonS3
云
狄仁杰666
·
2021-11-05 07:58
QCon看点|亚马逊云科技可持续软件工程实践分享
这一年是亚马逊云科技成立的第15周年,这一切始于亚马逊云科技的对象存储解决方案
AmazonS3
。在这过去的15年里,我们可以看到云计算改变了整个世界。
·
2021-10-21 16:53
软件工程云服务
如何安装部署NextCloud?
+MySQL开发,功能类似百度云盘,提供了PC、IOS和Android三个同步客户端支持多种设备访问,用户可以很方便地与服务器上存储的文件、日程安排、通讯录、书签等重要数据保持同步还支持其他同步来源:
AmazonS3
·
2021-08-30 17:21
程序员运维linux
iOS上传文件至Amazon S3 (swift)
服务端的人员说,让app这边直接把数据传到
amazonS3
,不需要再经过他们,也能缓解服务器压力。上网搜了好多资料,都用不了,有很大一部分是还是用旧方法的。还是要去官方网站上看的。
zaq1125
·
2021-07-02 08:47
2RDD编程
sc.parallelize用于python对象生成rdd1.1通过文件系统加载产生Spark的SparkContext通过textFile()读取数据生成内存中的RDD,支持本地文件系统、分布式文件系统HDFS及
AmazonS3
barriers
·
2021-06-09 04:45
2019-07-01 AWS S3 存储桶
什么是
AmazonS3
?AmazonSimpleStorageService是AWS提供的互联网存储解决方案,是亚马逊最早发布的服务之一。
AK蜗牛
·
2021-05-18 14:48
通过Amazon s3访问ceph分布式文件系统
amazons3
官方文档参考文档添加radosgw访问账户:210radosgw-adminusercreate--uid-"testuser"--display-name="firstuser"211radosgw-adminusercreate
topwqp
·
2021-04-30 04:33
minio对象存储使用
它与
AmazonS3
云存储服务兼容。它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/VM映像。
·
2021-03-24 15:50
ossminio对象存储
AWS流量日志的实时分析之Suricata
背景介绍由于VPC的Flowlog不是实时的,VPCflowlog在聚合时间间隔内捕获数据后,需要额外的时间来处理数据并将其发布到CloudWatchLogs或
AmazonS3
。
·
2021-03-16 22:37
WinSCP +穿越派·派盘= windows超级文件管理工具
WinSCP是用于MicrosoftWindows的免费开源SFTP,FTP,WebDAV,
AmazonS3
和SCP客户端。
穿越派
·
2021-01-19 11:35
穿越派
iChain
Pi
windows
webdav
云数据存储
数据安全
云端共享文件系统 JuiceFS 在 2021 年选择开源
开源地址:https://github.com/juicedata/...JuiceFS是什么JuiceFS是基于Redis和对象存储(例如
AmazonS3
)构建的开源POSIX文件系统,针对云本机环境进行了设计和优化
宗恩
·
2021-01-12 15:50
开源项目介绍
python 下载文件的几种方法汇总
前言使用脚本进行下载的需求很常见,可以是常规文件、web页面、
AmazonS3
和其他资源。Python提供了很多模块从web下载文件。
·
2021-01-06 14:47
minio 文件预览_使用 MinIO 快速搭建图片服务器
维基百科的解释如下:MinIO是ApacheLicensev2发布的,与
AmazonS3
兼容的云存储服务器。作为对象存储,MinIO可以存储非结构化数据,例如照片,视频,日志文件,备份和容器映像。
Leezix
·
2021-01-05 16:02
minio
文件预览
MinIO 对象存储搭建
维基百科的解释如下:MinIO是ApacheLicensev2发布的,与
AmazonS3
兼容的云存储服务器。作为对象存储,MinIO可以存储非结构化数据,例如照片,视频,日志文件,备份和容器映像。
wandy0211
·
2020-12-20 17:21
Elasticsearch备份和还原(基于hdfs)
Elasticsearch备份数据有很多选择,本地,
AmazonS3
,HDFS,MicrosoftAzure,GoogleCloudStorage这些都可以。
华阳_3bcf
·
2020-12-15 12:52
什么?OSS存储你还在用FastDFS?MinIO了解一下!!!
它与
AmazonS3
云存储服务兼容。它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/VM映像。对象的大小可以从几KB到最大5TB。
java_small_ant
·
2020-11-23 00:48
java
基于s3对象存储多文件分片上传的Javascript实现(一)
nojsja.gitee.io/blogs更多内容已经在个人博客发布,请知悉Contents概述浏览器文件操作限制前端多文件分片上传的原理和实现预览upload.png概述
AmazonS3
提供了一个简单
nojsja
·
2020-11-21 19:48
【AWS征文】AWS 数据加密知识点
独的权限,该密钥可进一步防止未经授权地访问
AmazonS3
中的对象。SSE-KMS还向您提供审核跟踪,显示您的CMK的使用时间和使用者。
迪总
·
2020-10-09 19:29
aws
征文
大赛
划重点!AWS的湖仓一体使用哪种数据湖格式进行衔接?
现在您可以使用AmazonRedshift查询
AmazonS3
数据湖中ApacheHudi/DeltaLake表数据。
leesf
·
2020-09-27 20:00
上班一周
对
AmazonS3
服务,EC2,
hispania
·
2020-09-17 07:11
心情
Filecoin系列 - Filecoin与云存储和比特币的比较
Filecoin与
AmazonS3
,GoogleCloudStorageFilecoin亚马逊S3,谷歌云存储主要用例以极具竞争力的价格存储文件使用熟悉的,广泛支持的服务存
搬砖魁首
·
2020-09-17 06:27
Filecoin
区块链知识系列
Filecoin
云存储
比特币
Amazon
Google
使用AWS Glue进行 ETL 工作
而各大云厂商也提供了各自的存储服务,如
AmazonS3
,AzureBlob等。而由于数据湖中存储的数据全部为原始数据,一般需要对数据做ETL(Extract-Transform-Load)。
ZackFairT
·
2020-09-17 04:28
MinIO 搭建图片服务器
维基百科的解释如下:MinIO是ApacheLicensev2发布的,与
AmazonS3
兼容的云存储服务器。作为对象存储,MinIO可以存储非结构化数据,例如照片,视频,日志文件,备份和容器映像。
虚言假面
·
2020-09-16 23:22
Java
AWS学习笔记1
需要熟练掌握AmazonEC2(elasticcomputercloud)计算AmazonVPC网络
AmazonS3
(simplestorageservices)存储AmazonEBS存储AmazonRDS
风车带走过往
·
2020-09-15 06:47
云服务器
Amazon AWS 中国区的那些"坑"
**文中一些主观猜测或者AWS后续升级,如有误导,敬请见谅.
AmazonS3
所有坑中,最数S3坑多.原因很简单:EC2的服务大不了大家在webconsole里面点击鼠标,S3更多时候肯定是用SDK访问.
玉羽凌风
·
2020-09-15 03:09
AWS
aws
s3
OpenStack里的三种存储
OpenStack其实有三个与存储相关的组件,这三个组件被人熟知的程度和组件本身出现时间的早晚是相符的,按熟悉程度排列如下:Swift——提供对象存储(ObjectStorage),在概念上类似于
AmazonS3
久坐尘埃
·
2020-09-14 21:01
云计算
Hadoop-2.4.1学习之FileSystem及实战
一提到hadoop文件系统,通常想到的就是HDFS,即HadoopDistributedFileSystem,但除了HDFS外,hadoop还支持其它类型的文件系统,比如
AmazonS3
、Swift文件系统等
skyWalker_ONLY
·
2020-09-13 22:42
Hadoop-2.x
Hadoop
Spark与机器学习----数据的获取、处理与准备
AmazonAWS公开数据集:包含的通常是大型数据集,可通过
AmazonS3
访问。相关信息可参见:http://aws.amazon.com/publicdatasets/。Kaggle:这里集合
梵天的读书笔记
·
2020-09-13 15:18
数据采集和整理
使用异步编程
在不断的探索中,出现了很多简化场景的工具,比如提供可伸缩计算资源的
AmazonS3
、WindowsAzure,
weixin_30325793
·
2020-09-12 18:50
com.amazonaws.SdkClientException: Unable to execute HTTP request
做录音上传到
AmazonS3
云服务器上有一段时间了,遇到这个问题归纳起来见过两次。一次是用
AmazonS3
测试环境下的配置去进行上传,结果失败;这次是把项目部署测试环境上,运行代码时结果失败。
万米高空
·
2020-09-12 09:31
文件操作
AWS re:Invent 2014回顾
它与AmazonEBS,
AmazonS3
及AmazonRedshift高度集成。还与CloudTrail
weixin_34208283
·
2020-09-12 09:24
java + minio实现image图片上传下载接口的deme
它与
AmazonS3
云存储服务兼容。它最适合存储
itfallrain
·
2020-09-10 16:05
javaDemo
Amazon Redshift数据迁移阿里云MaxCompute技术方案
本方案的总体迁移流程如下:第一,将AmazonRedshift中的数据导出到
AmazonS3
存储上;第二,借助阿里云在线迁移服务(DataOnlineMigration)从AWSS3将数据迁移到阿里云OSS
阿里云云栖号
·
2020-08-25 16:20
云服务
java开发
AmazonS3
对象存储的工具类
上两节说了文档上默认不用证书的方式操作对象,但大部分时候出于安全考虑是要用到证书认证的。下面就是对这种情况下的对象操作。1.引入pom.xml4.0.0com.zhanglfAmazonS30.0.1-SNAPSHOTjarAmazonS3http://maven.apache.orgUTF-8-->com.amazonawsaws-java-sdk-bom1.11.125pomimportcom
万米高空
·
2020-08-24 11:07
文件操作
使用七牛CDN为博客加速
七牛云存储介绍七牛云存储是由七牛提供的在线存储服务,通过云端接口向企业客户提供网上无限存储空间,和传统的云存储服务(如
AmazonS3
)不同,七牛云存储还增加了上传下载传输加速以及富媒体云端处理特性。
乔哥哥
·
2020-08-24 11:10
网页制作
最佳实践设计模式:优化 Amazon S3 性能
最佳实践设计模式:优化
AmazonS3
性能当从
AmazonS3
上传和检索存储时,您的应用程序可以轻松地实现每秒数千个事务的请求性能。
AmazonS3
会自动扩展至高请求速率。
weixin_30821731
·
2020-08-24 10:47
Amazonaws S3 java SDK连接初探
/*
AmazonS3
是专为从任意位置存储和检索任意数量的数据而构建的对象存储,这些数据包括来自网站和移动应用程序、公司应用程序的数据以及来自IoT传感器或设备的数据当然要使用s3,首先你得有使用账户,并在账户管理员处获得了使用凭证
weixin_30414245
·
2020-08-24 10:49
AmazonS3
使用 AWS SDK for Java
AmazonS3
是一种云上的存储服务器,其功能仅在于存储。和普通的服务器不同,它没有操作界面,连一般的SSH命令登录功能都没有。和它打交道的话,一种办法是用它的管理界面,另一种是借助其编程接口。
这个人很懒哦
·
2020-08-24 10:53
Java
Amazon Simple Storage Service (Amazon S3)
AmazonS3
是一种面向Internet的存储服务。该服务旨在降低开发人员进行网络规模计算的难度。
Ecsivo
·
2020-08-24 08:18
IT
亚马逊S3云存储协议
问:什么是
AmazonS3
?
AmazonS3
是一种面向Internet的存储服务。它是一种简单存储服务,以很低的成本为软件开发人员提供高度可扩展的、可靠的、低延迟的存储基础设施。
hellochenlu
·
2020-08-24 08:01
云存储
springboot整合
amazonS3
,封装上传文件接口
之前整理过spring整合
amazonS3
的博客,也整理过遇到的问题和文档。今天整理下springboot项目下如何使用
amazonS3
,并且如果是封装接口的话,是怎样的?
万米高空
·
2020-08-24 07:43
文件操作
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他