分布式文件存储服务

MinIO入门

它与AmazonS3云存储服务API兼容。使用MinIO为机器学习、分析和应用程序数据工作负载构建高性能基础架构
endorphinnnn·2024-01-13 05:50

使用 boto3 调用 S3 对象存储

概念解释S3对象存储遵循AmazonS3协议的对象存储服务boto3基于s3协议实现了客户端API的PythonSDK，用于调用对象存储服务Endpoint我们在调用s3对象存储的代码中使用的“Endpoint
chenxy02·2024-01-13 00:48

容器存储与 K8s 存储卷

云原生存储的两个关键领域：Docker存储卷、K8s存储卷；Docker存储卷：容器服务在单节点的存储组织形式，关注数据存储、容器运行时的相关技术；K8s存储卷：关注容器集群的存储编排，从应用使用存储的角度关注存储服务
鲜卑柱石·2024-01-13 00:01

IndexFS: Scaling File System Metadata Performance with Stateless Caching and Bulk Insertion——论文泛读

许多现有的分布式文件系统只关注提供对文件数据的高度并行快速访问，并缺乏可伸缩的元数据服务。受限的元数据可伸缩性妨碍了需要并发和高性能元数据操作的大规模并行应用程序。
妙BOOK言·2024-01-12 21:15

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee·2024-01-12 21:41

Hadoop 的核心 —— HDFS（1）

Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算）Hadoop的两个核心：HDFS分布式文件系统：存储是大数据技术的基础
土冥王·2024-01-12 16:13

存储服务器有什么功能？

存储服务器不是一般的服务器，存储服务器是根据指定目标而设计的，所以存储服务器的配置方式是不同的。存储服务器一般是独立的单元，除了额外的磁盘，存储服务器也会携带一些其他的特殊服务。
wanhengwangluo·2024-01-12 09:09

hadoop分布式文件系统

Hadoop分布式文件系统分布式文件系统：管理网络中跨多台计算机存储的文件系统称为分布式文件系统。
Alonzo de blog·2024-01-12 08:27

Openstack云计算（五）ceph

Ceph简介：Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph]的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。
wmd13164306712·2024-01-12 07:50

云卷云舒：数据库可以运行在容器里面吗？云可以，因为云不等于容器

1、对于有状态的担忧数据库一般是有状态的，对于容器的快速扩展十分不利，除非存储服务单独提供，同样对于产品的设计难度要求更高。
Cloud云卷云舒·2024-01-12 01:33

Centos 7.2中MongoDB数据库的安装与卸载教程

一、前言大家都知道，MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。
拾柒丶_8257·2024-01-11 19:22

分布式文件系统FastDFS在CentOS7上的安装及与Springboot的整合

1.概述FastDFS是目前比较流行的分布式文件系统，可以很容易的实现横向扩展、动态扩容、灾备、高可用和负载均衡。
追风人聊Java·2024-01-11 18:40

docker搭建部署minio 存储文件

1.介绍MinIO是一个开源的对象存储服务器，它允许你在自己的硬件上构建高性能的对象存储。本文将指导你如何使用Docker搭建和部署MinIO，并挂载外部目录以实现文件的持久化存储。
oNuoyi·2024-01-11 14:59

苹果手机 h5网页或公众号视频无法播放问题处理

首先解决视频流输出问题，本次项目采用的java，springboot方式，项目默认结构为文件存储服务器本地，通过转换读取方式，直接访问文件地址即可获取。之后再网上找寻了很多输出视频流方式的例子；这
法法-發發發·2024-01-11 09:41

服务器配置SSL证书到nginx基于Fdfs存储服务器或者直接阿里云绑定SSL

1.如果用FDFS存储服务器内置nginx设置SSL证书1.验证当前nginx是否存在http_ssl_modulehttp_ssl_module模块如果存在直接配置就行server{listen80defaultbacklog
从入门小白到小黑·2024-01-11 08:58

glusterFS

一.概念1.介绍gluster是一个横向扩展的分布式文件系统，可将来自多个服务器的磁盘存储资源整合到一个全局名称空间中，可以根据存储消耗需求快速调配额外的存储。
MoonSoin·2024-01-11 04:42

face9 会话控制

会话控制充分理解seesion和cookie的工作原理默认存储服务器文件，遍历$_SESSION数组lvssessionsession_set_save_handler()不建议使用文件存储存储建议存储
谢凌·2024-01-11 04:54

MinIO学习笔记

MinIO学习笔记一、简介MinIO基于ApacheLicensev2.0开源协议的对象存储服务，可以做为云存储的解决方案用来保存海量的图片，视频，文档。
一码一上午·2024-01-10 23:41

文件下载相关的技术

服务器上的文件系统可以是本地文件系统（如ext4、NTFS等）或分布式文件系统（如HDFS、AmazonS3等），具体取决于服务器的架构和需求。
睿智闷骚男·2024-01-10 20:22

centOS系统yum安装和卸载mongodb

0.2Mongodb是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
ღ子鱼·2024-01-10 20:20

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复
不吃海带吃海苔·2024-01-10 16:15

JAVA实现文件上传至阿里云

注册阿里云账号后,开通好对象存储服务（OSS），三个月试用阿里云登录页(aliyun.com)目录一.创建Bucket二.获取AccessKey（密钥）三.参考官方SDK文件，编写入门程序1.复制阿里云
秋名山小白·2024-01-10 14:37

GFS 分布式文件系统

GlusterFS特点●扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。（1）Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能（磁盘、计算和I/O资源都可以独立增加），支持10GbE和InfiniBand等高速网络互联。（2）Gluster弹性哈希（ElasticHash）解决了GlusterFS对元数据服务器的依赖，改善了单点故障和性能瓶颈，真正实
偷个月亮吗733·2024-01-10 14:00

MongoDB之概述、命令

基础知识是什么概念分布式文件存储数据库，提供高可用、可扩展、易部署的数据存储解决方案。结构BSON存储类型类似JSON的一种二进制存储格式。相比于JSON，提供更丰富的类型支持。
微风至夏·2024-01-10 08:44

day 35

1.网站实时同步服务：数据备份方法定时任务备份数据:内部人员备份数据备份数据最短周期1分钟实时同步备份数据:外部人员备份数据(用户)没有同步等待时间实时同步数据原理:01.监视存储服务器上指定目录数据信息变化
斗魂_2e5d·2024-01-10 05:29

Windows server 2008 R2下安装Mongodb 4.0

www.mongodb.com/download-center#community安装包名：mongodb-win32-x86_64-2008plus-ssl-4.0.4-signed.msiMongoDB是一个基于分布式文件存储的非关系型数据库
ktianc·2024-01-10 00:37

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce
WeeeicheN·2024-01-09 22:17

HDFS概述

背景定义背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统
欲无缘·2024-01-09 22:32

国标GB28181视频监控EasyCVR平台：视频集中录制存储/云端录像功能及操作介绍

EasyCVR支持利用多个存储服务器来做集中
EasyCVR·2024-01-09 18:11

GFS分布式文件系统

GlusterFS是一个开源的分布式文件系统。二、GFS的特点1、扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。
Kido.S·2024-01-09 17:21

Hive基础知识

2）其本质是将SQL语句转换为MapReduce/Spark程序进行运算，底层数据由HDFS分布式文件系统进行存储。3）可以理解Hive就是MapReduce/SparkSql的客户端。
巷子里的猫X·2024-01-09 13:52

spingboot 中通过 DynamicDataSource来动态获取数据源

引入现在的企业服务逐渐地呈现出数据的指数级增长趋势，无论从数据库的选型还是搭建，大多数的团队都开始考虑多样化的数据库来支撑存储服务。例如分布式数据库、Nosql数据库、内存数据库、关系型数据库等等。
人生就像一场戏!·2024-01-09 12:12

Centos 7.6 群集架构之LVS负载均衡原理及部署

LVS负载均衡一、概述二、群集1、群集的类型2、分层结构3、工作模式三、LVS虚拟服务器1、负载调度算法2、ipvsadm管理工具四、负载均衡实例部署1、准备工作2、具体步骤2.1配置nfs共享存储服务器
把倒立的世界腾空·2024-01-09 07:38

aliyun(云计算)使用 ACP认证

云计算可以提供的服务:计算服务、网络服务、存储服务、以及其他业务系统服务。，通俗一点提供提供ecs、公网ip、oss、等其他各种在线基础资源服务。aliyu
Dazer007·2024-01-09 07:22

【Azure 存储服务】Storage Account Blob 使用REST API如何获取磁盘大小(Content-Length), IOPS信息

问题描述1）关于使用RestAPI获取非托管磁盘信息比如获取磁盘大小2）关于使用RestAPI获取非托管磁盘信息比如iops问题答案#1:关于使用RestAPI获取非托管磁盘信息比如获取磁盘大小请求的URL为：blobURL+containername+“?restype=container&comp=list”(获取容器属性:https://docs.microsoft.com/zh-cn/re
云中路灯·2024-01-09 05:31

开发笔记 – Spring Boot集成HBase

各种数据加起来超过40G了，使用Mysql数据库存储服务器吃不消，于是考虑使用HBase存储大部分数据。
IT东·2024-01-08 19:38

01-Redis核心数据结构与高性能原理

Redis的单线程主要是指Redis的网络IO和键值对读写是由一个线程来完成的（说白了也就是执行命令的时候是由一个线程来完成的），这也是Redis对外提供键值存储服务的主要流程。
ayu_programer·2024-01-08 10:49

大数据 Yarn - 资源调度框架

Hadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn。
善守的大龙猫·2024-01-08 10:48

Hadoop精选18道面试题(附回答思路)

2.简述HDFSHadoop分布式文件
Byyyi耀·2024-01-08 06:00

视频网站的存储与媒体处理方案

方案介绍视频网站的存储与媒体处理方案本方案通过视频点播VOD、消息服务MNS、函数计算FC、对象存储OSS、云服务器ECS实现视频上传、处理和存储服务。应用场景视频数据管理视频点播应用
公有云服务商·2024-01-07 23:59

Hive元数据迁移及升级方案

具体分布式文件的存储、分布式计算的执行等均由后端的Hadoop来承接，如下图所示：基于上图架构，Hi
云原生大数据·2024-01-07 22:49

GFS论文解读(一)——设计概述

介绍在当今大数据时代，分布式文件系统已经成为处理海量数据的重要工具。而在这个领域中，「GFS（GoogleFileSystem）」论文无疑是一篇具有里程碑意义的文献。
健鑫.·2024-01-07 18:53

高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例

它提供了高性能、高可用性以及易于管理的对象存储服务。
小果运维·2024-01-07 12:18

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS简介2.2、HDFS设计目标2.3、HDFS应用场景2.4、HDFS重要特性2.4.1、主从架构2.4.2、分块存储2.4.3、副本机制2.4.4、元数据记录2.4.5、namespace2.4
杀神lwz·2024-01-07 11:19

FastDFS分布式文件系统

1.什么是FastDFSFastDFS(FastDistributedfilesystem)是用c语言编写的一款开源的分布式文件系统。
GGbird·2024-01-07 11:03

Teradata数据库和Informatica ETL逻辑及视图、用户定义函数和存储过程迁移到AWS的Hive数据仓库基本流程

ElasticCloudComputing，高性能云计算）、EMR（ElasticMap-Reduce，高性能大数据计算）、Redshift/Snowflake数据仓库和S3（SimpleStorageService，简单存储服务
weixin_30777913·2024-01-07 10:12

专注于提供存储服务的YottaChain

提到IPFS（InterPlanetaryFileSystem）的大名，链圈可能无人不知无人不晓，这是一个基于区块链技术的提供存储的公链，将无数个不可信任的节点连接起来，形成了非常可靠的存储系统。然而IPFS也有其不足：IPFS更适合提供一个公开访问内容的存储，如公开的网页等，任何人只要知道了文件的hash，就能够访问相关内容。这个对于企业级的存储，以及对存储内容有隐私性要求的文件存储需求来说，是
苍天鸭·2024-01-07 10:17

Spring Boot 整合 MinIO自建对象存储服务

GitHub地址：GitHub-minio/minio:TheObjectStoreforAIDataInfrastructure另外，MinIO可以用来作为云原生应用的主要存储服务，因为云原生应用往往需要更高的吞吐量和更低的延迟
哗哗的世界·2024-01-07 02:55

分布式存储与传统存储对比分析

分布式存储的定义分布式存储系统，是将数据分散存储在多台独立的X86服务器上，通过通用的存储协议对外提供FC、ISCSI、RBD、NAS、S3等存储接口，每个存储服务器节点既能够进行数据存放和性能加速，也同时提供数据控制和存储接口对接
LD_ee65·2024-01-07 01:46

从零开始入门 K8s | 手把手带你理解 etcd

基于此，etcd被设计为提供高可用、强一致的小型keyvalue数据存储服务。项目当前隶属于CNCF基金会，被AWS、Google、Microsoft、Alibaba等大型互联网公司广泛使用。
cuixiaoyan·2024-01-06 20:15
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他