使用MinIO构建分布式文件系统来一次分布式文件系统实战!

随着文件数据的越来越多,传统的文件存储方式通过tomcat或nginx虚拟化的静态资源文件在单一的服务器节点内已经无法满足系统需求,也不利于文件的管理和维护,这就需要一个系统来管理多台计算机节点上的文件数据,这就是分布式文件系统。

一、什么是分布式文件系统?

1.1 什么是分布式文件系统

分布式文件系统(Distributed File System,DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点(可简单的理解为一台计算机)相连;或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构,从而使用户访问分布在网络上的共享文件更加简便。

1.3 分布式文件系统的优势

可扩展:分布式存储系统可以扩展到数百甚至数千个这样的集群大小,并且系统的整体性能可以线性增长。

高可用性:在分布式文件系统中,高可用性包含两层,一是整个文件系统的可用性,二是数据的完整和一致性

低成本:分布式存储系统的自动容错和自动负载平衡允许在成本较低服务器上构建分布式存储系统。此外,线性可扩展性还能够增加和降低服务器的成本。

弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源,而不需要中断系统运行

1.4 分布式文件系统的应用场景

分布式文件系统广泛适用于互联网、金融等海量非结构化数据的存储需求:

  • 电商网站:海量商品图片

  • 视频平台:视频、图片文件存储

  • 网盘应用:文件存储

  • 社交网站:海量视频、图片

二、分布式文件系统与传统文件系统对比

使用MinIO构建分布式文件系统来一次分布式文件系统实战!_第1张图片

传统的网络存储系统采用集中的服务器存放所有数据,到一定程度服务器会成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。

分布式文件系统是将文件分散的存储在多台服务器上,采用可扩展的系统结构,利用多台服务器分担负荷,利用位置服务器定位存储信息。这不但提高了系统的可靠性、可用性和存取效率,还易于扩展,避免单点故障。

分布式文件系统 一般文件系统
存储方式 数据分散的存储在多台服务器上

集中存放所有数据,在一台服务器上。

特点

分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。

使用分布式文件系统可以解决如下几点问题:

  • 海量文件数据存储

  • 文件数据高可用(冗余备份)

  • 读写性能和负载均衡

以上三点都是传统文件系统无法达到的,这也是我们为什么要使用分布式文件系统的原因。

目前,可用于文件存储的网络服务选择有很多,其中最常用的分布式文件系统有:DFS、FastDfs、MinIO、Ceph等。接下来我们就来详细介绍MinIO并通过MinIO搭建分布式存储系统。

三、MinIO简介

3.1 什么是MinIO?

MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 AP

你可能感兴趣的:(服务器,java,程序人生,后端,开发语言)