图片服务器架构选择

tfs,fastdfs,weedfs.对比

https://www.cnblogs.com/yswenli/p/7234579.html

对比说明

/文件系统

TFS FastDFS MogileFS MooseFS GlusterFS Ceph
开发语言 C++ C Perl C C C++
开源协议 GPL V2 GPL V3 GPL GPL V3 GPL V3 LGPL
数据存储方式 文件/Trunk 文件 文件/块 对象/文件/块
集群节点通信协议 私有协议(TCP) 私有协议(TCP) HTTP 私有协议(TCP) 私有协议(TCP)/ RDAM(远程直接访问内存) 私有协议(TCP)
专用元数据存储点 占用NS 占用DB 占用MFS 占用MDS
在线扩容 支持 支持 支持 支持 支持 支持
冗余备份 支持 支持 - 支持 支持 支持
单点故障 存在 不存在 存在 存在 不存在 存在
跨集群同步 支持 部分支持 - - 支持 不适用
易用性 安装复杂,官方文档少 安装简单,社区相对活跃 - 安装简单,官方文档多 安装简单,官方文档专业化 安装简单,官方文档专业化
适用场景 跨集群的小文件 单集群的中小文件 - 单集群的大中文件 跨集群云存储 单集群的大中小文件

开源协议说明

 

 

TFS和FastDFS使用

https://blog.csdn.net/u014407826/article/details/72598481

 

weedfs

https://github.com/chrislusf/seaweedfs

https://www.cnblogs.com/starcrm/p/9377851.html

https://blog.csdn.net/u012618915/article/details/83415955

https://blog.csdn.net/bluejoe2000/article/details/83448993

SeaweedFS是一种简单的、高度可扩展的分布式文件系统。有两个目标:
1)存储数十亿的文件!
2)查看档案快!
SeaweedFS最初作为一个对象存储来有效地处理小文件。中央主服务器只管理文件卷,而不是管理中央主服务器中的所有文件元数据,它允许这些卷服务器管理文件及其元数据。这减轻了中央主服务器的并发压力,并将文件元数据传播到卷服务器,允许更快的文件访问(只需一个磁盘读取操作)。
 

weed-fs为想寻找开源分布式文件系统的朋友们提供了一个新选择。尤其是在存储大量小图片时,weed-fs自身就是基于haystack这一优化图 片存储的论文的。另外weed-fs使用起来的确十分简单,分分钟就可以建立起一个分布式系统,部署容易,几乎不需要什么配置。但weed-fs目前最大 的问题似乎是没有重量级的使用案例,自身也还有不少不足,但希望通过这篇文章能让更多人认识weed-fs,并使用weed-fs,帮助改善weed-fs吧。

https://blog.51cto.com/lookingdream/2110662

 

fastdfs

https://www.cnblogs.com/chenzhazha/p/10395350.html

FastDFS加Redis实现自定义文件名存储海量文件

https://my.oschina.net/waterbear/blog/150743

 

GridFS

https://blog.csdn.net/sun491922556/article/details/73467402

GridFS是Mongo的一种专门用存储小型文件的功能。

使用于下列场景:

图片服务器架构选择_第1张图片

 

windows通过过IIS虚拟目录,建图片服务器

https://www.cnblogs.com/tdws/p/6231308.html

 

HBase解决海量图片存储方案

https://www.cnblogs.com/DarrenChan/p/9494782.html

 

关于 Ceph 与 HBase 存储图片方案的对比

https://www.v2ex.com/t/549937

 

图片很多的网站是把图片放在数据库,还是文件系统

https://www.oschina.net/question/148057_140088

 

36000万张图片的存储和快速检索展示 [问题点数:300
https://bbs.csdn.net/topics/392136516

可以考虑按分表存储(按什么规则由你定,你可以考虑文件名取Hash,然后再取模分表

电商总结(四)基于共享存储的图片服务器架构

https://www.cnblogs.com/zhangweizhong/p/5250407.html

图片服务器架构选择_第2张图片

1. 在存储服务器上建立一个共享目录(具体方式,我就不去重复了,自己百度吧,注意共享目录的文件安全)。

  2. 各个应用直接通过共享目录(\\192.168.1.200),将图片上传到存储服务器上。

  3. 建立一个web站点(i1.abc.com)将该共享目录通过web站点发布出去。这样其他的应用就能访问到相关图片。

 

https://www.jianshu.com/p/ccb17daed766

tair是什么?

Tair是由淘宝网自主开发的Key/Value结构数据存储系统,在淘宝网有着大规模的应用。在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候,都在直接或间接地和Tair交互。

Tair于2010年6月30号在淘宝开源平台上正式对外开源。

Tair有四种引擎:mdb, rdb, kdb和ldb。分别基于四种开源的key/value数据库:memcached, Redis, Kyoto Cabinet和leveldb。Tair可以让你更方便地使用这些KV数据库。比如Redis没有提供sharding操作,如果有多个Redis Server,你需要自己写代码实现sharding,Tair帮你封装了这些。

 

36000万张图片的存储和快速检索展示 [问题点数:

https://bbs.csdn.net/topics/392136516

揭秘淘宝286亿海量图片存储与处理架构

https://www.cnblogs.com/zhwl/p/3640979.html

你可能感兴趣的:(存储)