Chunks集合:
{ "_id" : ObjectId("4f4608844f9b855c6c35e299"), //chunk的id "files_id" : ObjectId("4f4608844f9b855c6c35e298"), //文件的id,对应fs.files中的对象,相当于fs.files集合的外键 "n" : 0, //文件的第几个chunk块,如果文件大于chunksize的话,会被分割成多个chunk块 "data" : BinData(0,"QGV...") //文件的二进制数据,这里省略了具体内容 }
块集合中文档包含以下属性:chunk_id:块ID。Chunks.files_id:对应files集合中文档的_id。Chunks.n:块的编号,由GridFS管理,从0开始。Chunks.data:文件数据,是BSON二进制类型。
Chunks集合使用files_id和n作为混合索引,files集合:{ "_id" : ObjectId("4f4608844f9b855c6c35e298"), //唯一id,可以是用户自定义的类型 "filename" : "CPU.txt", //文件名 "length" : 778, //文件长度 "chunkSize" : 262144, //chunk的大小 "uploadDate" : ISODate("2012-02-23T09:36:04.593Z"), //上传时间 "md5" : "e2c789b036cfb3b848ae39a24e795ca6", //文件的md5值 "contentType" : "text/plain" //文件的MIME类型 "meta" : null //文件的其它信息,默认是没有”meta”这个key,用户可以自己定义为任意BSON对象 }
Files集合中的文档包含以下属性,应用还可以创建额外任意的属性:files_id:唯一的文件表示。MongoDB的默认值是BOSN ObjectID。 Files.length: 文件的字节数大小。Files.chunkSize:每个块的大小,默认为256KB,GridFS根据这个值将文件分成多个快,files.uploadDate:GridFS第一次存储此文件的时间,类型为ISODate。Files.md5:文件的md5散列值,是字符串。 Files.filename:可选。人类可读的文件名。Files.contentType:可选。合法的文件MIME类型。Files.aliases:可选。别名的字符串数组。Files.metadata:可选。自定义存储的文件元数据。
可以通过mongofiles工具或者MongoDB驱动程序来使用GridFS,GridFS主要提供5种操作接口:
List:获取文件列表
对比传统文件系统的优势
分布式:GridFS是基于MongoDB的分布式文件系统,可以直接使用MongoDB Replication和Sharding机制,数据可靠性和水平扩展性都得到保证。GridFS不产生磁盘碎片,因为MongoDB分配数据文件空间时以2GB为一块。
MapReduce:可以进行复杂管理和查询分析。
索引和缓存:元数据存储在MongoDB中,非常方便索引,并且可以对文件和文件元数据进行索引,能提高系统效率。
Checksum: GridFS会为文件产生散列值,可用于校验文件以检查完整性。
开发者友好:利用Grid可以简化需求,减小开发成本。要是已经用了MongoDB,GridFS就可以不需要使用独立文件存储架构,并且使代码和数据真正分离,方便管理。
其他: GridFS可以避免用于存储用户上传内容的文件系统出现的某些问题。例如,GridFS在同一个目录下防止大量的文件是没有任何问题的。GridFS不产生磁盘碎片,因为MongoDB分配数据文件空间时以2GB为一块。
使用场景
1) 有大量的上传图片(用户上传或者系统本身的文件发布等)
2) 文件的量级处于飞速增长,有可能打到单机操作系统自己的文件系统的查询性能瓶颈,甚至超过单机硬盘的扩容范围.
3) 文件的备份(不适用gridfs这种三方也可以做,但是不尽方便),文件系统访问的故障转移和修复..
4) 文件的索引,存储除文件本身以外还需要关联更多的元数据信息(比如,不仅仅存储文件,还要保存一些文件的发布式作者/发布时间/文件tag属性等等自定义信息)并且需要索引的...
5) 基于4),对文件的分类模糊,如果采用操作系统的文件系统,文件夹分类关系混乱或者无法分类时..
6) 当前系统是基于web的,对图片的访问根据url了规则路由的..(普通文件系统也可以)
7) 文件尺寸较小,而且众多,且文件有可能被迁移/删除等..
在Mongodb中以GridFSB方式存放文件有两种方式
1、命令行方式mongofiles
mongofiles命令行下向Mongodb数据库中插入文件数据。
mongofiles -host 127.0.0.1:27017 -d mydb put 文件名
向数据库mydb中插入一个文件,其中put为命令,表示向Mongodb中上传文件,get、delete分别表示取得文件和删除文件。
mongo自带有一个实现mongofliles,基本操作如下:
列出所有文件:
mongofiles list
上传一个文件:
mongofiles put xxx.txt
下载一个文件:
mongofiles get xxx.txt
查找文件:
mongofiles search xxx //会查找所有文件名中包含“xxx”的文件
mongofiles list xxx //会查找所有文件名以“xxx”为前缀的文件
参数说明:
–d 指定数据库 ,默认是fs,Mongofiles list –d testGridfs
-u –p 指定用户名,密码
-h 指定主机
-port 指定主机端口
-c 指定集合名,默认是fs
-t 指定文件的MIME类型,默认会忽略
2、使用API来存取文件
基于java的存取请参考下一节文章。