MongoDB GridFS

BSON

BSON 是由 10gen 开发的一个数据格式，目前主要用于 MongoDB 中，是 MongoDB 的数据存储格式。BSON 基于 JSON 格式，选择 JSON 进行改造的原因主要是 JSON 的通用性及 schema-less 的特性。

BSON 采用 schema-less 存储形式，是一种类似 JSON 的二进制存储格式，全名为 Binary JSON 。它和 JSON 一样支持内嵌文档对象和数组对象，且支持后者未提供的 Date 和 BinDate 数据类型。相比 JSON ，BSON 的优点是灵活性高，缺点是空间利用率较低。

BSON 主要实现了以下三点目标：

（1）更快的遍历速度

对 JSON 格式来说，太大的 JSON 结构会导致数据遍历非常慢。在 JSON 中，要跳过一个文档进行数据读取，需要对此文档进行扫描，而且需要进行麻烦的数据结构匹配，比如括号的匹配。而 BSON 对 JSON 的一大改进就是，它会将 JSON 的每一个元素的长度存在元素的头部，这样你只需要读取到元素长度就能直接 seek 到指定的点上进行读取了。

（2）操作更简易

对 JSON 来说，数据存储是无类型的，比如你要修改基本一个值，从 9 到 10，由于从一个字符变成了两个，所以可能其后面的所有内容都需要往后移一位才可以。而使用 BSON，你可以指定这个列为数字列，那么无论数字从 9 长到 10 还是 100，我们都只是在存储数字的那一位上进行修改，不会导致数据总长变大。当然，在 MongoDB 中，如果数字从整形增大到长整型，还是会导致数据总长变大的。

（3）增加了额外的数据类型

JSON 是一个很方便的数据交换格式，但是其类型比较有限。BSON 在其基础上增加了 byte array 数据类型，这使得二进制的存储不再需要先使用 base64 转换后再存成 JSON ，大大减少了计算开销和数据大小。

但是在有的时候，BSON 相对 JSON 来说也并没有空间上的优势。比如对 {“field”:7}，在 JSON 的存储上 7 只使用了一个字节，而如果用 BSON，那就是至少 4 个字节（32 位）。目前在 10gen 的努力下，BSON 已经有了针对多种语言的编码解码包，都是 Apache2 License 下开源的，并且还在随着 MongoDB 一同发展。

GridFS

GridFS 是 Mongo 的一个子模块，使用 GridFS 可以基于 MongoDB 来持久存储文件。并且支持分布式应用。BSON 存储文件数据时要求文件不得超过 16M ，在实际系统开发中，上传的图片或者文件可能尺寸会很大，此时我们可以借用 GridFS 来辅助管理这些文件。

GridFS 是一种文件管理方式，它用于存储和检索超过 16M 的大文件。GridFS 不是将一个大文件存储在一条文档中，而是自动将文件分成块，每一块作为一条文档单独存储。GridFS 使用的块的容量默认是 256K 。

GridFS 不是 MongoDB 自身特性，只是一种将大型文件存储在 MongoDB 的文件规范。GridFS 制定大文件在数据库中的处理规程，通过开发语言驱动来完成、通过 API 接口来存储检索大文件。

存储原理

GridFS 使用两个集合（collection）存储文件。一个集合是 chunks ，用于存储文件内容的二进制数据；一个集合是 files，用于存储文件的元数据。

GridFS 会将两个集合放在一个普通的 buket 中，并且这两个集合使用 buket 的名字作为前缀。MongoDB 的 GridFs 默认使用 fs 命名的 buket 存放两个文件集合。因此存储文件的两个集合分别会命名为集合 fs.files , 集合 fs.chunks 。

当然也可以定义不同的 buket 名字，可以在一个数据库中定义多个 bukets，但所有的集合的名字都不得超过 mongoDB 命名空间的限制。

MongoDB 集合的命名包括了数据库名字与集合名字，会将数据库名与集合名通过 “.” 分隔。而且命名的最大长度不得超过 120bytes 。

使用 GridFS 存储文件时，如果文件大于 256K ，会先将文件分割成多个块，最终将 chunk 块的信息存储在 fs.chunks 集合的多个文档中。然后将文件信息存储在 fs.files 集合的唯一一份文档中。对于同一个大文件，fs.chunks 集合中多个文档中的 file_id 字段对应 fs.files 集中某一个文档的 _id 字段。

读文件时，先根据查询条件在 files 集合中找到对应的文档，同时得到 _id 字段，再根据 _id 在 chunks 集合中查询所有 files_id 等于 _id 的文档。最后根据 n 字段顺序读取 chunk 的 data 字段数据，还原文件。

GridFS 存储文件过程

fs.files 集合中文档的存储内容如下：

{
  "_id": ,        // 文档ID，唯一标识
  "chunkSize": ,       // chunk 大小 256K
  "uploadDate": , // 文件上传时间 
  "length": ,          // 文件长度
  "md5": ,          // 文件md5值
  "filename": ,     // 文件名
  "contentType": ,  // 文件的 MIME 类型
  "metadata":   // 文件自定义信息
}

fs.chunks 集合中文档的存储内容如下：

{
  "_id": ,        // 文档ID，唯一标识
  "files_id": ,   // 对应 fs.files 文档的 _id
  "n": ,               // 序号，标识文件的第几个 chunk
  "data":           // 文件二级制数据
}

为了提高检索速度 MongoDB 为 GridFS 的两个集合建立了索引。fs.files 集合使用是 filename 与 uploadDate 字段作为唯一、复合索引。fs.chunk 集合使用的是 files_id 与 n 字段作为唯一、复合索引。