解决的特点
1.对于组件无法工作可以当作常态，因为机器数量以及廉价等原因，会频频出现机器组件失效问题
2.对于处理的数据非常巨大
3.对于数据大部分是追加，而不是覆盖
4.能够提供API，来随时调整系统
处理大规模顺序读，小规模随机读，能够处理大规模数据，通常被用于 生产者-消费者 模式
一个GFS集群包含一个master和多个chunk服务器，可以同时被多个客户端访问
ChunkServer：数据存储节点，包含多个固定大小的Chunk
Chunk：每个文件至少一个Chunk，并存在唯一标示，默认一共3个副本
master保存了元数据（描述数据的数据），chunk的管理等等
Chunk的大小设置为较大的优缺点
优点：对同一个Chunk进行多次读写操作，可以减少负载，保持长时间连接可以增强读的性能，可以减少master的内存
缺点：会让Chunk成为热点，也就是说一直操作这个文件
客户端 -(文件名，chunk索引)-> master
GFS系统存储的3种主要类型的元数据：文件和chunk的命名空间，文件和chunk的对应关系，每个chunk副本的存放地点
元数据
元数据都保存在内存中(master)，因此chunk的数量以及整个系统的承载能力都取决于master服务器所拥有的内存大小，但其实元数据所占用的内存并不大
对于chunk的位置信息，master会轮询chunk服务器来获取
对于某个操作，必须保证操作日志更新以后，才会去相应客户端查询日志文件
租约
客户端向master查询准备写入的chunk的信息
master会返回第一个主副本为当前租约的副本
客户端会向多个副本推送数据
主副本在将数据写入本地的同时，通知其他副本讲数据写入各自节点
Master节点
通过锁，使得命名空间的修改为原子性的
副本的存放，不能都放在同一磁盘或者物理机上，最大化网络带宽
当创建一个chunk的时候要找一个空间利用率低的节点和磁盘，最近一段时间新建chunk较少的节点，并把副本放到不同的机架上
垃圾回收
GFS采取延时回收策略。当要删除文件时，会将其更改一个隐藏名字，并且增加一个删除时间，master会定期检查，一旦超时就会将其删除
对于master不能识别的副本都是垃圾，但不会立即回收，会在周期性的常规垃圾扫描才回收，并在master相对空闲时完成
快照
对当前系统进行拍照，用户可以在任意时刻回滚到快照的状态
当master收到快照请求时，并不会立即对chunk进行拷贝，只会保存其元数据，等到client需要修改指定chunk时，才会进行本地复制（本地复制可以节省带宽）
容错
Master和ChunkSever,都被设计成数秒内可以恢复并且重启，Client和其他服务器发现请求超时，会重连重启的Server
ChunkServer关闭或者校验出损坏副本时，Master会通过已有的副本来保障副本个数
CheckPoint文件+操作日志可以完成Master的恢复