分布式存储题库

分布式存储题库

1. 分布式存储系统要求实现的特性有哪些？
   答：低成本、高性能、可扩展、易用。

2. 分布式存储系统设计的技术性挑战包括那些。
   答：数据分布、一致性、容错、负载均衡、并发控制、易用性、压缩/解压缩。

3. 非结构化数据对象主要代表有哪些？
   答、图片、视频、音频。

4. 常用的单机存储引擎有哪些？
   答：哈希存储引擎、B树存储引擎、LSM树存储引擎。

5. 分布式存储系统处理的数据模型有哪些？
   答：文件模型、关系模型、键值模型。

6. 单机存储中每秒读写次数最快的存储介质是什么。
   答：内存。

7. 分布式存储系统中跨机房部署的方案有哪些？
   答：集群整体切换、单个集群跨机房、Paxos选主副本

8. 事务的ACID特性指的是什么。
   答：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability)

9. 数据库语言SQL的修改命令包含哪些？
   答：INSERT、DELETE、UPDATE。

10. 什么是事务？
    答：数据库的一个或多个操作。

11. GFS系统的节点按角色分为哪些类型？
    答：元数据服务器、主控服务器、客户端。

12. TFS 的NameServer具有的功能有哪些？
    答：DataServer管理、映射关系维护、Block管理。

13. 分布式存储系统中，“三态”指的是哪些？
    答：成功、失败、超时。

14. 从客户端的角度看，分布式系统的一致性有哪些类型？
    答：强一致性、弱一致性、最终一致性。

15. 完整的一轮Paxos协议包含哪些步骤？
    答：准备、批准、确认。

16. GFS的主控服务器上保存了哪三种元数据信息？
    答：命名空间、文件到chunk之间的映射、chunk副本的位置信息。

17. Dynamo分布式键值系统在设计时面临的主要问题有哪些？
    答：数据分布问题、复制协议、数据冲突处理、临时故障处理、永久故障恢复、成员资格及错误检测。

18. Dynamo分布式键值系统的容错机制有哪些？
    答：数据回传、Merkle树同步、读取修复。

19. Megastore系统的组成部分包含哪些？
    答：客户端库、协调者、复制服务器。

20. Dynamo键值系统的性能特点有哪些？
    答：无中心节点、最终一致性、可扩展、系统相对复杂。

21. 存储系统的角度看，一致性主要包含哪些？
    答：副本一致性、更新顺序一致性。

22. Google的Bigtable采用的数据分布方式是什么？
    答：顺序分布。

23. 分布式存储系统采用的主要容错技术是什么？
    答：冗余存储。

24. 分布式存储面临的数据类型有哪些？
    答：结构化数据、半结构化数据、非结构化数据。

25. GFS通过什么将chunk写操作授权给ChunkServer。
    答：租约机制。

26. 分布式存储系统运行过程中可能出现的异常类型有哪些？
    答：服务器宕机、网络异常和磁盘故障。

27. Paxos协议的作用是什么？
    答：使多个节点对某个问题达成一致。

28. 机房之间的数据同步方式可分为哪两种？
    答：强同步、异步。

29. Dynamo中[nodes,counter]对表示什么？
    答：向量时钟。

30. 持久化Tair和非持久化Tair的区别是什么？
    答：持久化Tair可以看成是一个分布式缓存，持久化的Tair将数据存放于磁盘中

31. 分布式存储系统的故障检测机制是什么？
    答：租约机制。

32. 两阶段提交协议(Two-phase Commit, 2PC)的作用是什么？
    答：实现分布式事务。

33. GFS的设计成功的经验表明了什么？
    答：单Master的设计是可行的。

34. 从存储数据类型上看，Google Megastore 的特点是什么？
    答：存储数据介于关系型数据库和NOSQL之间。

35. TFS在设计时采用的思路是什么？
    答：多个逻辑图片文件共享一个物理文件。

36. Bigtable访问控制的基本单元是什么？
    答：子表。

37. Spanner通过实现了什么实现了跨数据中心的多个副本之间的一致性。
    答：Paxos协议。

38. Dynamo设计支持哪种存储引擎？
    答：可插拔

39. 分布式表格系统支持哪些操作？
    答：CRUD操作和扫描

40. Google Spanner中TrueTime API实现的基础是什么？
    答：GPS和原子钟。

41. 分布式存储系统数据分布的主要方法有哪些？
    答：分布式存储系统数据分布的主要方法有散列分布和顺序分布，散列分布采用某种算法将数据分散到各存储设备，顺序分布一般应用在表格和键值系统，按照主键顺序有序分布。

42. 事务的ACID特性指什么。
    答：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability)

43. 什么是分布式存储系统中的CAP定理。
    答：CAP定理又称 CAP原则,指在分布式系统中,一致性 (Consistency)，可用性 (Availability)，分区容错性 (Partition Tolerance)，三者不可兼得。

44. Dynamo键值系统针对数据分布问题采用的方法及其基本思想。
    答：采用的改进的一致性哈希算法。
    基本思想：每个物理节点根据性能的差异分配多个token，每个token对应一个“虚拟节点”，每个虚拟节点的处理能力基本相当，并随机分布在哈希空间中，数据按照哈希值落到某个虚拟节点负责的区域，然后被存储在该虚拟节点对应的物理节点中。

45. 分布式存储系统架构的主要类型及其技术特点。
    答：中间控制节点架构：部分节点NameNode存放管理数，另一部分节点DataNode存放业务数据，DataNode负责管理具体数据。完全无中心架构-计算模式：客户端通过一个设备映射关系计算出数据写入的位置，实现与存储节点的直接通信，避免中心节点的性能瓶颈。完全无中心架构-一致性哈希：通过一致性哈希将设备做成一个哈希环，然后根据数据名称计算出的哈希值映射到哈希环的某个位置，实现数据的定位。

46. 分布式系统如何实现分布式事务的原子性，详细描述一种实现分布式事务原子性方法的步骤。
    答：在分布式系统中，操作要么在所有的节点上都生效，要么不在任何一个节点上生效，每个节点提交或中止事务的操作要保持一致。一般使用两阶段提交和Paxos协议等算法来保证事务的原子性。
    两阶段提交由协调者负责协调算法的各个阶段，参与者参与到事务中执行事务操作。两阶段提交协议执行过程包括请求阶段和提交阶段。协调者发起提交请求，由参与者进行表决，当所有的参与者同意提交事务，协调者才通知所有的参与者提交。

47. Taotao文件系统TFS和Google文件系统GFS在架构设计上的异同。
    答：TFS和GFS的相同处为都采用了主控节点设置，利用主控节点对整个系统进行管理。和GFS类似，TFS的负载均衡也需要考虑机架分布、磁盘利用率、数据服务器读写负载等因素。TFS内部不维护文件目录树，每个小文件使用一个64位的编号，TFS是一个读多写少的应用，其写流程更为简单有效。

48. Paxos协议的执行过程及其在分布式存储中发挥的主要作用。
    答：准备：Proposer首先发送一个提议序号n给其他节点，如果提议的序号大于Acceptor已经回复的所有消息，则Acceptor将自己上次接受的提议回复Proposer。
    批准：如果Acceptor回复了上次接受的提议，Proposer选择序号最大的提议值发给Acceptor批准，否则Proposer生成一个新的提议值发给Acceptor批准。
    确认：如果超过一半的Acceptor接受，提议值生效。
    作用：Paxos协议确保在主节点出现问题时，能够顺利的选举出新的主节点。

49. 一致性哈希算法的思想和优点是什么，主要作用是什么。
    答：算法思想:给系统中每个节点分配一个随机 token，这些 token 构成一个哈希环。
    执行数据存放操作时，先计算 Key(主键)的哈希值，然后存放到顺时针方向第一个大于或者等于该哈希值的 token 所在的节点。
    优点在于节点加入/删除时只会影响到在哈希环中相邻的节点，而对其他节点没影响。

50. Dynamo键值系统在系统设计上采用的关键分布式技术及解决的相关问题。
    答：Dynamo采用一致性哈希算法解决数据分布问题
    采用复制写协议解决数据复制问题
    向量时钟解决数据冲突问题
    数据回传机制对临时故障进行处理
    采用Merkle哈希树对永久故障进行恢复
    利用Gossip的成员资格和错误检测协议对成员资格及错误进行检测

51. 分布式存储同构系统和异构系统的系统布置方式及其优缺点是什么。
    答：同构系统：将存储系统分为若干组，每组内的节点服务完全相同的数据，其中一个节点为主节点，其他节点为备节点。同构系统增加副本需要迁移的数据量太大，拷贝需花费的时间过长，再次发生故障的概率也很高。
    异构系统：将数据划分为很多大小接近的分片，每个分片的多个副本分布在集群中的任意一个存储节点。于应用了数据分片，异构系统故障恢复的时间很短，且集群规模越大，优势越明显。

52. Google文件系统GFS的追加流程。
    答：客户端向Master请求每个副本所在的ChunkServer，其中主服务器持有修改租约； Master返回客户端主副本所在的ChunkServer的位置信息，客户端缓存这些信息供以后使用；客户端将要追加的记录发送到每一个副本，每一个ChunkServer 会在内部缓存这些数据；当所有副本都确认收到数据，客户端会发起一个写请求控制命令给主副本；主副本把写请求提交给所有的备副本，每一个备副本会根据主副本确定的顺序执行写操作； 备副本成功完成后应答主副本；主副本应答客户端，如果有副本发生错误，将出现主副本写成功，但是某些备副本不成功的情况，客户端将重试。