大数据系统-在硬盘上需要注意的事情

逻辑卷的问题

       一般很多linux的默认安装，会将磁盘直接以逻辑卷的方式挂载，逻辑卷的优点是后期的扩容以及调整磁盘非常的方便，看着比raid好用多了，但是默认的逻辑卷配置方式是只有一块盘在工作 ，其他几块盘都闲着，发挥不出来多块盘的性能，也就是说如果在逻辑卷里面挂了10块盘，那么默认的逻辑卷的配置，只能发挥出一块盘的性能。所以对于YDB系统来说，大家不要使用逻辑卷。

     关于RAID

       有些客户比较担心数据丢失，将磁盘做了raid10或者raid5，其实这样是没有必要的，因为本身默认配置hadoop是有三份副本的，并不怕磁盘损坏。raid10与raid5会导致磁盘容量只有原先的一半，由于需要双写，磁盘整体吞吐量降低了一倍。而且raid5一旦损坏了一块磁盘，就需要通过奇偶校验还原数据，读的吞吐量直接降低到原先了5分之一，而且更换新盘后，通过校验要还原原先盘的数据的时候，经常会发生雪崩现象，IO瞬间增大，导致其他盘陆续的跟着挂掉。所以对于YDB系统来说，不推荐使用raid 10或raid5. 还有一些客户，会将所有的盘都做成一个完整的raid0，raid0的问题缺点就是一块盘损坏，整个系统就坏掉，但是raid0确实会比单块磁盘速度好，所以如果能做raid0我更推荐2个盘组成一起做一个raid0,而不是整体所有磁盘都做成一个raid0.

     关于系统盘与数据盘

       好多客户，在挂盘的时候，为了节省磁盘空间，更充分的利用资源，会将一个8T的物理磁盘划分成两个逻辑分区，一个逻辑分区作为系统盘，一个逻辑分区作为数据盘。但是数据盘一般会比较繁忙的，但是由于他们底层都共用的是同一块物理磁盘，就会导致系统盘实际上也会特别繁忙，系统盘繁忙会导致整个系统会变的非常的慢，执行任何linux命令都很慢，socket连接建立也缓慢，很多系统会因此而超时断线，所以延云YDB建议操作系统要独立一块磁盘,数据盘不要与操作系统共用同一块盘，否则数据盘很慢的时候，运行在操作系统上的软件都跟着慢，比如说zookeeper就很容易挂掉。

       另外还有一部分客户，可能处于习惯，默认会给系统盘的跟目录预留的存储空间特别小，比如说只预留了10~30个G的空间，这样其实对大数据系统来说风险较大，以ambari为例，他的log默认是记录在/var/log下的，这30G的空间会很快的被LOG记满，大家都知道一旦操作系统 根目录满了意味着什么？ 将是所有服务不可用，这样隐患太大了。所以延云建议系统跟目录尽量留大一点的磁盘空间，如200G,默认centos给分配50G空间也太小，如果hadoop等日志没有及时清理掉，将来隐患较大

     关于磁盘阵列与云

       有相当一部分的客户使用云服务器，将机器虚拟化节省了很多的资源，确实增加了硬件的利用率，目前的云服务器有相当一部分的解决方案是采用外挂存储的方式将磁盘统一的挂载到远程的一个磁盘阵列上去。这个时候磁盘阵列很有可能是单点，一旦发生断电或者磁盘阵列出现问题，因为hadoop的三分副本都存储在这一个磁盘阵列上，磁盘阵列数据一但丢失，会导致整个集群不可用。如果有条件，我更建议做多个磁盘阵列而不是一个磁盘阵列单点，这样通过hadoop的机架策略，可以将 hadoop 的三份副本分别存储在不同的磁盘阵列上，namenode以及SNamenode也分别存储在不同的磁盘阵列上，这样一旦其中一个磁盘阵列出现了故障，我们的hadoop还能够恢复服务，而且不丢数据。

       另外由于虚拟化以后，一个真实的物理机上面可能会开多个虚拟机，如果一旦这个物理机硬件发生损坏，这个物理机上的虚拟机也有异常，而且如果其中坏的这些虚拟机正好包含了hadoop 文件block的这三个副本，其他机器上没有这些副本的话，会造成数据的丢失，延云建议虚拟机厂商与hadoop厂商协同，采用hadoop机架技术，将位于同一物理机上的虚拟机标记在同一个机架上，以免造成数据丢失。

       虚拟化后也存在系统盘与数据盘的问题，虽然在虚拟机里看到了系统盘与数据盘确实分离了，但是在物理机上有可能是在虚拟机A里面的系统盘，又作为了虚拟机B的数据盘，这样当虚拟机B的数据盘特别繁忙的时候，会造成虚拟机A的响应非常慢，针对这种情况延云YDB建议，将物理机的磁盘分类，一些磁盘专门用于挂系统慢，一些磁盘专门用于挂数据盘，不允许交叉，一个物理盘即挂数据盘又挂系统盘

     大磁盘空间的硬盘与小磁盘空间的硬盘混合挂载

       可能是处于历史原因，部分客户的系统上出现了大小盘混合挂载的情况，比如说10块磁盘，有的是300G，有的是8T的磁盘，他们混搭在一起，但是目前的hadoop对这样的盘支持的并不友好，会出现300G的硬盘已经满了，8T的硬盘还没使用到原先的十分之一的情况，针对这种情况，延云建议数据盘尽量大小一样，别出现有的盘很大，有的盘很小的情况。那种300G的磁盘还是留作操作系统盘为好。