Hadoop集群中添加硬盘
Hadoop工作节点扩展硬盘空间
接到老板任务，Hadoop集群中硬盘空间不够用，要求加一台机器到Hadoop集群，并且每台机器在原有基础上加一块2T硬盘，老板给力啊，哈哈。
这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下，分享给大家。
1. 首先，介绍一下用到的基本命令和配置，如果本文的网友时间比较紧，可以直接跳过部分内容，直接看“2. 如何加载新硬盘”部分。
（1）命令fdisk
语法：
fdisk [-b sectorsize] device
fdisk -l [-u] [device...]
fdisk -s partition...
fdisk –v
说明：
-b
-l 列出指定的外围设备的分区表状况。如果仅执行 fdisk -l，系统会列出已知的分区。
-u 搭配"-l"参数列表，会用分区数目取代柱面数目，来表示每个分区的起始地址。
-s
-v 显示fdisk的版本信息。
（2）命令mkfs
语法：mkfs [-V][-t fstype] [fs-options] filesys
说明：
-V 显示简要的使用方法。
-t
fs 指定建立文件系统时的参数。
-v 显示版本信息与详细的使用方法。
（3）命令mount
语法：
mount [-afFnrsvw] [-t vfstype] [-Llabel] [-o options] device dir
mount [-lhv]
说明：
-a 加载文件/etc/fstab中设置的所有设备。
-f 不实际加载设备。可与-v等参数同时使用以查看mount的执行过程。
-F 需与-a参数同时使用。所有在/etc/fstab中设置的设备会被同时加载，可加快执行速度。
-t vfstype 指定加载的文件系统类型，如：ext3,ext4。
-L label 给挂载点指定一个标签名称。
-l 显示分区的label。
-h 显示帮助信息。
-v 显示mount的版本信息。
device 要挂载的分区或文件。如果device是一个文件，挂载时须加上-o loop参数。
dir 分区的挂载点。
（4）fstab配置说明
/etc/fstab 中一共有６列：
file system：指定要挂载的文件系统的设备名称（如：/dev/sdb）。也可以采用UUID，UUID可以通过使用blkid命令来查看（如：blkid /dev/sdb）指定设备的UUID号。
mount point：挂载点。就是自己手动创建一个目录，然后把分区挂载到这个目录下。
type：用来指定文件系统的类型。如：ext3, ext4, ntfs等。
option dump：０表示不备份；１表示要将整个
pass：用来指定fsck如何来检查硬盘。０表示不检查；挂载点为分区／（根分区）必须设置为１，其他的挂载点不能设置为１；如果有挂载ass设置成大于1的值，则在检查完根分区后，然后按pass的值从小到大依次检查，相同数值的同时检查。如：/home 和 /boot 的pass 设置成2，/devdata的pass 设置成3，则系统在检查完根分区，接着同时检查/boot和/home，再检查/devdata。
2. 如何加载新硬盘（想详细了解为什么会这样操作，请看第三部分“详解步骤”部分）
（1） 通过命令fdisk –lu，显示“Disk /dev/sdb doesn't contain a valid partition table”说明sdb就是新添加的硬盘，下面主要针对它进行操作。如图1所示。
图1
（2） 下面对sdb进行分区，命令：fdisk/dev/sdb，如下图2所示，按提示操作。
图2
根据提示，输入n，想新硬盘添加一个分区。出现Commandaction时，输入e，指定分区为扩展分区（extended）。出现Partition number(1-4)时，输入１表示只分一个区。
续指定起启柱面（cylinder）号完成分区。如图3所示。
图3
（3） 最后输入p，打印出新硬盘分区表，图4所示。
图4
（4） 在Command (m for help)提示符后面输入w，保存分区表。系统提示：Thepartition table has been altered! 如图5所示。
图5
（5） 此时，用命令fdisk –lu分区情况，如图6所示
图6
（6） 对新分区进行格式化：sudo mkfs -t ext4 /dev/sdb，（推荐ext4，时间比较快，具体了解看第三部分“详细步骤”）如图7所示。
图7
（7） 挂载硬盘sudo mount -t ext4 /dev/sdb /devdata（这里devdata是自己制定的目录，你可以指定任意目录，我加载的目录是dfs.data.dir指定的目录），到此时已经完成了所有步骤，下面就是修补。此时就可以用命令sudo df –h查看了，如图8所示。
图8
（8） 如果想每次手动加载，使用命令mount –a。如果想让系统自动加载，需要配置/etc/fstab，如下图9所示。
图9
到此加载过程完成。
如果是Hadoop集群，此时需要将每个工作节点dfs.data.dir目录重新修改权限，使用命令：chown –R dm:dm/usr/local/hadoop/data/(这是dfs.data.dir指向的目录)，然后将namenode格式化即可，这里笔者就是忘了更改dfs.data.dir指向目录的权限，导致datanode启动不起来，汗啊。
3. 详解步骤
（1）对于2中（1）的名称sdb，其实Linux对设备的命名有它自己的一套规则，根据接口类型来区分存储设备，按存储设备占用的系统接口编号为其分配标识符。对于IDE存储设备（并口设备）标识符为hd，按设备使用接口的不同，分别命名为had，hdb，hdc等；对于SCSI接口，SATA接口设备（串口）和串行总线接口使用sd作为标识，仍按照使用接口编号不同，以sda，sdb等为其命名。
（2）对2中的（2）分区。在使用硬盘存储数据时，还需要对硬盘进行分区，按分区的使用方法可以将硬盘分区分为3种：主分区、扩展分区和逻辑分区。其中主分区是最基本的分区类型，它可以直接挂载并存储数据，一个硬盘最多只能有4个主分区。Linux系统中对这4个主分区使用1、2、3、4作为标识符。例如硬盘sda上的第1个主分区的标识为sda1，同理其他三个标识分别为sda2,sda3, sda4；扩展分区是一种特殊的主分区，如果要使用扩展分区存储数据，必须先将扩展分区划分为逻辑分区（即逻辑分区加你在扩展分区基础之上），如果要在一个硬盘上创建4个以上的分区，就必须使用扩展分区。由于扩展分区也是一种主分区，因此扩展分区也占用一个主分区号；在扩展分区分区基础之上，可以创建多个逻辑分区，逻辑分区可以直接挂载并存储数据。逻辑分区的标识数字从5开始，例如sda5，sda6。Linux系统中的硬盘分区使用以上标识符命名并保存在/dev中，要使用分区存储数据时，需要将对应的块设备文件挂载到一个目录下。挂载设备的过程可以描述成：为用户使用该分区存放和读取数据提供一个接口和途径。这里为什么创建扩展分区，而不是创建主分区，笔者的理由是主分区包含启动的一些附加信息，而这些信息是用来引导系统启动的，这里的磁盘只是为了扩充原有磁盘的容量来存储数据，如果扩展分区直接分成逻辑分区，不需要这些附加信息，从而可以更加充分地利用新硬盘的空间，这个解释不保证正确，如果有误，请智者指正。
（3）2中（6）提到了文件系统ext4，可以参考http://baike.baidu.com/view/266589.htm#7
（4）2中（8）的fstab设置可参考http://baike.baidu.com/view/5499388.htm。
引用网址：http://aofengblog.blog.163.com/blog/static/6317021201101502540117/