通过hadoop distcp进行集群间数据迁移

问题描述

我所在的部门是BI，平时业务计算有两个Hadoop集群A和B。其中一个集群A因为大部分业务线计算都在上面，最近开始经常出问题，并且计算变慢。为了进行热备，决定把A集群的计算迁到B上一份，新抽取的数据可以在A和B上各自独立运行，但是历史数据没必要从头从MySQL中再抽一遍，即使可以这么做，也很耗费时间。所以最快的方式是把A的数据copy到B上一份。

解决方案

• Hadoop自带的集群间copy工具distcp

distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。

• 格式

指定源hdfs和目的hdfs路径即可。

hadoop distcp hdfs://namenode01/user/hive/test.txt  hdfs://namenode02/user/hive/test.txt

• 参数

命令行输入

hadoop distcp

即得到如下参数的使用说明

usage: distcp OPTIONS [source_path...] 
              OPTIONS
 -append                Reuse existing data in target files and append new
                        data to them if possible
 -async                 Should distcp execution be blocking
 -atomic                Commit all changes or none
 -bandwidth        Specify bandwidth per map in MB
 -delete                Delete from target, files missing in source
 -f                List of files that need to be copied
 -filelimit        (Deprecated!) Limit number of files copied to <= n
 -i                     Ignore failures during copy
 -log              Folder on DFS where distcp execution logs are
                        saved
 -m                Max number of concurrent maps to use for copy
 -mapredSslConf    Configuration for ssl config file, to use with
                        hftps://
 -overwrite             Choose to overwrite target files unconditionally,
                        even if they exist.
 -p                preserve status (rbugpcax)(replication,
                        block-size, user, group, permission,
                        checksum-type, ACL, XATTR).  If -p is specified
                        with no , then preserves replication, block
                        size, user, group, permission and checksum
                        type.raw.* xattrs are preserved when both the
                        source and destination paths are in the
                        /.reserved/raw hierarchy (HDFS only). raw.*
                        xattrpreservation is independent of the -p flag.
                        Refer to the DistCp documentation for more
                        details.
 -sizelimit        (Deprecated!) Limit number of files copied to <= n
                        bytes
 -skipcrccheck          Whether to skip CRC checks between source and
                        target paths.
 -strategy         Copy strategy to use. Default is dividing work
                        based on file sizes
 -tmp              Intermediate work path to be used for atomic
                        commit
 -update                Update target, copying only missingfiles or
                        directories

应用实例

• 其他准备

对于在原始集群中已经建hive表的数据，通过以下命令拿到建表语句，然后在目标集群上执行

show create table xxx

• 脚本实例

脚本在目的集群client端机器执行，目标hdfs路径简写，具体copy.sh脚本内容如下:

#!/usr/bin/sh
if [ $# -eq 0 ];then
        DT=`date -d "-1 day" +"%Y-%m-%d"`
else
        DT=`date -d"$1" +"%Y-%m-%d"`
fi
mysqlTable=$2;
table_name=function_$mysqlTable;

#按天增量拷贝，防止中间出错，并且方便按天进行数据验证
src_path=hdfs://namenode01/user/hive/warehouse/$table_name/dt=$DT
dest_path=/user/hive/warehouse/$table_name/dt=$DT

hadoop distcp  -D mapred.job.queue.name=compute_daily  $src_path $dest_path

#给目标集群表加分区
hive -e"
use mbd;
alter table $table_name add partition(dt='$DT');
"

• 脚本调用

sh copy.sh 2017-08-18 pay

• 数据验证

脚本执行之后，还要进行数据验证，对于同样的sql，按天查看不同字段的去重计数，分别在两个集群上执行，即可充分验证，目标集群copy数据的准确性。