Hadoop DistCp工具简介及其参数

1 概述

  DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。官网地址：http://hadoop.apache.org/docs/r2.7.0/hadoop-distcp/DistCp.html

2 适合的场景及其有点

  适合场景：数据异地灾；机房下线，数据迁移等。
  优点：①可以限制带宽，使用bandwidth参数对distcp的每个map任务限流，同时控制map并发数量即可控制整个拷贝任务的带宽，防止拷贝任务将带宽打满，影响其它业务。
  ②支持overwrite（覆盖写，无条件覆盖目标文件，即使它们存在），update（增量写，如果dest文件的名称和大小与src文件不同，则覆盖；若目的文件大小和名称与源文件相同则跳过），delete（删除写，删除dst中存在的文件，但在src中不存在）等多种源和目的校验的拷贝方式，大量数据的拷贝必然要做到数据拷贝过程中的校验，来保证源和目的数据的一致性。

2 参数说明

  此参数为Hadoop2.x版本

# hadoop distcp
usage: distcp OPTIONS [source_path...] 
              OPTIONS
 -append                       重用目标文件中的现有数据，并在可能的情况下添加新数据，新增进去而不是覆盖它
 -async                        是否应该阻塞distcp执行
 -atomic                       提交所有更改或不提交更改
 -bandwidth               以MB/second为单位指定每个map的带宽
 -delete                       删除目标文件中存在的文件，但在源文件中不存在，走HDFS垃圾回收站
 -diff                    使用snapshot diff报告来标识源和目标之间的差异
 -f                       需要复制的文件列表
 -filelimit               （已弃用！）限制复制到<= n的文件数
 -filters                 从复制的文件列表中排除
 -i                            忽略复制过程中的失败
 -log                     HDFS上的distcp执行日志文件夹保存
 -m                       限制同步启动的map数，默认每个文件对应一个map，每台机器最多启动20个map
 -mapredSslConf           配置ssl配置文件，用于hftps：//
 -numListstatusThreads    用于构建文件清单的线程数(最多40个)，当文件目录结构复杂时应该适当增大该值
 -overwrite                    选择无条件覆盖目标文件，即使它们存在。
 -p                       保留源文件状态（rbugpcaxt）（复制，块大小，用户，组，权限，校验和类型，ACL，XATTR，时间戳）
 -sizelimit               （已弃用！）限制复制到<= n的文件数字节
 -skipcrccheck                 是否跳过源和目标路径之间的CRC检查。
 -strategy                选择复制策略，默认值uniformsize，每个map复制的文件总大小均衡；可以设置为dynamic，使更快的map复制更多的文件，以提高性能
 -tmp                     要用于原子的中间工作路径承诺
 -update                       如果目标文件的名称和大小与源文件不同，则覆盖；如果目标文件大小和名称与源文件相同则跳过

注意：如果设置了-overwrite或-update，则每个源URI和目标URI保持同级一致，如

hadoop distcp -i  -p hdfs://192.168.40.100:8020/user/hive/warehouse/iot.db/dwd_pollution_distcp hdfs://192.168.40.200:8020/user/hive/warehouse/iot.db/
hadoop distcp -i -update -delete -p hdfs://192.168.40.100:8020/user/hive/warehouse/iot.db/dwd_pollution_distcp hdfs://192.168.40.200:8020/user/hive/warehouse/iot.db/dwd_pollution_distcp