distcp增量迁移测试

由于官网关于distcp的描述不是很清楚

-diff

用于对比两个快照的差异。关于其描述比较少，感觉不会用到，没有进行测试

-update

这边测试一下update这个命令的同步机制

 

在excel 文件里添加一张图片，测试同步命令。如果同步成功。证明是直接覆盖改文件 而不是增量。

 

 

首先同步一次。保证2个文件一致

修改源文件，添加一张图片，替换源文件文件。尝试文件同步是否成功

 

同步完成之后  文件的创建时间已经变更

打开文件看到文件已经被更新

 

 

测试文件是否

 

 

 

 

 

 

update  不更新权限变更755  和700 不做区分

文件内容一致 不会同步。

大小一致内容不一致 也会同步。

测试修改字体颜色 也会同步复制

 

最终决定用这条命令 去做同步工作。只会全量同步 有差异的文件。删除路径中源上没有， 但是目标机上存在的文件。

hadoop distcp  -update -append -delete -prbug   hdfs://ip:8020/test0327 hdfs://ip:8020/test0327