hadoop fs -put 做增量上传

最近遇到一个case,对按照每个小时对数据从A地区的s3数据区搬运到B地区的集群上,整个流程如下:

A地区Amazon S3数据区->B地区Amazon S3数据区->B地区服务器缓存区->B地区HDFS集群。

由于A地区的公网连接不稳定,所以先同步到B地区的Amazon S3数据区在上传到HDFS中。
将B地区服务器缓存区的数据全部hadoop fs -put就可以了,当文件路径和文件名完全相同的时候,不会进行覆盖,而文件路径和文件名不相同的时候才会上传。

当然,如果要强制覆盖也是可以的, 使用如下命令就可以了
hadoop fs -put -f 本地文件 hdfs文件

你可能感兴趣的:(hadoop,大数据)