Hadoop之RandomTextWriter使用

作用:

RandomTextWriter是为了mock数据集的,做压测等,MRv1和MRv2的参数值不一样,不过其参数标示含义一样,我们以MRv2来做说明:

产生100G的数据:

bin/hadoop jar  share/hadoop/mapreduce2/hadoop-mapreduce-examples-xx.jar randomtextwriter -Dmapreduce.randomtextwriter.totalbytes=10995116277760 /home/test/mrinput 

 

你可能感兴趣的:(hadoop)