Hadoop之RandomTextWriter说明

需求：

需要mock一批数据，基于数据做测试或者分析，RandomTextWriter可以满足需求，不过MRv1和MRv2的参数不是很一致。

详述：

MRv1：

<config>  
    <property>
      <name>test.randomtextwrite.min_words_key</name>
      <value>5</value>
    </property>
    <property>
      <name>test.randomtextwrite.max_words_key</name>
      <value>10</value>
    </property>
    <property>
      <name>test.randomtextwrite.min_words_value</name>
      <value>20</value>
    </property>
    <property>
      <name>test.randomtextwrite.max_words_value</name>
      <value>100</value>
    </property>
    <property>
      <name>test.randomtextwrite.total_bytes</name>
      <value>1099511627776</value>
    </property>
</config>

 在执行的时候要通过-D传入，还有一些其他的参数：

test.randomtextwrite.maps_per_host
test.randomtextwrite.bytes_per_map

MRv2：

<config>  
    <property>
      <name>mapreduce.randomtextwriter.minwordskey</name>
      <value>5</value>
    </property>
    <property>
      <name>mapreduce.randomtextwriter.maxwordskey</name>
      <value>10</value>
    </property>
    <property>
      <name>mapreduce.randomtextwriter.minwordsvalue</name>
      <value>20</value>
    </property>
    <property>
      <name>mapreduce.randomtextwriter.maxwordsvalue</name>
      <value>100</value>
    </property>
    <property>
      <name>mapreduce.randomtextwriter.totalbytes</name>
      <value>1099511627776</value>
    </property>
</config>

 在执行的时候要通过-D传入，还有一些其他的参数：

mapreduce.randomtextwriter.bytespermap
mapreduce.randomtextwriter.mapsperhost