mapreduce按行划分MAP,即实现输入文件按行划分,每N行一个MAP

按行划分MAP,即实现输入文件按行划分,每N行一个MAP
//设置JOB的格式化输入类为NLineInputFormat
job.setInputFormatClass(NLineInputFormat.class)
//设置每N行为一个MAP,当然,这个数据最好使用计算的方法去得出,因为不然输入一个大文件会导致MAP很大,会导致占用整个集群资源,如限制最多只能占用N个MAP,当计算出来的MAP大于最大能占用MAP时,以最大可占用MAP数平分其行数

job.getConfiguration().set(NLineInputFormat.LINES_PER_MAP,"500");


你可能感兴趣的:(每N行一个MAP,即实现输入文件按行划分)