给mrjob的python脚本加map reduce 个数限制 和 hadoop任务调度优先级

如:

python ${ReportDailyPyFile}  ${pystr}  --jobconf mapreduce.job.priority=VERY_HIGH  --jobconf mapred.map.tasks=20 --jobconf mapred.reduce.tasks=5 >> ${sequencelog} 2>&1


hadoop任务调度优先级:--jobconf mapreduce.job.priority=VERY_HIGH 

map reduce 个数限制  --jobconf mapred.map.tasks=20 --jobconf mapred.reduce.tasks=5

你可能感兴趣的:(python,hadoop)