hive设置reduce的最大值

hive.exec.reducers.max（默认为999） 计算reducer数的公式很简单： N=min(参数2，总输入数据量/参数1) 通常情况下，有必要手动指定reducer个数。考虑到map阶段的输出数据量通常会比输入有大幅减少，因此即使不设定reducer个数，重设参数2还是必要的。依据Hadoop的经验，可以将参数2设定为0.95*(集群中TaskTracker个数)。 正确的reduce任务的 个数应该是 0.95或者1.75 ×（节点数 ×mapred.tasktracker.tasks.maximum参数值）

mapred.tasktracker.map.tasks.maximum 一般跟物理核数有关

如果有8个核，最好有16个线程或者进程，这样，每两个进程竞争一个核，系统CPU利用率最高
然后，每个tasktracker还有一些其他服务线程（Hadoop自带的），需要为这些进程预留1~2个核比较好
所以，如果有8个核，可以有2*8-2=14个task
这14个task，可按照你自己需求分，如：8个map?slot，6个reduce?slot
实际上，只考虑核是不行的，还需要考虑内存，磁盘等
如果你有8个核，但只有1G内存，如果跑16个task，则每个task只有64MB内存，你的task能跑起来吗？