大数据框架——hive：设置日志文件存储位置；设置reduce task数量

hive中设置日志存储目录

修改配置文件名称：具体位置为hive目录下的conf目录中

mv hive-log4j.properties.template hive-log4j.properties

修改配置

Hive中设置reduce Task数量

思考：某个MapReduce程序，到底有多少个Map Task和reduceTask

mapTask：

要处理的数据放在HDFS上，有多少个Block就有几个Maptask，一个block被一个MapTask处理。

reduceTask:

自己编写MapReduce程序，自己设定

hive：下面3个参数决定

设置每个reduceTask处理的数据量

In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=
最大256M

限制一个MapReduce程序，Reduce Task最大数量

In order to limit the maximum number of reducers:

set hive.exec.reducers.max=

默认值：1009

表示reduce的个数

In order to set a constant number of reducers:

set mapreduce.job.reduces=

默认：-1