hive 运行

运行

hive使用的是hadoop的配置文件(环境变量),当发现Hadoop是集群模式时,也转换为集群模式,例如hive.metastore.warehouse.dir中指定的路径就是hdfs中的路径

默认使用的是mapred执行引擎 使用的mapred集群可以通过mapred.job.tracker指定的主机来执行

本地模式,在处理小数量级别时会更快,通过:

set mapreduce.framework.name=local;

此时还要注意mapred.local.dir是工作目录,默认为/tmp/username另可以启动:

set hive.exec.mode.local.auto=True;

根据

hive.exec.mode.local.auto.inputbytes.max(128MB)
hive.exec.model.local.auto.tasks.max(4) reduce_tasks(0 or 1)

满足条件的会自动在本地模式下运行。

可以通过hive.mapred.local.mem来控制子进程使用的内存容量,默认是0,是由YARN来决定内存限制。

你可能感兴趣的:(hive 运行)