hive优化

1、set hive.auto.convert.join=true


设置此参数可以在最大表通过mapper的时候将小表完全放入内存中,从而省略掉常规reduce过程,有时可以减少map过程步骤,启动时执行优化放入 $HOME/.hiverc文件中

用户可以配置小表大小(字节)

hive.mapjoin.smalltable.filesize=25000000


hive对于右外连接和全外链接不支持这个优化


2、set mapred.reduce.tasks=300 

限制reduce个数为300,等于-1取消限制,限制reduce的个数可以减少内存的使用,防止内存溢出

你可能感兴趣的:(hive优化)