shell获取hive查询数据结果_利用shell脚本设置hive查询语句中的变量

在shell脚本中设置的变量，可以通过hive -e直接使用，例如：

#!/bin/bash

tablename="student" #等号左右不能有空格

varsubject="Math"

hive -e "SELECT *

FROM ${tablename}

WHERE subjects = ${varsubject};"

方法总结为：

在shell脚本中添加变量

使用hive -e模式，在查询语句字符串中插入变量 ${变量名}

shell脚本执行时就会把 ${变量名} 部分替换，执行所需的hive查询语句。需要注意的是，在shell脚本中不能混用hive定义变量的方式，例如下面的脚本是不能运行的：

#!/bin/bash

tablename="student"

hive -hiveconf varsubject="Math" \

-e "

SELECT *

FROM ${tablename}

WHERE subjects = ${hiveconf:varsubject};"

这是因为该脚本是在shell环境中运行的，会把${hiveconf:varsubject}当作shell脚本变量去解析。但是并没有在shell脚本中定义这个变量，所以会以空字符串放在这个位置。

可以把查询语句写成sql脚本，然后在shell中用hive -f调用，例如：

#!/bin/bash

hive -hiveconf tablename="student" \

-hiveconf varsubject="Math" \

-f hivequery.sql

其中被调用的hivequery.sql内容为：

SELECT *

FROM '${hiveconf:tablename}'

WHERE subjects = '${hiveconf:varsubject}';

hiveconf是设置hive配置属性的，关于直接使用hive -hiveconf模式我还总结了另一篇文章，此外还可以通过python修改查询语句达到同样的目的：

在hive查询中使用变量

利用Python替换Hive查询语句中的变量