Hive调用Python脚本异常

阅读更多

我使用的是Hive 0.10和Hadoop 1.1.1。

在家里的环境是Hive 0.9和Hadoop 1.0.4.

 

Hive可以使用Python脚本大大地提高数据处理的开发效率，使用MapReduce的方式将数据处理成想要的结果。

 

我们使用ADD FILE 为Hive增加一个脚本，或者Jar包。

有两种方式：

ADD FILE {env:HOME}/your_file/your_script.py

ADD FILE /home/your_name/your_file/your_script.py

 

在调用的时候，过去的版本可以使用：

FROM u_data
SELECT
  TRANSFORM (userid, movieid, rating)
  USING 'python /home/dacoolbaby/test_data_mapper3.py'
  AS str
;

 

但是在Hive 0.10貌似不支持这样弄。

FROM u_data
SELECT
  TRANSFORM (userid, movieid, rating)
  USING 'python test_data_mapper3.py'
  AS str
;

 

后面的是脚本的名称，而不是整个的路径名。

以后在Hive下面使用Hadoop Distributed Cache要注意这个问题。