Hive——巧用transform处理复杂的字符串问题

相比于Map-Reduce，Hive对数据的处理相对简单，但是Hive本身提供的函数，对于处理复杂的字符串问题，就显得不是很方便，此时，可以借助transform，引入外界的Python程序对字符串进行处理。

transform

transform的基本用法为：

transform中的值作为输入， 然后传递给python脚本，最后经过python的处理后，输出想要得到的字符串格式。

transform的基本语法为：

select transform(intput columns) using 'python *.py' as (output columns)

注意：在利用本地的python处理时，首先需要add file *.py;

实例

假设目前我们有如下的一些数据：

需要取出以分号“；”分隔的倒数第二位。实际的代码如下：

• Hive的代码：

function create_table(){
    sql_create_table_1="drop table if exists ${table_name_deal};
    create table if not exists ${table_name_deal}( deal string ) row format delimited fields terminated by '\t' lines terminated by '\n' stored as rcfile location '${table_path}/${table_name_deal}';"
    hive -e"${sql_create_table_1}"

}

function data_deal(){
    deal_sql="add file deal.py;
    insert overwrite table ${table_name_deal} select a.deal from (select transform(match_id) using 'python deal.py' as (deal) from ${table_name_sel} ) a;"

    hive -e"${deal_sql}"
}

• python脚本

#!/usr/bin/python
#coding:UTF-8

import sys

for line in sys.stdin:
    lines = line.strip().split(";")
    if len(lines) < 10:
        continue

    deal = lines[-2]
    print deal