Spark SQL/Hive 同一列的多行记录合并为一行

可以写UDAF，但导jar包啥的挺麻烦的，我找了个简单方法，两个函数搞定。

需求是这样的，统计出同一用户在同一地点会去哪些商店，商店以':'隔开。

（第一列用户id，第二列商店id，第三列地区id，第四列日期）

spark-sql> select * from test;
1027765	4822	172	20151028
1027765	4822	172	20151026
881482	4822	172	20151129
1027765	4822	172	20151007
1027765	4822	172	20151011
1027765	4822	172	20151010
1027765	4822	172	20151023
1027765	4822	172	20151022
1027765	820	172	20151030
1027765	820	172	20151023
1027765	820	172	20151114
1027765	820	172	20151127
881482	6709	172	20151121
881482	7830	172	20151121
881482	43	172	20151027
Time taken: 0.259 seconds, Fetched 15 row(s)

太简单了

spark-sql> select uid, lid, concat_ws(':',collect_set(mid)) as mids from test group by uid,lid;
881482  172     4822:6709:7830:43                                               
1027765	172	4822:820
Time taken: 1.933 seconds, Fetched 2 row(s)

但要注意collect_set(mid)中的mid字段类型必须是string类型，不是的话改一下就可以了。

alter table test change mid mid string;

将mid字段的字段名改为mid，字段类型改为string类型。

参考博客：http://blog.csdn.net/yfkiss/article/details/7859477