Oracle 迁移 Hive 过程中遇到的问题总结

前言

最近一个小伙伴在做从 Oracle 到 Hive 的业务迁移工作，在迁移过程中属实遇到了一些坑，今天就来汇总一下这些坑，避免以后大家其他业务迁移的时候再出现类似的问题，即使出现了也可以拿过来进行对照解决。

问题1：Distinct window functions are not supported: count(distinct position_id#92) windowspecdefinition

从上面图片中的报错日志信息来看，是说窗口函数是不支持 count distinct 的。很显然在 Oracle 中支持的写法，但是在 Spark SQL 是不支持的。

解决方案

• 方案1：使用 approx_count_distinct，但是它是概率统计，非精确统计
• 方案2：collect_set 与 size 结合使用

之前的 sql ：

count