在HiveSQL的DWD层中,需要对原始数据进行去重在内的清洗,结果一开始其他数据类型的清洗工作都正常,直到碰到转向比数据。
一般的SQL查询有数据,但是加上group by以后就没数据;
一般的SQL查询有数据,但是insert写入表中,表中数据为空
经过两天时间的研究,一开始以为是解析json数据的SQL语句有问题,后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多,导致Hive计算资源有问题
由于我刚进开发阶段,没几张表,就直接重装Hive,重新建库建表
DWD层转向比数据的SQL语句可以写入表中!
开发的路上总是会时不时的碰到一些稀奇古怪的问题,这些虽然带来了烦恼,但更是开发过程中惊喜!继续加油