沈阳企业网站建站乐山建网站

一、目的

在HiveSQL的DWD层中，需要对原始数据进行去重在内的清洗，结果一开始其他数据类型的清洗工作都正常，直到碰到转向比数据。

一般的SQL查询有数据，但是加上group by以后就没数据；

一般的SQL查询有数据，但是insert写入表中，表中数据为空

二、报错详情

（一）一般的SQL查询有数据（不加group by）

（二）加上group by以后就没数据

（三）insert写入表中，表中数据为空

三、报错原因

经过两天时间的研究，一开始以为是解析json数据的SQL语句有问题，后来又以为是DataGrip工具的参数设置有问题。搞到最后才发现原来是Hadoop数据量太多，导致Hive计算资源有问题

四、解决措施

由于我刚进开发阶段，没几张表，就直接重装Hive，重新建库建表

五、重装Hive后验证

DWD层转向比数据的SQL语句可以写入表中！

开发的路上总是会时不时的碰到一些稀奇古怪的问题，这些虽然带来了烦恼，但更是开发过程中惊喜！继续加油💪