hive解析json

一.字段为字符串（只有一个json）

例如json为：{"id": 1701439105,"ids": [2154137571,3889177061,1496915057,……,1663973284],"total_number": 493}

select get_json_object(t.json,'$.id'), get_json_object(t.json,'$.total_number')  取出对应key的值

json_tuple可以一次性解析多个字段，而get_json_object一次只能解析一个字段。

二.字段直接为数组  ----需要解析json

使用explode函数将一行变多行，在处理

select col, get_json_object(col,'$.id')  as id
from  pp  --表
lateral view explode(pp.str) ss as col   --将字段处理成新的字段

三.字段为字符串 ---字符串里是json数组，需要解析json

过程：因为原数据是string（并不是真正的数组类型）类型的，所以无法直接使用explode函数。
1.regexp_extract('xxx','^\\[(.+)\\]$',1) 这里是把需要解析的json数组去除左右中括号，需要注意的是这里的中括号需要两个转义字符\\[。
2.regexp_replace('xxx','\\}\\,\\{', '\\}\\|\\|\\{') 把json数组的逗号分隔符变成两根竖线||，可以自定义分隔符只要不在json数组项出现就可以。
3.使用split函数返回的数组，分隔符为上面定义好的。
4.lateral view explode处理3中返回的数组。

例如：