python json数据创建hive格式数据_hive仓库创建json格式表
在现有的数据资产管理系统中，系统支持text、orc等格式的表，其中text格式的表列可以由多种分割符进行分割，由于需要，仓库中需要存储json相关的数据，因此，系统需要支持json格式表创建，遇到的问题总结如下：
实现
首先就是引入JsonSerDe包的问题。
首先，系统自带的有相关的jar包。
另外，也有第三方开源的jar包。第三方
第三方做了相关的优化，下面有有介绍。
###hive官方文档
hive官方文档有相关json serde介绍
Stored as plain text file inJSON format.
The JsonSerDe forJSON files is available inHive 0.12 and later.
In some distributions, a reference to hive-hcatalog-core.jar is required.
ADD JAR /usr/lib/hive-hcatalog/lib/hive-hcatalog-core.jar;
CREATE TABLE my_table(a string, b bigint, ...)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS TEXTFILE;
The JsonSerDe was moved to Hive from HCatalog and before it was inhive-contrib project. It was added to the Hive distribution by HIVE-4895.
An Amazon SerDe is available at s3://elasticmapreduce/samples/hive-ads/libs/jsonserde.jar forreleases prior to 0.12.0.
The JsonSerDe forJSON files is available inHive 0.12 and later.
Starting inHive 3.0.0, JsonSerDe is added to Hive Serde as "org.apache.hadoop.hive.serde2.JsonSerDe" (HIVE-19211).
CREATE TABLE my_table(a string, b bigint, ...)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
STORED AS TEXTFILE;
Or STORED AS JSONFILE is supported starting inHive 4.0.0 (HIVE-19899), so you can create table as follows:
CREATE TABLE my_table(a string, b bigint, ...) STORED AS JSONFILE;
创建
在hive客户端执行以下
create EXTERNAL table employees_json1 (firstName string, lastname string, employeenumber int )
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
;
可能会遇到以下问题：
1、创建时Error:”java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found”
原因是缺少相关的包。
导入json数据到 test_data.json文件中
{ "firstName" : "asMike", "lastName" : "asdfpesky", "employeeNumber" : 40192 }
{ "firstName" : "asMike", "lastName" : "asdfesky", "employeeNumber" : 123192 }
{ "firstName" : "Mikasde", "lastName" : "Chepesky", "employeeNumber" : 192 }
然后上传数据到hdfs上
hadoop fs -put -f test_data.json /user/datacenter/test_data.json
插入数据到表中
load data inpath '/user/datacenter/test_data.json' overwrite into table employees_json1;
查询数据
select * from employees_json1
hive> select * from employees_json1;
OK
asMikeasdfpesky40192
asMikeasdfesky123192
MikasdeChepesky192
如果需要用到映射关系可以使用第三方开源jar，上面有所提及。
如：json文件中使用的是firstName，表里面的字段名称是name，则可以通过以下方式：
create EXTERNAL table employees_json2 (name string, lastname string, employeenumber int )
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
"mapping.name"="firstName"
);
同样，查询出来的结果是：
hive> select * from employees_json1;
OK
asMikeasdfpesky40192
asMikeasdfesky123192
MikasdeChepesky192
第三方的jar需要导入，有关导入jar遇到的坑，下次再写。