将hdfs数据写入hive

下面来唠唠怎么将hdfs里的数据写入到hive里。

要将数据写入hive里,那么hive里得有存放数据表得位置,因此,

第一步,是在hive里创建新的表来存储来自hdfs的数据,这里有两个注意:1、新建的表应该跟hdfs里面数据表一致,指定列名;2、创建表格式应一致,具体就是指row format delimited fields terminated by ','里by后面应与hdfs数据保持一致。创建表代码如下:

hive -e" CREATE TABLE IF NOT EXISTS table (user_id STRING,brand_id STRING,score STRING) row format delimited fields terminated by ',' "

第二步,将hdfs数据写入准备好的hive表里。要写数据首先得知道数据存放的路径,记下数据存放路径 ,使用 hive -e " load data inpath '文件路径' into table 对应库表名"将数据写入hive。

好啦,成功啦。

你可能感兴趣的:(pyspark)