hive中lzo文件map不分块问题

1,确保创建索引

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar  com.hadoop.compression.lzo.DistributedLzoIndexer /user/hive/warehouse/flog

 2,创建hive表时需要在后面指定format格式

SET FILEFORMAT  

INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"   

OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";

或者alter table现有表。

3,alter table后对已经load进表中的数据,需要重新load和创建索引,要不还是不能分块

你可能感兴趣的:(hadoop,table)