比较impala,SparkSql,Hive以及交互式查询,OLAP概念

Hive:


        适用场景:

  • 周期性转换大量数据,例如:每天晚上导入OLTP数据并转换为星型模式;每小时批量转换数据等。
  • 整合遗留的数据格式,例如:将CSV数据转换为Avro;将一个用户自定义的内部格式转换为Parquet等。

        不适用场景:

  • 商业智能,例如:与Tableau结合进行数据探查;与Micro Strategy一个出报表等。
  • 交互式查询,例如:OLTP查询。

Spark SQL:

        适用场景:

  • 从Hive数据仓库中抽取部分数据,使用Spark进行分析。

        不适用场景:

  • 商业智能和交互式查询。

Impala:
        适用场景:

  • 秒级的响应时间
  • OLAP
  • 交互式查询

        不适用场景:

  • ETL
  • UDAF

 

交互式查询:在商业智能领域少量更新和大量扫描分析场景,对比于批量查询

你可能感兴趣的:(技术比较)