2.Spark之简介SQL

Spark SQL是Spark用来处理结构化数据的模块。下面介绍Spark SQL的几个特点。

• 集成：允许在Spark程序中无缝混入SQL或者类DataFrame API，来查询结构化的数据。
  

  

• 统一数据访问：使用相同的方式来连接多种数据源，包括Hive、Avro、Parquet、ORC、JSON和JDBC，甚至还可以跨数据源合并数据。

  

• 兼容Hive：在现有数据的基础上运行Hive查询。Spark SQL使用Hive的前端和元数据，完整的兼容了Hive数据、查询和UDFs。安装也很简单。
  

  

• 标准连接：支持标准的JDBC和ODBC连接。服务模式为商业智能工具提供了标准的JDBC和ODBC连接。