spring boot 集成spark操作hive

在Spring Boot中集成Spark操作Hive，可以使用以下步骤：

1. 确认系统中已经安装了Hadoop和Spark，并且配置好了环境变量。

2. 在pom.xml文件中添加以下依赖：

    org.apache.spark
    spark-core_2.11
    2.4.5


    org.apache.spark
    spark-sql_2.11
    2.4.5


    org.apache.spark
    spark-hive_2.11
    2.4.5

1. 配置Spark和Hive连接信息：

@Configuration
public class SparkHiveConfig {

    @Value("${hive.metastore.uris}")
    private String hiveMetastoreUris;

    @Bean
    public SparkSession sparkSession() {
        return SparkSession.builder()
                .appName("Spark Hive Example")
                .config("hive.metastore.uris", hiveMetastoreUris)
                .enableHiveSupport()
                .getOrCreate();
    }
}

上面的配置中，hive.metastore.uris是Hive的元数据存储地址。

1. 编写代码进行Hive操作。例如，查询Hive表数据：

@Autowired
private SparkSession sparkSession;

public void queryHiveTable() {
    Dataset result = sparkSession.sql("SELECT * FROM my_table");
    result.show();
}

其中，my_table是Hive中已经创建的表。

1. 运行Spring Boot工程，通过浏览器或其他方式访问查询操作的接口。