spark sql对hive中数据进行处理和存储

首先创建一个scala工程叫做myhctest

因为运行会产生很多日志信息 着你喔导入一个叫log4j的文件进行消除

然后创建以下几个类和特质

 首先SaveTrait

trait SaveTrait {
  def dfSave(indf:DataFrame, ctx:SparkSession, tableName:String):Unit
}
//构建方法 indf是传入的dataframe也就是传入你hive中的表 
//因为spark sql是用的sparkSession中的所以后续要书写一个sparksession类
// tablenname也就是你要重新保存的表名称

 hivesaveimpl

trait HiveSaveImpl extends SaveTrait {
  override def dfSave(indf: DataFrame, ctx:SparkSession, tableName: String): Unit = {
    indf.createOrReplaceTempView("hctest")//创建一个临时视图
    ctx.sql("insert overwrite table "+tableName+" select * from hctest")
  }

}

 mysqlsaveimpl

trait MySqlSaveImpl extends SaveTrait {
  override def dfSave(indf: DataFrame, ctx:SparkSession, tableName:String)= {
    val prop = new Propertie