spark--DataFrame处理udf操作和一些聚合操作

在spark中对数据进行处理udf函数还是很多的下面介绍在df下udf操作实例

  val sqlContext = new SQLContext(sc)

  import sqlContext.implicits._

调用sqlcontext里面的udf函数

  sqlContext.udf.register("str",(_:String).length)
  sqlContext.sql("select str('test')")

这个就是对test这个String计算它的长度

下面代码是先自己构建一个DF

在里面取出大于98的列值

  sqlContext.udf.register("rd",(n:Int)=>{n>98})
  case class TestData(key:Int,Value:String)
  val df4=sqlContext.sparkContext.parallelize(1 to 100).map(i=>TestData(i,i.toString)).toDF()
  df4.registerTempTable("integerData")

sql里面where操作调用UDF

  val result=sqlContext.sql("select * from integerData  where rd(key)")

sql里面group操作  对列值大于10的进行sum操作

  sqlContext.udf.register("groupFunction", (n: Int) => { n > 10 })

  val df = Seq(("red", 1), ("red", 2), ("blue", 10),
    ("green", 100), ("green", 200)).toDF("g", "v")
  df.registerTempTable("groupData")

  val result =
    sqlContext.sql(
      """
        | SELECT SUM(v)
        | FROM groupData
        | GROUP BY groupFunction(v)
      """.stripMargin)
 
  
 
  
 
  
 
  

 下面介绍一下聚合操作 
  
创建一个DF
 
  
 
  
 val testData2: DataFrame = {
    val df = sqlContext.sparkContext.parallelize(
      TestData2(1, 1) ::
        TestData2(1, 2) ::
        TestData2(2, 1) ::
        TestData2(2, 2) ::
        TestData2(3, 1) ::
        TestData2(3, 2) :: Nil, 2).toDF()
    df.registerTempTable("testData2")
    df
  }
 
  
//统计
  testData2.groupBy("a").agg(sum($"b"))
  testData2.groupBy("a").agg(count("*"))
 
  
 
  
 
  
 
  
 
  

 
  
  testData2.groupBy("a").agg(avg($"a"))
  testData2.groupBy("a").agg(avg($"a"),sumDistinct('a))
 
  
 
  
 其实还有UDAF操作以后补上