生产环境_sql获spark将课程与对应的选课人员以逗号分隔的形式存储

需求

将课程和人员列进行分组，然后将人员列聚合为逗号分隔的字符串。

数据

course | person
Math  | Alice  
Math  | Bob 
Math  | Charlie|
Science| David  
Science| Emily  
Science| Frank  

sql代码：

SELECT   
    课程,  
    GROUP_CONCAT(人员 ORDER BY 人员 SEPARATOR ',') AS 课程所有人员  
FROM   
    表  
GROUP BY   
    课程;

spark代码

import org.apache.spark.sql.SparkSession  
import org.apache.spark.sql.functions._  
  
val spark = SparkSession.builder()  
    .appName("CourseMembers")  
    .master("local[*]")  // 在本地运行，使用所有可用核  
    .getOrCreate()  
  
// 数据存在一个叫做 "courses" 的 DataFrame 中  
val courses = spark.read.format("csv").option("header", "true").load("path_to_your_data.csv")  
  
// 使用 groupBy 和 agg 函数来根据课程名聚合，并使用 collect_list 函数将人员列聚合为逗号分隔的字符串  
val courseMembers = courses.groupBy("course").agg(concat_ws(",", "person").alias("course_members"))  
  
// 结果  
courseMembers.show()

结果

Math  | Alice,Bob,Charlie  
Science| David,Emily,Frank