Spark SQL中coalesce()函数

在Spark SQL中，`coalesce()`函数用于从给定列中选择非空值。它接受一个或多个列作为参数，并返回第一个非空值。在数据清洗和预处理过程中，

`coalesce()`函数非常有用，特别是在处理缺失值或空值时。

以下是使用`coalesce()`函数进行指定列填充数据的示例：

假设我们有一个名为`employees`的DataFrame，其中包含以下列：`name`, `age`, `address`和`salary`。某些行中的`age`列可能包含空值（`null`）。

val employees = spark.createDataFrame(Seq(
  ("John", 30, "New York", 5000),
  ("Mary", null, "London", 6000),
  ("Bob", 40, "Paris", 7000),
  ("Alice", null, "Tokyo", 8000)
)).toDF("name", "age", "address", "salary")

我们可以使用`coalesce()`函数来填充`age`列中的空值。在这个例子中，我们将使用`coalesce(age, 0)`来将空值替换为0。

val filledEmployees = employees.withColumn("age", coalesce($"age", lit(0)))
filledEmployees.show()

输出结果：

```diff
+------+------+---------+------+
|  name|   age|    address|salary|
+------+------+---------+------+
|  John|   30| New York|   5000|
|  Mary|null |     London|   6000|
|   Bob|   40|    Paris    |   7000|
|Alice|null   |    Tokyo   |   8000|
+------+------+---------+------+
```
在填充后的DataFrame中，空值被替换为0。请注意，`coalesce()`函数可以接受多个参数，因此您可以使用它来从多个列中选择非空值。