【车辆轨迹处理】python实现轨迹点的聚类（一）——DBSCAN算法

---

前言

  空间聚类是基于一定的相似性度量对空间大数据集进行分组的过程。空间聚类分析是一种无监督形式的机器学习。通过空间聚类可以从空间数据集中发现隐含的信息。
  作者在科研工作中，需要对某些车辆的轨迹数据进行一些空间聚类分析，以期望发现车辆在行驶过程中发生轨迹点”聚集“的行为。当等时间间隔的轨迹点在某片区域分布过于”密“时，我们往往可以在这片区域发现某些信息，例如车辆在这片区域发生驻留或者低速行驶等。
  在空间聚类算法中，DBSCAN是一种简单且有效的聚类算法，它有着基于密度、不需要预先指定聚类数、计算效率高的优点。
  本文以如下格式车辆轨迹数据为例，实提供了DBSCAN对车辆轨迹数据聚类并分析的方法：

collect_time	id	lon	lat
时间	车辆标识	经度	纬度

  为了尽量去除噪声影响，车辆轨迹数据已经经过滤波平滑，平滑方法可见作者之前文章：https://blog.csdn.net/jgsecurity/article/details/140608431。

一、单辆车轨迹的聚类与分析

  对单辆车的轨迹数据，采用DBSCAN算法进行空间聚类。DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种经典的密度聚类算法，适用于发现任意形状的聚类簇。其原理本文不做阐述，如有需要，可以自行搜索。

1.引入库

  使用了数学计算库numpy和pandas，机器学习库scikit-learn，地理相关库shapely和geopy，绘图库matplotlib。

import numpy as np
import pandas as pd
from sklearn.cluster import DBSCAN
from sklearn import metrics
from shapely.geometry import MultiPoint
from geopy.distance import great_circle
import matplotlib.pyplot as plt
import matplotlib.colors as mcolors

2.聚类

  在进行聚类之前，先使用shapely和geopy库实现了get_centermost_point函数。其输入数据cluster是列表类型，表示每一组聚类的点集。作用是在获得了每个聚类之后，计算出该聚类的中心点。

# 计算每个聚类的中心点
def get_centermost_point(cluster):
    # 计算整个点集合的质心点
    centroid = (MultiPoint(cluster).centroid.x, MultiPoint(cluster).centroid.y)
    # 取点集合中离质心点最近的点为中心点
    centermost_point = min(cluster, key=lambda point: great_circle(point, centroid).m)
    # 返回中心点
    return tuple(centermost_point)

  对单辆车的聚类函数cluster_traj，其输入数据data是dataframe类型，表示一辆车的轨迹数据。

# DBSCAN聚类
def cluster_traj(data):
    # 提取dataframe中的经纬度列
    coords = data[['smoothed_lat', 'smoothed_lon']].values

    # 地球半径(km)
    kms_per_radian = 6371.0088
    # 定义epsilon为0.5(km)，经纬度点间距离计算使用haversine公式
    # 由于haversine公式返回的距离是以弧度为单位，因此将距离阈值转换为弧度
    epsilon = 0.3 / kms_per_radian

    # 定义min_samples为6。epsilon和min_samples参数需要根据自己的数据调整。
    db = DBSCAN(eps=epsilon, min_samples=6, algorithm='ball_tree', metric='haversine').fit(np.radians(coords))
    cluster_labels = db.labels_
    # 离群点的聚类标签为-1，其余数据聚成n类，标签为为0到n-1。num_clusters获得总共的聚类数n。
    num_clusters = len(set(cluster_labels) - set([-1]))

    print('Clustered ' + str(len(data)) + ' points to ' + str(num_clusters) + ' clusters')
    data['c_label1'] = cluster_labels

    # 输出聚类clusters的情况，假如聚成了4类，每类2个点：
    # 0: [[30.6, 104.0], [30.9, 78.5]],
    # 1: [[30.6, 104.4], [30.4, 10.0]],
    # 2: [[30.5, 103.6], [30.7, 103.6]],
    # 3: [[30.8, 104.9], [30.3, 104.3]
    clusters = pd.Series([coords[cluster_labels == n] for n in range(num_clusters)])
    print(clusters)

    # 输计算噪声点占总点数的比例
    ratio = len(cluster_labels[cluster_labels[:] == -1]) / len(cluster_labels)
    print('噪声点占总点数的比例: ' + str(ratio))
    # 只有聚类数量>1时才能计算指标
    if num_clusters > 1:
        # 计算轮廓系数，作为聚类评价指标
        sc_score = metrics.silhouette_score(coords, cluster_labels)
        print('轮廓系数: ' + str(sc_score))
        # 计算DBI指标
        dbi_score = metrics.davies_bouldin_score(coords, cluster_labels)
        print('戴维斯-布尔丁指数: ' + str(dbi_score))

    print("\n")
    return data

3.聚类评价

  需要注意的是，每辆车聚类之后，还计算了噪声比、轮廓系数(SC)、戴维斯-布尔丁指数(DBI)来评价聚类效果。其中SC指标越接近1，聚类效果越好；DBI指标越小，聚类效果越好。

  除此之外，还可以使用matplotlib库通过绘制散点图的方式，来肉眼观察这辆车的聚类效果，只需在cluster_traj函数中的return语句前插入下列代码（matplotlib绘制的散点图用于实验时判断聚类效果来调整参数，若要绘制更美观的图，可考虑使用folium库在地图上绘制轨迹点）：

    # 获得每个聚类的中心点
    centermost_points = clusters.map(get_centermost_point)
    # 将各个聚类的中心点存入rep_points
    lats, lons = zip(*centermost_points)
    rep_points = pd.DataFrame({'lon': lons, 'lat': lats})
    # 绘制散点图
    colors = list(mcolors.TABLEAU_COLORS.values())  # 使用Tableau颜色作为聚类颜色
    noise_color = 'black'  # 离群点颜色
    fig, ax = plt.subplots(figsize=(12, 8))

    for i, cluster in enumerate(clusters):
        if i == len(colors):  # 如果聚类数超过颜色数，循环使用颜色
            color = colors[i % len(colors)]
        else:
            color = colors[i]

        ax.scatter(cluster[:, 1], cluster[:, 0], s=30, c=color, marker='o', label='Cluster ' + str(i))

    # 绘制离群点
    noise_points = coords[cluster_labels == -1]
    ax.scatter(noise_points[:, 1], noise_points[:, 0], s=20, c=noise_color, marker='x', label='Noise points')

    ax.scatter(rep_points['lon'], rep_points['lat'], c='red', marker='*', s=100, label='Cluster Centers')

    ax.set_title('DBSCAN Clustering of Trajectory Data')
    ax.set_xlabel('Longitude')
    ax.set_ylabel('Latitude')
    ax.legend()

    plt.show()

二、整个数据集多辆车聚类

  本人的数据集中包含多辆车的轨迹数据，这些数据统一存储一个CSV文件中，并且已经按照id和collect_time数据升序排序。

1.聚类

  使用groupby的方式对车辆按id分组，每组分别调用cluster_traj即可。

    #假设已经读入数据df
    clustered_data = pd.DataFrame()

    # 按车辆id分组，对每辆车的数据进行聚类
    grouped = df.groupby('id')
    for name, group in grouped:
        print('车辆id：' + name + '  轨迹点数：' + str(len(group)))
        clustered_group = cluster_traj(group)
        clustered_data = pd.concat([clustered_data, clustered_group], ignore_index=True)

2.整体评价

  可以在函数外设置两个全局变量列表sc_scores和dbi_scores存储每辆车的评价指标。

# 全局变量用于存储指标
sc_scores = []
dbi_scores = []

  对cluser_traj函数中的计算轮廓系数部分添加sc_scores.append(sc_score)和dbi_scores.append(dbi_score)两行代码。即计算每辆车的评价指标的同时，将其加入外部的列表中。

if num_clusters > 1:
        # 计算轮廓系数，作为聚类评价指标
        sc_score = metrics.silhouette_score(coords, cluster_labels)
        print('轮廓系数: ' + str(sc_score))
        sc_scores.append(sc_score)
        # 计算DBI指标
        dbi_score = metrics.davies_bouldin_score(coords, cluster_labels)
        print('戴维斯-布尔丁指数: ' + str(dbi_score))
        dbi_scores.append(dbi_score)

  通过sc_scores和dbi_scores两个列表的分析，例如求均值、中位数、画图查看分布等方式，可以评价整个数据聚类效果的好坏。