机场位置用户识别案例分析 --基于SparkMLlib（K-Means）机器学习

机场位置用户识别案例分析

--基于SparkMLlib（K-Means）机器学习

（一）应用场景简介

        网络信令中包含与用户位置相关的实时信息，在经营分析系统中引入网络信令数据，可通过分析客户位置规律，实现基于位置信息的区域业务统计分析。根据网络信令数据的实时特性，可准确地把握营销时机，为客户提供个性化的营销服务，从而提升精细营销服务能力。

       Spark在机器学习方面具有得天独厚的优势，MLlib（Machine Learning lib）是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。Spark特别适合用于机器学习的一个原因是基于RDD导致的MLlib的易用性。因此Spark能更好地适用于数据挖掘与机器学习等需要迭代计算的场景。Spark 的 k-means 文本聚类并行化算法，利用 RDD编程模型充分满足了 k-means 频繁迭代运算的需求。

      本篇文章试点应用利用SPARK的处理平台和技术，对移动网络信令进行实时采集和分析，从信令中分析在机场、医院等特定场景的用户，识别在机场出现的用户中，乘机外出的用户，为后续针对这部分用户进行营销和服务提供支撑。

在机场出现的用户，可以分为以下几类：

1、机场工作人员以及机场周围的居民

2、前往机场送行的人员、前往机场接机的人员

3、前往机场准备乘机外出的人员

4、乘机归来或外地前来的人员

5、出租车或其他交通运营人员

每种人员有不同的活动规律，系统从基站信令中获取用户的实时位置，通过分析用户位置的变化来对用户进行识别，找出在机场中第三类人员，针对这类人的出行需求进行营销和服务。

        第三类人的活动的显著特点有：

1、 在机场位置出现前，在机场外不同位置连续出现

2、不考虑特殊情况，在机场出现的时间应该在10分钟以上，3小时以下

3、在机场出现后，当天没有在同一地市再次出现或在全省没有出现。

（二）机器学习算法简介

        K-Means属于无监督学习，最大的特别和优势在于模型的建立不需要训练数据。在日常工作中，很多情况下没有办法事先获取到有效的训练数据，这时采用K-Means是一个不错的选择。K-Means需要预先设置有多少个簇类（K值）。

（三）模拟应用数据

针对以上场景分析，我使用KMeans算法来将数据聚类到5种类簇当中。所需的类簇个数会传递到算法中。然后将计算集内均方差总和，K-Means的核心思想，属于基于平方误差的迭代重分配聚类算法，其核心思想十分简单：

（1）随机选择K个中心点

（2）计算所有点到这K个中心点的距离，选择距离最近的中心点为其所在的簇

（3）简单地采用算术平均数(mean)来重新计算K个簇的中心

（4）重复步骤2和3，直至簇类不再发生变化或者达到最大迭代值

（5）输出结果

K-Means算法的结果好坏依赖于对初始聚类中心的选择，容易陷入局部最优解，对K值的选择没有准则可依循，对异常数据较为敏感，只能处理数据属性的数据，聚类结构可能不平衡。

应用数据模型：

（四）使用Scala编写MLlib中的K-Means案例代码

importorg.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.mllib.clustering.KMeans
import org.apache.spark.mllib.linalg.Vectors

object PortKMeansDemo {

  def main(args: Array[String]): Unit = {
    //屏蔽不必要的日志显示在终端上
    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)

    // 设置运行环境
    val conf = new SparkConf().setAppName("PortKMeansDemo").setMaster("local[4]")
    val sc = new SparkContext(conf)


    //装载数据集
    val data = sc.textFile("e:\\port.txt", 1)
    val parsedData = data.map(s => Vectors.dense((s.split(","))(1).split(' ').map(_.toDouble)))

    //将数据集聚类，5个类，20次迭代，形成数据模型
    val numClusters = 5
    val numIterations = 20
    val model = KMeans.train(parsedData, numClusters, numIterations)

    //数据模型的中心点
    println("Cluster centers:")
    for (c <- model.clusterCenters) {
      println(" " + c.toString)
    }

    //使用误差平方之和来评估数据模型
    val cost = model.computeCost(parsedData)
    println("Within Set Sum of Squared Errors =" + cost)

    //交叉评估2，返回数据集和结果
    val result2 = data.map {
      line =>
        val linevectore = Vectors.dense((line.split(","))(1).split(' ').map(_.toDouble))
        val prediction = model.predict(linevectore)
        line + " " + prediction
    }.foreach(println) //.saveAsTextFile("e:\\result")
    sc.stop()
  }
}

 

模型训练结果：

最后保存结果：

最后一列代表聚簇  0：代表接送人员 1：机场工作人员 2：出租车司机 3：坐飞机回来人员 4：坐飞机离开人员

（五）结束语

        机器学习应用的构建是一个复杂的过程，通常还需要对数据进行预处理，然后特征提取以及数据清洗等，然后才能利用算法来分析数据。由于数据量有限，而且人为捏造数据，故意模型化训练集，与真实环境数据比存在一定偏差，还需要通过海量数据机器学习，得到最优模型。本文也只是初探式的方式解决目前的一些应用场景问题，但效果未必准确有效，毕竟移动信令数据是非常庞大而很难找到较高的模型数据。只是提供了一种解决方案，如果遇到问题或者发现不足之处，请不吝赐教，留言，共同交流学习，谢谢。