大数据与机器学习的结合

我们使用的导航地图近十年已经发生了翻天覆地的变化。上世纪90年代，我们还在用纸质地图寻找目的地。而现在基本只需要服从Siri或她的谷歌竞争对手的导航指令。    “地面真相”算法和街景服务     不过这些导航指令背后隐藏着大多数人无法想象的众多数据。目前由于谷歌已经获得了极其庞大的地图数据，他们开始采用大数据方法，或谷歌称之为“地面真相”的算法和细致的人工努力相结合的方法，为用户提供更详尽的地图信息。该项目于2008年推出，但它一直处于保密状态，直到几年前才公开。它持续增长，现已覆盖51个国家。这一算法在提取卫星、空中和街景视图的信息时发挥了巨大的作用。 谷歌“地面真相”算法可以识别的街景信息     谷歌2007年推出了街景服务，通过让人们看到目的地周围的环境来提高用户体验。谷歌地图副总裁布莱恩·麦克伦登（Brian McClendon）。表示，“我们很快就意识到做地图的最佳途径之一，就是拥有全世界的街头照片。”     随着街景收集数据的增长，抽查他们的数据已经不是很好的解决方案。谷歌地图产品经理马尼克·古普塔（Manik Gupta）表示，现在街景车已经行驶700多万英里，覆盖美国99％的公共道路，“它实际上使我们能够利用算法建立提取信息之外的新数据层。”     这些算法借用计算机视觉和机器学习的方法来提取路边的街道编号、企业名称、限速交通标志等细节信息。不过很多信息还是非常难以提取，麦克伦登表示，“停止标记常常很容易被忽略。转弯限制对于导航来说也很重要，但对于谷歌的捕捉算法还很难处理。因为这些标记箭头可能是被画在道路上，它们可以是不同的颜色和大小。车道标记的分析更难，因为他们并不一致。” 谷歌地图普通用户不可见的转弯限制信息     路牌也是非常重要的信息。驾驶者听到的导航指示如果能匹配他们看到的，那么他们就能更好的被指引。但有时街道标志使用的拼写或缩写导致了很多麻烦。“匹配标志上的文字实际上是一个很困难的任务。”     另外，谷歌的算法还可以利用卫星和航空影像提取建筑物的轮廓和高度。美国大多数的建筑物现在都可以在谷歌地图上找到。对于像西雅图太空针塔这样的标志性建筑，计算机视觉技术已经可以提取出详细的3D模型。谷歌曾表示，它收购高分辨率卫星图像公司Skybox就是为了提高其地图的准确性。 计算机视觉技术提取的标志性建筑物3D模型    职业地图纠错团队和MapMaker计划     然而，卫星和算法的能力还是有限。为了提供最好的体验，谷歌雇佣了一只由人类组成的团队，手动检查并使用内部程序Atlas纠正地图的错误。谷歌公司以外很少有人见过这一应用。     这一人工检查团队看到的地图类似于谷歌地图的卫星地图混合视图，但带有没见过的彩色线条和符号。例如，道路根据行进方向进行了颜色编码。绿色和红色箭头指示了给定的交叉路口的可能前进方向。工作人员可以点击屏幕一侧的按钮，拖曳、切换或关闭各种层，控制街景视图拍摄的交通标志的出现和消失。这些工作人员每天要检查数以千计来自谷歌地图用户的错误报告，并根据需要进行修复。 工作人员可以手动将地图道路（上图）对准卫星图像     古普塔还展示了一张显示道路优先级的地图，线的宽度代表交通流量。谷歌一直用手机的位置信号映射交通条件。不过古普塔承认，位置信号也可以是其他信息的良好来源，比如转弯限制或者单行线。但他拒绝详细说明，“谷歌在很多地方使用了位置信息，但我不能谈论具体的东西。”     除了职业地图纠错团队，谷歌还得到来自MapMaker计划的帮助。2011年谷歌推出了普通用户可以参与的地图纠错项目，现在的该项目遍及220个国家。目标是提高谷歌地图在发展中国家和其他地区的准确度。因为在那里无法获得详细的地图源，“我们招募用户添加对于他们很重要的地图信息。我们会提供工具和卫星图像，因此他们可以很轻松的进行修正。”     用户可以提供公园、步道以及其他街景车无法进入的地方的信息。麦克伦登本人就曾帮助绘制Windy山的登山路径，“我用GPS记录了我登山的路径，完善了更多的精确路线。”     当你在笔记本电脑或手机上使用谷歌地图时，表面的信息之下隐藏着更多的数据。不只是道路的布局，还包括链接一个点到另一个点的逻辑信息。信息不只是建筑物的形状，也许未来谷歌地图只会不断的细节化。最终，呈现出来的可能是让人震惊的世界3D虚拟图像。