图像搜索的一个巧用

照片搜索    研究方向：搜索与在线广告

研究小组：互联网搜索与挖掘组 2007/05/15

你有没有想过用手机拍下的照片来搜索，并获得地图位置、促销、产品价格等多方面信息？本文的作者李洋将通过与微软亚洲研究员面对面的采访与记录，为你们揭开照片搜索的神奇面纱。本文发表于《互联网周刊》之“微软亚洲研究院搜索技术”专栏，2007年4月20日，第8期。 详细内容: “那么多KFC，哪个才是我要找的呢？”在肯德基（KFC）的广告里，男主角一脸无奈地向各地网友求助—女友故意要考验他，眼看约定见面的时间快到了，却只留下一张在KFC门前拍的照片作为线索。 未来的搜索技术正在攻克这一难题。微软亚洲研究院从2004年开始，就开始研究照片搜索技术（Photo 2 Search）。下面，将由数据搜索和挖掘组的研究员谢幸给读者介绍这项技术的研发方向和攻克难点。 人们在一个陌生的城市旅游时，可能会迷失方向。这时，你的手机就会派上用场。由于手机输入键盘较小，文字搜索太麻烦，你可以站在一个大的建筑物前，拍下一张照片，然后用彩信的方式传给服务器，系统经过查询和匹配，会反馈给你一张标有所在位置的周围地图。此外，系统还将反馈给用户有关该建筑物的相关信息。比如，如果你站在首都剧场的前面拍下照片，系统返回到手机上的信息可能是一个页面，介绍该剧场将放映什么电影。 当然，并不是所有照片都能够进行这一搜索，必须是一些有特征的建筑物、餐馆，或者海报等。如果你拍下了某个居民小区的照片，系统就无法识别，因为几乎任何居民小区的楼看起来都很相似。在海报的应用上，这一技术比现有的二维码技术还要方便，因为不用在每个海报上都贴二维码标签。你拍下一张海报的照片，系统将给你反馈回一些细节信息，比如告诉你到哪里买票等等。由于每张海报都是惟一的，因此很适于这一应用。 据谢幸介绍，这个系统里面最重要的两个研究方向：一个是准确度和匹配度；另外一个是速度问题。这一系统的原理是，用户发回彩信后，通过后台服务器进行接收，并与系统数据库中的图片进行比对，寻找相同的图片，再返回该图片存在数据库中的信息。 起先，微软亚洲研究院采用了CBIR（基于内容的图像检索）方法，基于图片里面的颜色、纹理、边缘对比度、亮度等一些基本的属性，来比较两个图片是不是相似，“但是经过试验，结果并不是很好”。后来，研究员们想到了选取特征点的方法，在图片中选取几百个，将每个特征点用向量表示。比较图片时，只是比较这些特征点，看里面到底有多少个点相似。系统选取特征点时，会选那些相对位置不会发生改变的点。也就是说，即使你的手机没有拿稳，照片角度有些倾斜，都不会影响比对的结果。 每张由手机拍下的照片要跟数据库中的图片进行比对。这意味着只有当数据库中存有类似图片，才会具备上述的功能。如果一个建筑物有多张不同角度拍摄的照片存于数据库，系统辨识程度会相应提高。 目前，微软亚洲研究院用于此项研究的数据库，已经可以支持一万张图片，用不到一秒的时间就可以返回结果。现在图片主要还依赖人工录入，未来将有可能实现自动在互联网上抓取的功能。 这项技术可以拓展新的商业模式。比如，查询海报时，可以用来做广告和优惠券等；查询建筑物时，就涉及到一些位置查询的相关信息。同时，还可用它来做产品的搜索。比如，拍下一个产品，系统将反馈回产品的价格信息，也可以实现比价功能。现在，微软亚洲研究院主要聚焦在购物、地理位置和广告这三个方面。目前这一照片搜索也支持Web版本。用户可以通过网站输入一张照片（与图片大小、格式无关），来查找匹配的图片及信息   来自：http://www.msra.cn/Research/ItemDetail.aspx?Guid=21ee3b8b-651f-4ca7-959b-8d474338153b