vearch:大规模向量相似性搜索系统的挑战与实践

目录

  1. 大规模向量检索任务所面临的挑战
  2. Vearch原理解析
  3. Vearch在深度学习场景中的实践

一、大规模图像检索任务所面临的挑战

  随着深度学习技术的快速发展,它的相关应用也渗透到了我们生活的方方面面。深度学习是通过将图片、文本、视频等编码成高维特征向量来解决问题的,这就出现了海量高维特征向量的存储与计算问题,这些问题急需得到很好的解决。

人脸识别与拍照购场景
vearch:大规模向量相似性搜索系统的挑战与实践_第1张图片
智能助理与娱乐场景
               vearch:大规模向量相似性搜索系统的挑战与实践_第2张图片
  我们现在的生活已经被AI所包围,比如早上进办公室时,需要过人脸闸机,但就是这简单的生活场景,想一下之前传统的方案是什么样子?若有陌生人来,我们靠保安去识别时,怎么去判断准确性?即使保安熟悉天天进出的人,他也不会记忆这么多人的信息,而且对每个人的精准识别也是有限的。所以,传统的方案在应对这些场景时都是会有很大的瓶颈。然而深度学习可以利用生物特征的唯一性以及难以作假的特性。

  以上这些场景,都是新的query与数据库中数据做搜索对比得到排序结果的应用。传统方案是采用人工提取特征,但是由于特征量少,无法刻画事物的唯一性,比如人脸识别过闸机场景,证件等外部性证明都容易作假,靠保安人员记忆,容貌相近的无关人员有可能乱入,还有银行卡靠账户密码转账的盗刷事件时有发生。上述杯子拍照购场景,无论搜卡通杯,还是白色陶瓷杯,还是白色卡通陶瓷杯都无法精确得到上图结果。

  深度学习的出现,通过编码图片、文本、视频等的高维度信息为固定维特征向量,使事物得到精准量化表示,导致搜索结果可以高质量精准排序。比如上述人脸场景,深层网络会提取人脸的眼睛、鼻子、嘴巴、皮肤纹理等上万维特征编码成向量来唯一刻画人脸的唯一性。在智能助理外卖推荐场景,深层网络可以分别把用户画像(口味,位置距离,性别,薪资)等多个维度的信息与商家画像(菜品,菜价,评论,风格,距离)多个维度信息编码成高维特征向量,计算二者的相似度,做精准量化匹配。

  但是深度学习的使用也面临新的棘手的问题
   1. 海量高维特征的存储问题
   2. 特征向量的相似性计算搜索问题

  这两大问题,传统数据库是基于key/value的模糊查询搜索原理,无法完成
向量计算的操作。目前落地环节都是针对各自场景自己训练深度学习算法,在开发对应的向量检索系统,存在大量重复工作,这对算法工程师也不友好。目前尚没有通用的在线解决方案,我们开源的vearch专门针对上述问题开发的在线易用的,用以解决海量特征向量的存储、计算、相似向量检索问题。

二、Vearch原理解析

   vearch是对大规模深度学习向量进行高性能相似搜索的弹性分布式

你可能感兴趣的:(CV)