头条召回算法-深度检索

文章重点:路径优化中,loss是怎么算的?是怎么优化的(em算法)?线上是怎么用的(beam search)

论文链接:https://arxiv.org/pdf/2007.07203.pdf

ppt介绍链接(百度网盘):暂停

一些基础的介绍可以看下面两篇文章:字节跳动Deep Retrieval召回模型笔记_abcdefg90876的博客-CSDN博客

大规模推荐Deep Retrieval - 知乎

1:ANN算法介绍

ann搜索算法(Approximate Nearest Neighbor) - 合唱团abc - 博客园

头条召回算法-深度检索_第1张图片

 下面主要是讲解KD树、矢量量化方法这两个知识点

KD树简介 - 知乎

头条召回算法-深度检索_第2张图片

头条召回算法-深度检索_第3张图片

头条召回算法-深度检索_第4张图片

头条召回算法-深度检索_第5张图片

ANN 之 Product Quantization - 知乎

ann搜索算法(Approximate Nearest Neighbor) - 合唱团abc - 博客园

头条召回算法-深度检索_第6张图片

头条召回算法-深度检索_第7张图片 头条召回算法-深度检索_第8张图片

头条召回算法-深度检索_第9张图片 头条召回算法-深度检索_第10张图片

头条召回算法-深度检索_第11张图片

2:MIPS算法介绍(Maximum Inner Product Search)

最近邻搜索(NN)、最大内积搜索(MIPS)与(A)LSH算法 - 知乎

头条召回算法-深度检索_第12张图片

头条召回算法-深度检索_第13张图片

头条召回算法-深度检索_第14张图片

头条召回算法-深度检索_第15张图片

3: 深度召回DR算法 Deep Retrieval 

头条召回算法-深度检索_第16张图片

D层,每层K个节点(每个节点就是一个候选item,K应该是全部item数量)

头条召回算法-深度检索_第17张图片

头条召回算法-深度检索_第18张图片

头条召回算法-深度检索_第19张图片

 第一个累加N是N个item,第二个累加J是J个path(每个item在J个path中)

 下面有个em算法讲解的好的视频(在优酷上也能搜到):18分钟理解EM算法https://m.baidu.com/video/page?pd=video_page&nid=11346746330445539320&sign=17985137081996769464&word=em%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95+%E8%A7%86%E9%A2%91&oword=em%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95+%E8%A7%86%E9%A2%91&atn=index&frsrcid=5377&ext=%7B%22jsy%22%3A1%7D&top=%7B%22sfhs%22%3A1%2C%22_hold%22%3A2%7D&sl=4&trace=8767025049303041722&isBdboxShare=1&isBdboxShare=1

 EM算法详解 - 知乎

头条召回算法-深度检索_第20张图片

 (1) 上面的p(xi, zi | Θ),zi是个隐变量,和xi在一起可以这样理解,xi是身高175.5 同时带着zi=0.3的概率可能,任何一个样本都带着这个概率

上面的那些 i 代表第 i 个样本

Qi(zi)是第i个样本的隐变量的概率分布

 (2) 将 p(xi, zi | Θ) / Qi(zi) 看做一个整体,Qi(zi) 因为概率分布,所以累加起来为1,相当于对这个整体求平均,就可以用到 Jensen不等式 进行化简

 头条召回算法-深度检索_第21张图片

了解了em算法后,用em来优化上面的目标函数,主要讲解E M两步

E

头条召回算法-深度检索_第22张图片

 头条召回算法-深度检索_第23张图片

 M

头条召回算法-深度检索_第24张图片

头条召回算法-深度检索_第25张图片

头条召回算法-深度检索_第26张图片

你可能感兴趣的:(召回模型,算法)