AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)
Online Boosting Algorithms for Multi-label Ranking
Young Hun Jung, Ambuj Tewari
University of Michigan
http://proceedings.mlr.press/v84/jung18a/jung18a.pdf
这篇文章主要讨论多标签排序。
Boosting是一种比较适合多标签排序的方法，它能够通过多数表决来聚合多个弱学习器的结果，这些结果可以直接当作评分，进而得到标签的排序。
作者们设计了在线boosting算法用于多标签排序，并且证明了损失下界。
该文章的第一个算法从学习器的个数来说是最优的，同时保证得到期望的准确率，但是该算法需要弱学习器的边缘知识。为了避免这个问题，作者们设计了一种不需要这种知识的自适应算法，这样就会更加实用。
实验结果表明，在真实数据集上，本文算法至少跟现有批式boosting算法一样好。
在线boosting跟离线的boosting区别如下
问题描述及符号约定如下
设计思路及框架如下
本文采用的boosting框架如下
算法伪代码如下
针对基学习器，可以定义以下属性，即学习器的边界
在线弱学习条件的相关定义如下
关于损失向量，具有以下特性
势函数的定义如下
进一步，需要进行归一化处理
算法详情如下
下面是对应的算法伪代码
相关定理
关于损失函数，可以利用hinge loss
下面是一些推论
OnlineBMR具有一定的局限性，比如势函数没有闭解等，作者们提出一种新的自适应选择权重的算法。
新算法所利用的损失函数如下
这种算法所对应的一些细节如下，其中依赖于累积逻辑损失
其中OLMR全称为
Online, Logistic, Multi-label, and Ranking
该算法依赖于在线梯度下降方法
该算法的伪代码如下
排序损失对应的下界为
数据集信息统计如下
几种算法效果及运行时间对比如下
代码地址
https://github.com/yhjung88/OnlineMLRBoostingWithVFDT
我是分割线
您可能感兴趣
KDD2019|基于注意力的深度学习如何实时预测购买还是浏览
AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)
ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)
SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)
SIGIR2019|基于注意力机制的新型深度学习模型(采莓树模型BIRD,已开源)
SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)
SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)
KDD2018|基于GBM的动态定价回归模型
KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)
RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET
SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)
IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN
聊聊CatBoost
聊聊XGBoost CatBoost LightGBM RF GBDT
顶会中深度学习用于CTR预估的论文及代码集锦 (3)
ICML 2018 深度学习论文及代码集锦(5)
深度学习用于文本摘要的论文及代码集锦
深度学习用于机器翻译的论文及代码集锦
深度学习用于序列标注中的论文及代码集锦
深度学习在推荐系统中的应用及代码集锦(4)
深度学习在OCR中的应用论文及代码集锦 (2)