Multi-Task 第2页

论文笔记《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》

论文链接MMoE1、摘要基于神经网络的多任务学习已经在实际场景如推荐系统中有了大规模应用，例如在电影推荐中，除了要给用户推荐他们可能购买或者观看的电影，还要考虑用户后续对这部电影的评价。通过多任务学习，我们的目标是利用一个模型来学习多个实际业务中的目标，但是，常用的多任务模型的预测质量通常对任务之间的关系很敏感。因此，研究特定于任务的目标与任务间关系之间的建模权衡非常重要。google推荐团队提出

zuolixiangfisher·2022-12-23 08:19

【多任务学习】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD18

在模型层面理解，我们在单目标中经常会花费大量的精力“找强特征”和“删冗余特征”输入到模型，提高模型效果。那么切换到MTL时，每个task所需要的“强特”和排斥的“负特”是不同的，MTL的目的就是对每个task尽可能的找到他们的强特和负特。在优化层面理解，多个task同时优化模型，某些task会主导了模型的优化过程，淹没了其他task。从监督信号的角度理解，MTL不仅仅是任务，也是一种数据扩增，相当

chad_lee·2022-12-23 08:48

多任务学习-MMOE-Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

简介针对多任务学习的应用场景，MMOE论文提出了多门多专家的混合结构的多任务学习方法，如下图c所示。针对其他的经典算法，比如a-硬共享share-bottom结构的方式，引入了一组不同的专家网络；针对b-MOE结构，扩展了门网络的数量，使得网络结构对于多任务的相关性较低时，能够更好的优化。模型专家组合MMOE可以看作MOE模型（专家组合模型）的扩展。其中MOE可以表述为其中，g(x)_i是第i个专

JunTHU·2022-12-23 08:16

[论文笔记]Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

一.论文题目与作者MaJ,ZheZ,YiX,etal.ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-Experts.ACM,2018.二.摘要2.1出发点常见的多任务学习模型对子任务间的关系非常敏感，因此，需要权衡特定任务目标的学习和子任务间关系的学习。2.2创新本文提出Multi-gateMixture

crediks·2022-12-23 08:45

MMOE 【Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts】阅读

发于2018年，论文地址：KDD2018|ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-Expertsgithub上大神的开源地址：GitHub-drawbridge/keras-mmoe:ATensorFlowKerasimplementationof"ModelingTaskRelationships

一杯敬朝阳一杯敬月光·2022-12-23 08:12

mmoe/Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

文章目录总结细节实验总结每个task分开emb，每个task分开attention细节现有的方法对任务间的relationship敏感MTL改进1:不使用shared-bottom，使用单独的参数，但是加一个多个task参数之间的L2正则shared-bottom，共用emb，每个任务上再套一个towernetwork。这种做法可以降低overfitting，但若task之间没关系则学习不好yk=

KpLn_HJL·2022-12-23 08:42

【多模态】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文阅读及代码解析

一、MoE简介MMoE是在MoE的基础之上，引入多任务而来，关于MoE的相关解读，可以参考我的另一篇博客：【论文阅读】AdaptiveMixturesofLocalExperts二、MMoE简介关于MMoE的论文阅读在我的另一篇博客中已经讲到，具体可以参考：【推荐算法论文阅读】ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMi

CC‘s World·2022-12-23 08:41

【推荐算法论文阅读】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

CC‘s World·2022-12-23 08:11

【论文笔记】Modeling Task Relationships in Multi-task Learning withMulti-gate Mixture-of-Experts

论文论文题目：ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-Experts收录于：KDD2018论文地址：ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-Experts(acm.org)转载：【推荐系统多任务学习M

m0_61899108·2022-12-23 08:40

Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

与光i·2022-12-23 08:37

Modeling Task Relationships in Multi-task Learning withMulti-gate Mixture-of-Experts

论文链接：https://dl.acm.org/doi/pdf/10.1145/3219819.3220007许多基于DNN的多任务模型对：数据分布、任务之间的差异很敏感，导致并不一定是多任务会优于单模型每个专家网络是一个前馈网络（采用局部模型的方法更容易拟合训练样本，这就是专家Experts的作用）门控网络采用输入特征，输出专家的不同权重的softmax门（设计方式是:线性变换+softmax层

learner_ctr·2022-12-23 08:06

#Paper Reading#Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

论文题目:ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-Experts论文地址:https://dl.acm.org/citation.cfm?id=3220007论文发表于:KDD2018（CCFA类会议）论文大体内容：本文主要提出了Multi-gateMixture-of-Experts（MMoE）的

John159151·2022-12-23 08:05

【推荐算法】MMoE模型：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

1、MMoE背景MMoE是谷歌在2018年发表在KDD上的一篇基于多任务学习的经典论文，其使用场景是对不相关任务的多任务学习。在推荐系统中，这些不相关的任务可以示例为：视频流推荐中的CTR、时长、点赞、分享、收藏、评论等相关性不强的多个任务。2、MMoE模型概述MMoE模型的基础结构是“Shared-Bottommulti-taskDNN”结构，Shared-Bottommodel（网络结构如下图

长相忆兮长相忆·2022-12-23 08:02

[论文阅读] Multi-task Attention-Based Semi-supervised Learning for Medical Image Segmentation

[论文地址][代码][MICCAI19]Abstract我们提出了一种新型的半监督图像分割方法，它同时优化了监督分割和无监督重建目标。重建目标使用一种注意力机制，将对应于不同类别的图像区域的重建分开。所提出的方法在两个应用中进行了评估：脑瘤和白质超密集区的分割。我们的方法在未标记的和少量标记的图像上进行训练，其表现优于用相同数量的图像训练的有监督的CNN和在未标记的数据上预训练的CNN。在消融实验

xiongxyowo·2022-12-17 22:36

论文《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》

论文地址：https://dl.acm.org/doi/pdf/10.1145/3219819.3220007摘要常用的多任务学习往往对于任务之间的关系比较敏感，论文提出的MMoE将专家混合结构应用到多任务模型中，所有任务共享专家子模型，同时训练门控网络来优化每个任务。Neural-basedmulti-tasklearninghasbeensuccessfullyusedinmanyreal-w

巴拉巴拉朵·2022-12-15 19:43

【点云系列】Unsupervised Multi-Task Feature Learning on Point Clouds

1.概要题目：UnsupervisedMulti-TaskFeatureLearningonPointClouds论文：https://openaccess.thecvf.com/content_ICCV_2019/papers/Hassani_Unsupervised_Multi-Task_Feature_Learning_on_Point_Clouds_ICCV_2019_paper.pdf2

^_^ 晅菲·2022-12-15 12:14

推荐系统（十九）Gate网络（二）：百度GemNN（Gating-Enhanced Multi-Task Neural Networks）

天泽28·2022-12-14 13:34

LP-Bert Multi-task Pre-training Language Model forSemantic Network Completion

摘要虽然知识图在自然语言处理中有很好的应用价值，但它存在不完备性的问题。本文通过预测实体之间的联系来补全知识图，这是一项基础而关键的任务。语义匹配是一种潜在的链路预测解决方案，因为它可以处理不可见的实体，而基于平移距离的方法则难以处理不可见的实体。然而，为了达到基于翻译距离的方法的竞争性能，基于语义匹配的方法需要用于训练目的的大规模数据集，这在实际环境中通常是不可用的。为此，本文采用该语言模型，提

小蜗子·2022-12-10 15:50

Deep Multi-Task Multi-Channel Learning for Alzheimer's Disease Diagnosis（阿尔兹海默症诊断）

JointClassificationandRegressionviaDeepMulti-TaskMulti-ChannelLearningforAlzheimer’sDiseaseDiagnosisMingxiaLiu,JunZhang,EhsanAdeli,DinggangSheny,Fellow,IEEE可作为医学数据处理的入门文章，偏向于综述类的论文。文章的主要贡献在于提出了一个多任务多通

巨闪闪·2022-12-09 17:59

BEVFusion: Multi-Task Multi-Sensor Fusion with Uniﬁed Bird’s-Eye View Representation论文个人总结

BEVFusion:Multi-TaskMulti-SensorFusionwithUniﬁedBird’s-EyeViewRepresentation论文笔记论文链接：[2205.13542]BEVFusion:Multi-TaskMulti-SensorFusionwithUnifiedBird’s-EyeViewRepresentation(arxiv.org)本文为个人理解，有误之处还请大

豆奶泡油条·2022-12-09 15:54

【Information Sciences】PMT-Net: Progressive Multi-Task Network for one-shot Person Re-Identification

文章目录背景知识内容概要摘要：取得的成果相关工作数据集baselinebackboneBIbtex方法提要方法特点方法框架实验结果方法详解参考文献背景知识内容概要针对的问题or出发点：人工标注成本大。还是为了解决小样本问题。提出了渐进的多任务网络（PMT-net）:用one-shot初始化模型，然后迭代优化（秉承EUG一脉）首先，行人的属性识别作为辅助任务。（参照了APR那篇文章，也是EUG同作者

_Summer tree·2022-12-07 21:20

视频异常检测——Anomaly Detection in Video via Self-Supervised and Multi-Task Learning

AnomalyDetectioninVideoviaSelf-SupervisedandMulti-TaskLearning文章资源问题描述思想做法网络结果存在的问题思考文章2021.CVPR.AnomalyDetectioninVideoviaSelf-SupervisedandMulti-TaskLearning资源问题描述以往的方法都是单独考虑单个任务，在某些场景下不好：如，车突然停了，但是

shaoyue1234·2022-12-07 09:28

【视频异常检测-论文阅读】Anomaly Detection in Video via Self-Supervised and Multi-Task Learning

来源：Georgescu,Mariana-Iuliana,etal.“AnomalyDetectioninVideoviaSelf-SupervisedandMulti-TaskLearning.”2021IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR),June2021.Crossref,https://doi.org/1

不喝可乐不快乐·2022-12-07 09:20

LA-Net: A Multi-task Deep Network For The Segmentation of The Left Atrium

2021IEEETransactionsonMedicalImaging(TMI)语义分割、医学图像分割论文摘要目录语义分割论文文章目录一、LA-Net:AMulti-taskDeepNetworkForTheSegmentationofTheLeftAtrium摘要一、主要亮点二、网络结构1.LA-Net’sarchitecture2.REM3.交叉注意模块CAMs(crossattention

LANG_C_·2022-12-04 17:44

ICCV 2021 Oral｜涨点神器！RS Loss：目标检测和实例分割的新损失函数

写在前面目标检测和实例分割往往是一个multi-task的任务，其中包含了诸如classification，boxregression和maskpred

Amusi（CVer）·2022-12-04 14:52

人脸属性多任务学习：Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach

1.该文被录用在2017PAMI上，地址：https://arxiv.org/abs/1706.009062.该文主要是阐述如何能训练有效人类属性分类模型。3.这片文章的优点是：（1）属性分类能共享特征学习阶段的权值；（2）根据属性划分，使用相应的损失函数；（3）特征学习的CNN框架简单；（4）理论描述严密。缺点：（1）正由于其使用简单结构CNN，虽使速度有提升，但属性分类准确率还不太高；（2）组

EericDL·2022-11-30 13:05

Multi-Task Allocation in Mobile Crowd Sensing with Mobility Prediction

Title：Multi-TaskAllocationinMobileCrowdSensingwithMobilityPredictionSource：TMCAuthor：JinyiZhangandXinglinZhang1作者想解决什么问题？定义问题的性质（哪一类问题）：多任务分配问题问题（矛盾）的描述：预测用户的移动轨迹马尔科夫模型预测==【可以看一下】==不均匀泊松分布基于统计学模型存在的问题

Roxlu7·2022-11-29 23:52

Multi-task Pre-training Language Model for Semantic Network Completion

多任务预训练语言模型用于语义网络补全DaLi∗,SenYang†‡,KeleXu§¶,MingYi∗,YukaiHe∗,andHuaiminWang§¶∗Tencent,Beijing100084,China†BeijingInstituteofMicrobiologyandEpidemiology,Beijing,100071,China‡StateKeyLaboratoryofPathogen

黑子小明·2022-11-28 07:01

yolov5 multi-task 检测人脸landmark

yolov5源码地址：https://github.com/ultralytics/yolov5文末有完整代码克隆下最新的yolov5，在根目录下创建landmark文件夹文件夹中创建三个文件（predict，test，train_landmark），类似yolov5的分类和语义分割任务没有提及修改的都是直接添加就行Landmark文件夹landmark/train_landmark.pyimpo

athrunsunny·2022-11-28 05:14

论文解读--Raw High-Definition Radar for Multi-Task Learning

图1.我们的RADIal数据集的概述。RADIal包括3个传感器（相机、激光扫描仪、高清雷达），配备GPS和车辆CAN跟踪；25k同步样本为原始格式。(a)摄像头图像，红色投影激光点云，靛蓝色标注雷达点云，橙色标注车辆，绿色标注自由驾驶空间标注；(b)雷达功率谱带边界框标注；鸟视图标注(c)自由驾驶空间标注，橙色边界框标注车辆，靛蓝色标注雷达点云，红色标注激光点云；笛卡尔坐标系(d)范围方位地图叠

奔袭的算法工程师·2022-11-23 21:59

Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks原文

Abstract—Facedetectionandalignmentinunconstrainedenvironmentarechallengingduetovariousposes,illuminationsandocclusions.Recentstudiesshowthatdeeplearningapproachescanachieveimpressiveperformanceonthese

moggyna·2022-11-23 14:24

论文翻译：2020_Residual Acoustic Echo Suppression Based On Efficient Multi-Task Convolutional Neural Netw

博客作者：凌逆战（转载请注名出处）论文地址：基于高效多任务卷积神经网络的残余声回波抑制摘要回声会降低语音通信系统的用户体验，因此需要完全抑制。提出了一种利用卷积神经网络实现实时残余声回波抑制的方法。在多任务学习的背景下，采用双语音检测器作为辅助任务来提高RAES的性能。该训练准则基于一种新的损失函数，我们称之为抑制损失，以平衡残余回波的抑制和nearend信号的失真。实验结果表明，该方法能有效抑制

凌逆战·2022-11-23 04:22

小白解读论文：Multi-Task Multi-Sensor Fusion for 3D Object Detection

Multi-Task指3d和2d目标识别（侧重于车辆，2Dand3Dboxregression），路面检测（groundestimation），以及深度补（depthcompletion）。

Niuip·2022-11-22 19:18

3D Instance Segmentation via Multi-Task Metric Learning

Abstract我们提出了一种新方法，用于密集3D体素网格的实例标签分割。我们的目标是使用深度传感器或多视图立体方法获取的体积场景表示，并使用语义3D重建或场景完成方法进行处理。主要任务是学习有关单个对象实例的形状信息，以便准确地分离它们，包括连接的和不完全扫描的对象。我们使用多任务学习策略解决了3D实例标记问题。第一个目标是学习一个抽象特征嵌入，它将具有相同实例标签的体素彼此靠近，同时将具有不同

fish小余儿·2022-11-22 08:34

[论文阅读] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts（MMoE模型）

[论文阅读]ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-ExpertsAbstract基于神经网络的多任务学习在日常生活中应用广泛。但是，常用的多任务模型的预测质量对任务之间的关系很敏感。本文提出的MMoE模型可以从数据中对任务关系进行建模，通过在所有任务共享专家子模型，使得专家混合结构适应多任务学习，

小千不爱内卷·2022-11-21 07:06

【论文阅读】【三维目标检测】Multi-Task Multi-Sensor Fusion for 3D Object Detection

目录网络点云分支图像分支Point-wiseFusion3Dboxestimation&RoICropDepthCompletion分支Loss实验文章Multi-TaskMulti-SensorFusionfor3DObjectDetection2019CVPR该文章使用了相机和激光雷达传感器融合方法检测3DObject，使用了一个网络解决多任务，并且多个子任务是为了3DObjectDetect

麒麒哈尔·2022-11-20 13:33

Multi-task Learning(Review)多任务学习概述

https://www.toutiao.com/a6707402838705701383/背景：只专注于单个模型可能会忽略一些相关任务中可能提升目标任务的潜在信息，通过进行一定程度的共享不同任务之间的参数，可能会使原任务泛化更好。广义的讲，只要loss有多个就算MTL，一些别名（jointlearning，learningtolearn，learningwithauxiliarytask）目标：通

喜欢打酱油的老鸟·2022-11-19 22:01

论文笔记（一）Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach

1.论文出自PAMI2017，下载地址：https://arxiv.org/abs/1706.009062.该文主要是阐述如何能训练有效人脸属性分类模型。AbstractwepresentaDeepMulti-TaskLearning(DMTL)approachtojointlyestimatemultipleheterogeneousattributesfromasinglefaceimage.

AI算法札记·2022-11-19 10:45

Multi-task LightGBM安装

Multi-taskLightGBM库(lightgbmmt)安装Multi-taskLightGBM库(lightgbmmt)安装本文提供多任务机器学习(MTML)库中的MT-LightGBM安装方式。之前使用了阿里大佬开源的树模型多任务机器学习库，基于LightGBM改造的lightgbmmt包，不论是在Mac还是windows上安装都十分费劲，主要是C++相关编译非常麻烦。最后索性在Dock

fitzgerald0·2022-11-19 08:58

BEVFusion:Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation 论文笔记

原文链接：https://arxiv.org/abs/2205.135421.引言为找到多传感器数据的统一表达，最直接的方法是将激光雷达点云投影到图像上，但这样做会带来严重的几何扭曲（如下图(a)所示），对于3D物体识别等几何导向任务而言不那么有效。最近的融合方法将图像语义信息、CNN特征或是来自图像的虚拟点附加到激光雷达点云，然后使用现有的激光雷达方法进行3D检测。这些方法对BEV分割等语义导向

byzy·2022-11-08 14:57

【自动驾驶】《BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation》论文阅读笔记

论文地址：https://arxiv.org/pdf/2205.13542.pdfhttps://arxiv.org/pdf/2205.13542.pdf代码地址：GitHub-mit-han-lab/bevfusion:BEVFusion:Multi-TaskMulti-SensorFusionwithUnifiedBird's-EyeViewRepresentationBEVFusion:Mu

聿默·2022-11-08 14:55

两阶段目标检测重要论文总结

论文总结及改进点二、SPPNet-解决R-CNN速度慢的问题1、论文简介2、结构设计3、论文总结及改进点4、SPPnet代码（Pytorch）三、FastR-CNN1、论文简介2、结构设计ROI池化层multi-task

秋天的风儿·2022-11-04 11:59

【论文复现】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction论文复现

文章目录本文内容环境配置全局变量模型构建损失函数模型训练构造Dataset构造Dataloader训练模型评估模型使用参考文献代码地址：https://github.com/iioSnail/MDCSpell_pytorch本文内容本文为MDCSpell:AMulti-taskDetector-CorrectorFrameworkforChineseSpellingCorrection论文的Pyt

iioSnail·2022-09-30 13:54

【论文笔记】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction

文章目录论文内容论文思路模型架构损失函数训练细节实验结果个人总结论文复现:https://blog.csdn.net/zhaohongfei_358/article/details/127035600论文内容论文地址:https://aclanthology.org/2022.findings-acl.98/论文年份：2022作者基于Transformer和BERT设计了一个多任务的网络来进行CS