【前排选手分享】初赛尾声将至，大神带你最后一搏！
2020腾讯广告算法大赛初赛还有一周就要正式结束，临近初赛尾声，我们邀请到了排行榜前排选手jinzhen，给大家分享一下他的大赛征程。
大家好，我是□□□团队的队长jinzhen，来自厦门大学。我们队伍由我和我师弟两人组成，目前暂列排行榜第二。
去年是我第一次参加腾讯广告算法大赛，当时也非常幸运，取得了决赛第五名的成绩。通过那场竞赛我认识了很多大佬，在和他们同场竞技、交流探讨的过程中，也大有收获，学习积攒了许多实战经验。我觉得腾讯广告算法大赛的一大特点是，官方群里选手交流十分活跃，想法和经验可以得到碰撞，产生新的化学反应，不管是新人还是老玩家都能从中获得新的体验、感悟和成长。因此，即便今年没法像去年那样花那么多精力来准备这个比赛，在看到开赛的消息后我依然果断报名参赛。尽管可能最后只是陪跑，但我认为能够在比赛交流中有所收获和进步也非常有意义。
我们的基本方案和其他队伍大体一致，都是word2vec+序列模型。然后我们现在是五输入concat 之后输入给模型，训练目标是使用20分类的方式。
关于具体的建模方案之前已经有很多大佬分享过，在这里我只想简单地说一说自己关于transformer和模型融合的实战经验。
1
Transformer
01
transformer相比于lstm比较难调，个人建议先将transformer学习率设成lstm的五分之一左右，而后再进一步细调。
02
如何在transformer中考虑序列信息也是比较值得探索的，position embedding不一定是最佳的方式。
03
如果你的模型结构是transformer输出后做max pooling再接dense的话，别忘了在max pooling前处理一下被mask掉的位置的输出。
2
模型融合
前段时间我们单模一直都上不去，提交的都是十个使用全量数据的模型融合的结果（单模大佬请ddw）。由于模型数量已经比较多，所以我们开始寻找方法增强模型的差异性。目前在模型融合方面所做的尝试已经给我们带来了一些千分位上的提升。这里的差异性并不只是多种不同的模型结构，对于同一个模型结构，除了随机数种子不同之外，还可以有很多种方式增加差异性，比如可以从输入序列和模型参数入手。建议大家多思考多尝试，在不断优化的过程中，获得更加理想的结果。
最后祝各位选手取得好成绩！
初赛即将落下帷幕，在这最后一周的时间里，希望各位选手能够继续保持出色的状态，取得更多的创新和突破。加油吧，优秀的竞赛人，为你们最初的目标不断前进！
扫码加入大赛官方QQ群
或搜索群号：1094257162
和小伙伴一起解锁更多内容
点击如下链接，紧跟大赛进程
2020腾讯广告算法大赛