阿里天池竞赛 - CCKS2023-面向金融领域的主体事件检测

任务描述

主体事件检测是语言文本分析和金融领域智能应用的重要任务之一，如在金融风控领域往往会对公司主体进行风险事件的检测。基于句子粒度的上下文进行公司事件检测，事件包含事件类型和主体要素（即公司主体），句中可能存在多个事件，多个公司主体且每个公司都可能存在多个事件类型标签，并且各类型标注样本分布不均匀，部分类型样本量较少，我们希望检测出文本中包含的所有主体事件。本次评测任务的文本语料来自于互联上的公开新闻、报告，将作为CCKS-2023的评测任务之一，依托于天池大赛平台进行评测。

赛程安排

赛程	时间
评测任务发布	2023/5/4
报名时间	2023/5/4 - 2023/7/13 17:59:59
训练集，验证集发布；baseline模型/代码发布	2023/5/10
测试A榜数据(测试集A)发布	2023/5/10
测试A榜评测截止	2023/7/13 17:59:59
测试B榜数据(测试集B)发布	2023/7/14
测试B榜最终测试结果提交截止	2023/7/17 17:59:59
公布测试结果	2023/7/28
参与评奖队伍审核材料提交	2023/8/5 23:59:59
评测论文提交	2023/8/11 23:59:59
CCKS会议 (评测报告及颁奖)	2023/8/24-2023/8/27

注意：报名组队与实名认证（2023年5月4日—7月13日）

• 5月4日阿里天池平台(天池大数据众智平台-阿里云天池)将开放本次比赛的报名组队、登录比赛官网，完成个人信息注册，即可报名参赛；选手可以单人参赛，也可以组队参赛。组队参赛的每个团队不超过5人，每位选手只能加入一支队伍；选手需确保报名信息准确有效，组委会有权取消不符合条件队伍的参赛资格及奖励；报名截止日期之后不允许更改队员名单；各队伍（包括队长及全体队伍成员）需要在7月13日23：59：59前完成实名认证（认证入口：天池官网-右上角个人中心-认证-支付宝实名认证），未完成认证的参赛团队将无法进行后续的比赛；

规则

评测规则

• 允许使用开源代码或工具，但不允许使用任何未公开发布或需要授权的代码或工具；

• 除主办方提供的数据集外，参赛选手允许使用预训练数据（如词向量、字向量等），但是不能用额外的标注数据。

天池平台参赛规则

• 参赛选手需在注册时进行实名认证，且需要确保提交信息准确有效，所有的比赛资格及奖金支付均以提交信息为准；

• 参赛选手报名后可在“我的团队”页面组队。每支队伍需指定一名队长，队伍成员总数最多不超过5人；报名截止日期之后不允许更改队伍成员名单，请谨慎选择队员组队。每名参赛选手只能参加一支队伍。

• 队伍名的设定不得违反中国法律法规或社会公序良俗，且参赛队伍命名中不可出现“官方”，“天池”等字样。若命名违规的队伍在收到比赛主办方警告后仍未修改队伍名称，比赛主办方有权解散该队伍 ；

• 每名参赛选手只能参加一支队伍，一旦发现某选手以注册多个账号的方式参加多支队伍，将取消相关队伍的参赛资格；

• 参赛队伍可在参赛期间随时上传测试集的预测结果，阿里天池平台A榜阶段每天可提交3次、B榜阶段每天可提交5次，系统会实时更新当前最新榜单排名情况，严禁参赛团队注册其它账号多次提交。

• 验证集(包括采用验证集进行各种数据扩充操作后得到的数据)不可以用作模型训练。测试集A(包括采用测试集A进行各种数据扩充操作后得到的数据)也不可以参与模型训练。违反此规定将会直接导致参赛团队失去参赛资格和评奖资格。

• 要求最终结果排名前10的队伍按照”获奖队伍材料提交”部分的要求进行材料提交，供比赛组织方进行审核验证。参赛团队需保证提交作品的合规性，若出现下列或其他重大违规的情况，将取消参赛团队的参赛资格和成绩，获奖团队名单依次递补。重大违规情况如下：（1）使用小号、串通、剽窃他人未公开的代码等涉嫌违规、作弊行为；（2）团队提交的材料内容不完整，或提交任何虚假信息，或者是无法复现预测结果；（3）参赛团队无法就提交材料的疑义进行足够信服的解释说明。

• 冠军奖和优胜奖的评选主要依据为B榜成绩。创新奖将由比赛组织方与学术指导委员会根据选手提交的材料评审决定。

参赛阶段评测提交

本次任务的采取排行榜的方式进行评测。

A榜阶段

A榜测试数据发布后，参赛队伍报名成功后即可通过天池平台下载数据，在线提交结果。A榜提供训练数据集和验证数据集，供参赛选手训练模型（请注意，验证集不能参与训练阶段）。同时提供测试数据集A，供参赛选手提交评测结果，参与排名。A榜阶段提交格式在“赛题与数据”页面有详细介绍。

A榜阶段允许参赛队伍每天至多向天池平台提交3次结果，排名实时更新。参赛队伍可在测试A榜截止之前，随时上传测试集A榜的计算结果，管理系统会及时更新各队伍的最新排名情况。测试集A榜不计入比赛最终成绩（即B榜成绩）。

B榜阶段

B榜阶段会提供B榜测试数据集下载，供参赛选手提交评测结果，参与最终排名与评奖。B榜阶段提交规范和A榜阶段保持一致。同样请注意，验证集和测试集A不可用于模型训练阶段。

B榜阶段允许参赛队伍每天至多向天池平台提交5次实时结果评测，每小时更新排行榜，按照评测指标从高到低排序。排行榜将选择参赛队伍在本阶段的历史最优成绩进行排名展示。

获奖队伍材料提交

排名前十名参赛选手需额外提交相关材料以供资格审查，用于评定最终奖励：

• 测试集结果文件，命名为result.txt，具体格式见【赛题与数据】。

• 代码及说明。

• 模型实现的方法描述文档。

• 我们鼓励参赛选手撰写评测论文，优秀的评测论文将被推荐至CCKS主会及对应期刊发表，将有机会在CCKS主会上分享研究成果(CCKS会议注册费需自理)。

若没有提交上述材料，将视为自动放弃参与评奖。评奖资格将会自动顺延至排名紧随其后的队伍。选手需要将以上材料在截止日期前(2023/8/5 23:59:59)发送至邮箱[email protected]。邮件的标题为：“CCKS-评测任务FED-最终提交文件-参赛队名称”，例如"CCKS-评测任务FED-最终提交文件-火箭队"。需要代码可运行，可以供组织者验证。如果方法使用了额外公开的数据资源，要求详细说明。若提供demo地址，则需提供demo地址的有效时限，使用账号密码等信息。

参赛对象

大赛面向全社会开放，个人、高等院校、科研单位、企业、创客团队等人员均可报名参赛。蚂蚁集团员工可参赛但不参与奖金分配。

奖励设置

• 第一名：人民币12000元
• 第二名：人民币8000元
• 第三名：人民币5000元
• 创新奖：人民币5000元
• 备注：优胜者有机会进入2023蚂蚁集团校园招聘终面或者实习生绿色通道。

任务组织

组织者

• 孙梦姝（蚂蚁集团）

• 钟玲 （蚂蚁集团）

• 陈漠沙 （阿里巴巴）

• 陈玉博 （中科院自动化所）

• 曹鹏飞 （中科院自动化所）

• 刘康 （中科院自动化所）

• 赵军 （中科院自动化所）

任务联系人

• 钟玲：[email protected]

• 曹鹏飞：[email protected]

机构

• 蚂蚁集团
• 中科院自动化所

任务交流平台

任务交流平台采用钉钉群的方式。所有报名参赛的参赛队要求有一名成员加入到该讨论群中，后续所有有关本任务评测及数据的相关说明和通知将只在讨论群中发布和交流，不再另行发邮件或更新官网通知，请所有参赛队务必在报名成功之后加入该讨论群。钉钉群加入二维码如下，在钉钉上扫一扫添加：