百度搜索首届技术创新挑战赛:搜索模型推理优化

比赛链接:https://aistudio.baidu.com/ai...

赛题背景

近年来基于Transformer模型结构的预训练语言模型技术快速发展,并在NLP领域取得了巨大成功。百度搜索引擎依托与深厚的AI技术积累,搭建了超大规模的模型推理异构加速集群,通过落地Ernie文心模型,为用户带来了显著的搜索体验提升。而在百度搜索Ernie模型的工业化部署实践中,针对复杂Ernie模型结构的高性能推理对于保障亿万用户流畅的搜索体验、控制算力成本开销至关重要。 在业界针对GPU进行复杂模型的异构推理加速也是一个火热的研究话题,多种优秀的技术方案不断涌现。其中既有百度推出灵活易用的PaddlePaddle深度学习全流程工具,也有NVIDIA推出的针对深度学习模型推理极致优化的TensorRT框架。

本赛题会提供一个典型的搜索场景的ERNIE模型,希望参赛者通过各种优化技术,挑战最优的模型推理性能。

任务概述

模型推理优化任务采用相对开放的设定,可自行选用各种模型推理框架,挖掘GPU加速硬件特性,通过异构算子优化、模型量化压缩等各种优化手段,追求最优的模型推理性能(推荐深入应用NVIDIA TensorRT优化技术)。参赛队员请用飞桨AI Studio配置的NVIDIA A100完成参赛作品。

排名计算

初步排名计算: 1)所有参赛选手提交比赛方案与代码至AI Studio,在满足模型效果标准的前提下,由AI Studio评测系统自动评选模型性能指标前N名 2)以标准评测机器上的测试集推理运行时间进行排序。如果运行时间非常接近,在测量误差内,则视为成绩相同。 3)对于AI Studio打榜成绩相同的选手,按提交时间早晚排序。 终选排名计算:评审人员基于创新性打分,结合初步排名技术指标最终确定获奖队伍。

任务定义

给出已经训练好的模型文件,模型结构以ERNIE结构为主,提供PaddlePaddle和ONNX两种模型格式;同时给定一批搜索线上模型推理测试数据,包括用户的实际query、候选文档等,所有数据均已ID化。针对测试集中的数据,要求参评系统完成从测试数据读入、模型加载、模型推理、结果输出的全流程。

数据集

A榜测试集为公开数据集,包含带label数据以及无label数据,总计数千条样本 B榜测试集为非公开数据集,包含数万条样本

数据样例
模型输入:每条样本数据一行,不同域数据和模型多个输入之间均以";“分隔,模型输入的shape维度和数据ID之间用”:“分隔,具体的数据ID以” "分隔。 样例如下:

qid:1;label:3;1 128 1:1 12 13 1557 40574 40997 22553 2 1571 40574 1569 42562 1557 40997 22553 1886 2 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0;1 128 1:0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0;1 128 1:0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0;1 128 1:1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 1.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0

样本数据以";“分割成多列,其中第一列为样本标识qid,第二列为label(无label数据此处为”-“),自第三列以后表示模型的多个输入。在模型的多个输入均以”:"分割成tensor的shape信息和数值value。如示例数据中,模型的第一个输入shape为[1,128,1],第一个输入的数据是[1 12 13 1557 40574 40997…],第二个输入的维度是[1,128,1],数据是[0 1 2 3 4 5…],模型的多个输入依次类推。 对于模型输入的shape信息[1,128,1]表示该样本batch_size=1,输入序列长度为128;如[10,70,1]则表示该样本batch_size=10,输入序列长度为70;选手需注意带label的样本数据输入序列长度均padding到128,不带label数据均padding到了batch内的最长序列长度。 本赛题中所有样本数据batch_size<=10,样本输入序列长度<=128,标识几个特殊ID,0=[PAD],1=[CLS],2=[SEP],3=[MASK],4=[UNK]

评价指标

评估模型精度指标: 1)模型效果:模型效果以效果指标评估损失3%以内,可通过脚本local_evaluate.py根据带label测试数据评估模型的效果指标 2)模型性能:测试集完成推理的耗时评估 考虑真实应用场景,本赛题不可在batch维度上进行单样本拆分或多样本合并推理

你可能感兴趣的:(自然语言处理百度搜索技术大赛)