【数据抽样质检】你的数据标注被“白嫖”过么？

“白嫖”这个词或许不太准确，但是的确因为数据验收在项目进行中或结束后存在极大争议的地方，对于数据服务的需求方拿到的数据是否是真实的符合正确率要求的数据结果也无法得到有效保障，最近经常看到一些纠纷，也有小伙伴留言交流质检方式的问题，目前在数据标注服务中，真正科学有效的落实质检环节的能力相对薄弱，存在的问题也非常突出，例如：

    对于需求服务提供方：

• 大部分需求发布方会要求正确率是多少，但是大部分不会提供或沟通确认抽样检测方案。

• 大部分依赖于需求发布方的主观判断，采用的抽样方式是否科学合理？

• 如何通过可以通过抽样检测的方法在数据生产过程中更准确的把控质量？

    对于需求发布方：

• 如何可以确保回收的数据结果利用最小投入可以保证数据质量？

• 如何减少因数据验收带来的不必要的资源浪费和精力浪费呢？

• 数据结果的正确率如何更为准确的评估出来，更好的服务于算法呢？

    

数据标注服务的特点数据量大、数据服务不可召回、数据处理主观性强、大部分数据处理服务不可全检等，如果是服务提供方一旦数据质检不合格就会出现成本成倍增加的问题，同时需求发布方的质检成本也会大幅增加，造成资源的浪费，所以今天这篇文章就大家聊聊数据标注抽样质检的那点事儿。

 

质检方式其实有很多种，比如全检、按比例检验、抽检等等，全检是效果最好的，但是目前对于数据处理这种大批量数据的质检，完全全检显然是不现实的，但是也不排除特殊情况下进行全检，例如在有争议的时候需要准确的确认数据情况的时候。这篇文章主要聊聊抽样质检在数据标注场景的应用方案供大家参考。本文中主要参考的是工业领域的一些抽样检测方法。

 

一.抽样质检定义

抽样质检：是从一批产品中随机抽取少量产品（样本） 进行检验，据以判断该批产品是否合格的统计方法和理论。它与全面检验不同之处，在于后者需对整批产品逐个进行检验，把其中的不合格品拣出来，而抽样检验则根据样本中的产品的检验结果来推断整批产品的质量。如果推断结果认为该批产品符合预先规定的合格标准，就予以接收；否则就拒收。所以，经过抽样检验认为合格的一批产品中，还可能含有一些不合格品。

 

二.抽样质检方案定义

抽样质检方案（简称抽样方案）是一套规则，依据它去决定如何抽样（一次抽或分几次抽、抽多少），并根据抽出产品检验的结果决定接收或拒收该批产品。在确定了一个抽样方案后，可以计算具有指定质量指标（例如批不合格品率p）的一批产品被接收的概率，接收概率L(p)是p的函数，称为抽查特性函数，简称OC函数，其图形称为抽查特性曲线）

 

三.相关术语

检验：为确保产品或服务的各特性是否合格，测定、检查、试验或度量产品或服务的一种或多种特性，并且与规定要求进行比较的活动。

初次检验：按照标注对批进行的第一次检验。

计数检验：关于规定的一个或一组要求，或者仅将单位产品划分为合格或不合格

单位产品：可单独描述和考察的事物

不合格：不满足规范要求。通常按不合格的严重程度将它们分类，例如：

            A类：最被关注的一种类型的不合格。

            B类：关注程度比A类稍低的一种类型的不合格。

批：聚集在一起的一定数量的某种产品、材料或服务。

批量：批中产品的数量。

样本：取自一个批并且提供有关该批的信息的一个或一组产品。

样本量：样本中产品数量。

抽样计划：抽样方案和从一个抽样方案改变到另一个抽样方案的规则的组合。

抽样系统：抽样方案和抽样计划及抽样程序的集合。其中，抽样计划带有改变抽样方案的规则，而抽样程序则包括选择适当的抽样方案或抽样计划的准则。

正常检验：当过程平均优于接受质量限时抽样方案的一种使用方法。此时抽样方案具有为保证生产方以高概率接收而设计的接收准则。

加严检验：具有比相应正常检验抽样方案接收准则更严厉的接收准则的抽样方案的一种使用方法。

放宽检验：具有样本量比相应正常检验抽样方案小，接收准则和正常检验抽样方案的接收准则相差不大的抽样方案的一种使用方法。

过程平均：在规定的时段或生产量内平均的过程水平。

接收质量限：当一个连续系列批被提交验收抽样时，可允许的最差过程平均质量水平。

 

三.样本的抽取

1. 样本的抽选

   应按照简单随机抽样从批次中抽取作为样品的产品。但是，当批由子批或（按某个合理的准则识别，如：人员等）层组成时，应使用分层抽样。按此方式，各子批或各层样本量与子批或层的大小是层比例的。

2. 抽取样本时间

   样本可在批生产出来以后或者批生产期间抽取。

3. 二次或多次抽样

      使用二次或多次抽样时，每个后续的样本应从同一批的剩余部分中抽选。

 

四.正常、加严和放宽检验转移规则和程序

 

五.抽样方案

 

 

以上是概述了抽样方案的相关信息，主要参考了工业上的抽样检测的方法和国家技术抽样检验程序第一部分：按接收质量限（AQL）检索的逐批检验抽样计划。

 

根据上面所介绍的内容，其实也很容易发现：抽样检验存在不可避免的风险，不管是对于供应商、还是数据需求的发布方都存在其理论值的不可规避风险，也就是说数据服务的提供方和验收方在批次提交或验收的时候，验收方案的选择上，至少要把抽样验收方案自身带来的风险值要小于其要求的项目容错率以下，才能更好的保证其双方的利益。

 

以上仅供各位小伙伴参考，质量把控是一个连续性的事情，抽样检测方法也是在最后如何更准确的反映整体正确率的一个手段而已，还是更希望小伙伴可以在项目的前中后期持续的把控好质量才最稳妥，也欢迎小伙伴针对数据质检方案的问题留言探讨，行业的有序发展不仅仅存在商业竞争环境，同时相关配套研究也要跟上做好辅佐。如果有需要相关资料的小伙伴也可以后台留言或者加微信。

 

---

 

联系小编：

数据集市参与传送门： 数据集市开市啦-快来免费“摆地摊”吧！！！ 【重磅】数据集市-第一摊（甲方）数据需求 【重磅】数据集市-第二摊音频图片数据集（乙方） 【数据集市】莫比嗨客摊主展示 推荐阅读： 免费AI标注工具-医疗影像标注工具 免费AI标注工具-人体关键点工具 新手小白必须了解的数据相关基础知识（一） 多少标注公司会倒在黎明前么？