2019年12月05日国家药品监督管理局医疗器械技术审评中心发布了《肿瘤相关突变基因检测试剂（高通量测序法）性能评价通用注册技术审查指导原则》，该原则为NGS panel 的注册和评审提供了指导意见，其中一些内容是需要重点学习，以下为学习记录。
1 性能评价目的
基于NGS测序原理的体外诊断（In Vitro Diagnosis，IVD）检测可能包括以下步骤：样本收集、处理和保存、核酸提取及处理、文库制备、测序和碱基识别、序列比对、变异识别和过滤、变异注释和解读以及检测报告的生成。同时，某些产品还可能会包括软件部分，但上述相关步骤并不一定被全部包括，应根据产品的具体设计流程来进行判断。对于每个检测步骤，申请人需要结合产品设计和临床意义来建立特定的可接受的质量评价指标和合格判断标准。此外，为满足产品特定预期用途，申请人需通过科学和适当的检测性能研究来确定适用的试剂、消耗品、仪器和软件。基于上述考虑因素，NGS检测产品的设计和工作流程中的任何差异均可能导致结果的不同，因此申请人需要清楚地描述相关检测性能指标。分析性能评价的初衷在于提出产品性能有效性、安全性相关问题的假设，然后通过研究进行确认。
2 NGS 性能评价参考品
2.1阳性参考品及阳性质控品：
2.1.1 阳性参考品
理想状态下，阳性参考品应当包括对所申报产品每个基因型的质控样本。但考虑到基于NGS技术的可检测基因数量较多，申请人应结合产品预期用途、临床意义及基因类型等因素进行针对性和代表性的设计。
对于有明确肿瘤伴随诊断相关的基因，应考虑该类基因参考品设置的合理性和完整性，需包括伴随诊断相关的全部热点基因，建议采用临床样本或细胞系提取的核酸储备液作为原料。
对于具有显著临床意义或潜在临床意义的基因，应考虑代表性问题，明确具有临床诊断意义的基因类型及基因型中不同的变异类型。突变频率、变异类型的选取应具有代表性，包括不同外显子，不同基因变异突变等。
如检测编码区较大且存在非热点区域设计（如大于1M），建议在阳性参考品中考虑对检测整体区域的灵敏度验证（主要关注SNV等），如混合的永生化正常人白细胞DNA储存液等。
不同突变/变异的变异丰度及突变频率，浓度范围设置应具有代表性并提供这样设定的依据。阳性参考品的突变形式及拷贝数需采用有效方法进行确认，并明确接受标准。申请人在设计阳性参考品时可一并考虑检测限参考品的设置及确认方式，并提供相关的依据。
2.1.2 阳性质控品（PC）
模拟病人样本的目标核酸序列，并用于质控整个检测过程，包括核酸提取（如适用）、文库构建、测序和数据分析。目前阳性质控检测和分析过程应与临床样本方式一致。
2.2 阴性参考品及阴性质控品(NC)
阴性参考品及阴性质控品建议为正常临床样本的混合物或细胞系，应明确不含有目标区域肿瘤突变基因。
2.3 精密度参考品
精密度参考品设置要求可参考阳性/阴性参考品。
2.4 PCR 试剂无模板质控品（No Template Control，NTC）（如适用）
申请人应根据申报产品特点设置NTC质控品及检测接受标准，监测检测过程中是否存在污染。
3 NGS 性能评价主要性能指标
分析性能验证包括通过一组预定义性能评价方式，以证明性能是否足以满足其预期用途并符合预定义的性能标准。通常涉及是否符合统计学评价要求，或检测是否存在与患者的疾病相关的变异等。
3.1 准确性
准确性包括对比检测值与被检测值之间一致性。对于基于NGS测序原理的检测，通过与适当的对比方法比较，如核酸测序或其他经过验证的方法，评估申报产品准确性能。
根据待评价方法和对比方法对所有变异的检测结果分别计算 阳性符合率（Positive Percent Agreement，PPA）、阴性符合率（Negative Percent Agreement，NPA）、阳性预测值（Positive Predictive Value，PPV）、阴性预测值（Negative predictive value，NPV）。通过检测评估的每种类型的变异，如单核苷酸多态性（Single Nucleotide Variant，SNV）、插入、结构变异，和测序区域范围（如高度同源、高度多态或其他困难的区域），分别计算PPA、NPA等。
表1注：PPA通过将A（真阳性结果数）除以（A+C）、NPA通过将D（真阴性结果数）除以（B+D）。这些计算不应包含任何无应答或无效应答，无应答或无效应答结果应被单独列出（见表2）。根据适用情况计算每种变体类型以及临床相关变异PPA、NPA等。
临床试验数据主要关注4个点：特异性、敏感性、NPV和PPV。灵敏度为临床测试正确识别患病患者的比例；特异性为临床测试正确识别没有患病的比例；高灵敏度可以减少出现假阴性，高特异性可减少出现假阳性。阴性预测值（NPV）主要反映测试结果呈阴性的受试者没有真正患病的概率；阳性预测值（PPV）主要反映测试结果呈阳性的受试者真正患病的概率。
表2注：准确性研究中无应答或无效应答的百分比应该被估计为（E + F）/ N以及95％的双侧置信区间。此外，应评价阳性结果中的无应答或无效应答E /（A + C + E）和阴性结果中的无应答或无效应答F /（B + D + F）。申请人应设定无应答或无效应答的最小可接受标准并提供依据。样本总数（N = A + B + C + D + E + F）。申请人应对无应答或无效应答产生原因进行分析，注意区分无应答或无效结果与模棱两可结果，如质控正常但结果无法识别的情况等。
3.2 检测限
明确可接受的最低检测限（Limit of Detection，LoD），并明确无效应答或无应答检测结果的可接受标准。为预期用途中包含的每种变异类型建立LoD。如果检测人工混合的样本（如嵌合样本），需要考虑不同的等位基因比率，确定检测限。
试剂LoD的研究中应在常规临床实验室条件和确定的样本类型下进行。通常，LoD值采用分析物最低浓度计算得出，在此浓度下，可从相应检测重复中获得至少95%的阳性检出和可接受水平的无应答或无效应答。当不同的变异类型可能具有不同的LoD时，需要计算不同的序列被测区域范围中的每个变异类型的LoD。NGS检测方法可以同时检测多种类型突变基因，因此灵敏度的设置应根据不同突变基因类型及判读方式进行验证。
3.3 空白限（检测基线，LOB）
应确认不会对报告区域的质量分数或覆盖率产生负面影响。应包含具有代表性的基因区域、变异类型和序列背景进行验证研究。设置空白检测限检测标准，设定评价方案及方法。
3.4 分析特异性（类似于N1样本）
分析特异性是评估产品仅可检测到预期待测变异的能力。根据预期用途和产品设计，一些潜在的内源性或外源性物质干扰和交叉反应或交叉污染可能会对产品检测性能产生影响。
交叉反应（如同源区域、假基因和其他类型的交叉反应序列）可能导致错误检测，从而产生假阳性结果。患者标本的交叉污染可能将其他不正常的序列引入到检测中，从而导致假阳性或假阴性结果。因此，应选择产品预期用途所覆盖样本或样本类型以及DNA提取方法中相关的干扰物质开展研究。同时，应对已知交叉反应的等位基因和同源区域进行评估。
3.5 精密度
精密度研究主要是指使用相同的样本（包括检测临界值附近的样本）在各种特定条件下进行检测（如不同操作员，不同操作条件，不同检测天数，不同仪器等），并考虑检测中主要的变异来源。申请人应评估变异和野生型基因的精密度，其中应分别报告不同检测区域和变异类型的检测值。申请人应使用客观证据和有效的统计方法来验证这些指标设定标准。
对可能导致检测结果多样性的主要因素进行评价，包括但不限于检测多个样本、不同检测批间、不同适用机型、试剂批次、检测天数和操作员。
此外，申请人应考虑外部因素相同的情况下，应进行申报试剂在相同或相似被测物的重复性检测以评价检测结果。申请人需对每个检测条件和检测区域下每个变异类型精密度分别进行报告，还应报告无应答或无效应答的百分比。
4 参考文献
[1]《肿瘤相关突变基因检测试剂（高通量测序法）性能评价通用注册技术审查指导原则》2019.12.05