自动化测试总结之兼容性测试

概述

兼容性测试的目标是覆盖所有操作系统所包含的全部平台，及同一平台下尽可能多的机型。简单的说有两个指标：一、平台覆盖率 二、同一平台下的机型覆盖率。

就Android而言 平台覆盖率为：通常Android 4~7时 为100%, 机型覆盖率：每种平台下所能覆盖的机型，根据公司的对测试的投入，其覆盖率越高越好。

理想很丰富，现实很骨干。通常公司对于测试的投入是有限的，对测试设备的投入更是少的可怜。所以不可能无限制的去购买测试设备来达到理想的覆盖率。基于投入对测试资金有限的前提下，我们就得把好钢用在刀刃上。根据客观有效的数据分析出重点需要覆盖的平台及各系统优先需要覆盖的机型。

下面就总结一下工作中我是如何在兼容性测试中做平台及机型覆盖的，以及如何充分利用现有的测试设备。

兼容性测试（设备机型&平台）

机型覆盖

根据线上(mobile.umeng.com)的近90天内用户设备统计分析 列出启动次数按降序排列的设备列表，得到初步数据，以便进一步过滤。

覆盖要达到的标准为：（根据目前公司可投入测试资源的情况）

            Android 设备列表中的设备累计启动次数占比和 > 25%，Android设备多而杂且测试投入有限，所以占比和比iOS低

            iOS > 85%

以上述标准为依据，最终确定Android 设备列表Top 10, iOS为 Top 5

Android Device List

iOS Device List

经初步数据筛选，为了达设备覆盖的要求。 Android需要覆盖的设备10台，iOS需要覆盖的设备为5台。 共计15台设备。

平台覆盖

根据客观的线上数据分析出要覆盖的主要平台版本

覆盖要达到的标准为
        Android > 85%

        iOS > 80%

以上述标准为依据，最终确定Android 平台列表为Top 10, iOS为 Top 5

iOS platform list

Android Platform List

由此可以得出 Android上需要覆盖的高优级平台版本为 Android 7,6,5(其中为可选）, iOS 为 10(10.2-10.3 差异不是很大所以统称为10）

结论

根据现有的测试投入且不明显降低覆盖率的前提下，选择以下设备做为兼容性测试

iOS 

       设备覆盖率：34%  平台覆盖率：59.2%

       iPhone 6 和 iPhone 7 Plus  平台版10.3.3

Android 

       设备覆盖率：19.38%  平台覆盖率约为：80%

Android Device List

待以后测试投入增加，再根据平台及设备的列表增加设备以提高覆盖率