jira插件-xray、zephyr、synapseRT测试管理试用反馈

  由于公司的发展速度较快，工具组资源有限，开发的用例管理系统不太赶得上公司的发展速度，现公司用的项目管理系统是jira，为了更好的结合项目管理系统，打算从jira用例管理插件入手，现在选出三种插件进行试用：
第一，zephyr
第二，synapseRT
第三，xray

试用方向：

1. 查看各插件，是否有测试计划、测试集、测试用例、测试执行、测试报告、测试分析、测试目录等主要测试相关项；
2. 从测试计划开始，创建各种测试相关项，试用其操作方法；
3. 试用各插件的方便操作性，比如：测试用例是否可以批量导入、缺陷创建方便方法等；
4. 使用各插件进行一次完整项目迭代试用；

第一：zephyr

• 1-1、zephyr测试相关项
  
  image.png
• 1-2、各测试相关项说明

A、zephyr无单独可创建的测试计划issue；
B、zephyr无单独可创建的测试集issue，但是有计划测试循环；
C、zephyr有单独可创建的测试用例；
D、zephyr无单独可创建的测试执行issue，但是在计划测试循环中可以创建测试执行集；
E、zephyr有测试跟踪报告，可根据版本进行测试跟踪报告；
F、zephyr有简易的测试分析页面；
G、zephyr无整体文件目录，只能在版本计划下进行文件目录创建；

• 2-1、创建测试计划

• 只能根据版本进行创建计划测试循环，具体功能创建如图1：
• 测试计划的具体内容，只能写到说明中，如图2；

图1

图2

• 2-2、创建测试集

• 测试集和测试计划都在计划测试循环中，如下图3；

图3

• 2-3、创建测试用例

• 测试用例可以在两个地方进行创建，还可以进行excl导入测试用例；

• A：从zephyr插件中进行创建；

  
  
  image.png

• B：从jira项目中创建；

  
  
  image.png

• 2-4、创建测试执行

• 测试执行可以在两个地方进行；

• A、可以在问题查看页面执行，点击执行按钮，在弹窗中选择执行临时，或者添加到现有测试循环和执行，选择正确的“版本”、一个已存在的“测试循环”，选择“被指定人”后，点击“执行”按钮，问题界面“测试执行”区域处显示可执行测试。如上“添加的内容”图。点击右侧的按钮E，即可执行该测试。

  
  
  image.png
  
  
  image.png

• B、可以从测试循环开始，找到相应的测试即可看见执行按钮E，点击执行按钮E进入执行测试页面，手动选择“执行状态”，添加已存在的缺陷或者新建缺陷，添加备注和附件。

  
  
  image.png

• 2-5、创建测试报告

• 能生成追踪报告，但是需求、测试要相互link，而且缺陷和测试也要相互link，或者是从测试执行中进行创建的，报告如下图：

  
  
  image.png

• 2-6、测试分析

• 能够通过测试指标生成简单的分析报告，用户测试分析及周期执行测试分析，如图：

  
  
  image.png

• 2-7、创建测试目录

• zephyr没有整体的目录结构，只有在测试集/测试计划下面进行创建目录结构，如图：

  
  
  image.png

分析略为简单，报告也略简单，如果未link版本信息，则报告无法展示，报告是根据版本信息进行展示的；

• 3-1、测试用例导入方式

image.png

• 3-2、测试时，创建缺陷的方式

• 第一种，测试执行主页创建

image.png

• 第二种，测试步骤里进行创建

image.png

• 4-1、完整项目迭代试用

• 创建版本demo-zephyr2

  
  
  image.png

• 版本中创建故事，story1、story2、story3

  
  
  image.png

• 创建版本demo-zephyr2的测试循环计划

  
  
  image.png

• 在demo-zephyr2的循环计划中创建测试用例，case1关联story1，case2关联story2，case3关联story3

  
  
  image.png

• 在demo-zephyr2的循环计划中执行测试用例，case1、case2测试通过，case3失败并创建缺陷

  
  
  image.png

• 测试完成，缺陷修复，创建测试报告

  
  
  image.png

• 根据需求进行创建跟踪报告

  
  
  image.png

• 根据缺陷进行创建跟踪报告

  
  
  image.png

第二：SynapseRT

• 1-1、synapseRT测试相关项

image.png

• 1-2、各测试相关项说明

A、synapseRT有单独可创建的测试计划issue；

B、synapseRT无单独可创建的测试集issue，但是有单独页面创建测试集，可做用例仓库；

C、synapseRT有单独可创建的测试用例；

D、synapseRT无单独可创建的测试执行issue；

E、synapseRT有多种测试报告；

F、synapseRT无测试分析页面；

G、synapseRT有整体文件目录在测试集中；

• 2-1、创建测试计划

image.png

• 2-2、创建测试集

image.png

• 2-3、创建测试用例

image.png

• 2-4、创建测试执行

• 在测试计划中点击周期流程开始

  
  
  image.png

• 在测试计划列表中，可以进执行测试用例，还可以创建缺陷；

  
  
  image.png

• 2-5、创建测试报告

image.png

• 基于测试执行的测试报告

  
  
  image.png

image.png

• 2-6、测试分析

无测试分析

• 2-7、创建测试目录

• 无单独测试目录区，在测试集中可以创建类似目录集

  
  
  image.png

• 3-1、测试用例导入方式

• 测试用例可以用Excel导入

  
  
  image.png

• 3-2、测试时，创建缺陷的方式

• 测试执行时，可以创建缺陷

  
  
  image.png

• 由于创建测试步骤的时候，系统报错，按理说，执行测试步骤的时候，应该也可以报缺陷，这里暂时无图片；

• 测试执行创建缺陷和链接缺陷，都失败了，所以无法展示具体链接的缺陷；

• 4-1、完整项目迭代试用

第三：xray

• 各测试相关项说明

  由于之前试用过xray插件，这里只列举xray相关说明，在总结处进行对比说明即可；

• xray可单独创建测试用例，可能是手工或者自动化的测试用例，由测试步骤，行为和预期结果构成；；
• xray可单独创建测试前置条件，一个测试前置条件可以被多个测试用例所引用；
• xray可单独创建测试集合，一个测试用例可能会属于多个测试集合；
• xray可单独创建测试计划，一个正式的测试计划通常被用于为某个给定的项目版本执行；
• xray可单独创建测试执行，测试执行是一个可分配，可规划的任务，用于给一个指定的版本执行一个或多个测试用例，并给出结果报告；
• xray还可以单独创建子测试执行，子测试执行同测试执行拥有相同的功能，不同之处在于子测试执行是一个可以在需求上下文中创建的子任务。在需求单的界面创建一个测试执行可以让用户有能力在敏捷看板中跟踪执行的进展；

总结

三个插件的试用对比说明：

image.png

经过上面的试用，本人更倾向使用snapseRT或xray，因为：

1. zephyr虽操作简单，但无测试仓库，不符合预期；
2. snapseRT和xray都符合预期，但xray测试相关项较多，需要理解的内容较多，操作稍复杂，而且xray缺陷跟踪更偏向单个测试用例；
3. snapseRT相对xray操作简单，并且在测试周期中可查看具体的测试用例与缺陷的情况，但在试用过程中发现一些问题，这些问题如果在公司jira上也存在，则推荐使用xray，但是如果这些问题不存在，推荐操作更简单的snapseRT；

snapseRT遇到的具体问题如下：

1、在测试用例中无法创建测试步骤，如图

image.png

2、测试执行时，无法在测试执行页面进行创建缺陷，如图：

image.png

3、需求和缺陷都无法被搜索出来

需求：

image.png

测试执行页面进行关联缺陷时，无法搜索成功；

image.png

image.png

synapseRT官方说明：https://doc.go2group.com/display/SRT6/Requirements