利用 HTMLTestRunner生成自动化报告

何为HTMLTestRunner

对于软件测试来说，一个清晰明了的测试报告，对测试产出的衡量是尤为重要的。当然，如果这份报告再漂亮点会更好。HTMLTesRunner来源于Python标准库的unittest单元测试框架的一个扩展，下载地址为HTMLTestRunner 。下载过py文件后，放入到Python的安装目录。比如Windows选择放到...\Python35\Lib目录下。

在Python3环境下使用HTMLTestRunner

目前HTMLTestRunner仍然是在Python2环境下开发的版本，所以如果想在Python3下使用的话需要做一些修改：

# Line 94
# import StringIO改为
import io

# Line 539
# self.outputBuffer = StringIO.StringIO()改为
self.outputBuffer = io.StringIO()

# Line 631
# print >>sys.stderr, '\nTime Elapsed: %s' % (self.stopTime-self.startTime)改为
print(sys.stderr, '\nTime Elapsed: %s' % (self.stopTime-self.startTime))

# Line 642
# if not rmap.has_key(cls): 改为
if not cls in rmap:

# Line 766
# uo = o.decode('latin-1') 改为
uo = o

# Line 772
# ue = e.decode('latin-1') 改为
ue = e

HTMLTestRunner的用法

我们直接编写含有最简单的case的例子，来看下HTMLTestRunner的用法。代码如下

from selenium import webdriver
import unittest
from HTMLTestRunner import HTMLTestRunner


class Baidu(unittest.TestCase):
    "百度搜索测试"
    def setUp(self):
        self.driver = webdriver.Chrome()
        self.driver.implicitly_wait(10)
        self.base_url = "https://www.baidu.com"

    def test_baidu_search(self):
        "搜索关键字"
        driver = self.driver
        driver.get(self.base_url)
        driver.find_element_by_id("kw").send_keys("Selenium3")
        driver.find_element_by_id("su").click()

    def tearDown(self):
        self.driver.quit()


testunit = unittest.TestSuite()
testunit.addTest(Baidu("test_baidu_search"))
fp = open('./result.html', 'wb')
runner = HTMLTestRunner(stream=fp, title='测试报告', description='测试执行情况')
runner.run(testunit)
fp.close()

这里采用Python的单元测试框架编写测试用例，setUp和tearDown可以简单理解为测试的准备和回收，而test_baidu_search为一个测试用例。测试报告通过stream写入fp，也就是result.html文件中。运行程序，我们可以在当前目录得到一个测试报告。

测试报告截图

可以清楚的看到测试的执行情况。如果测试用例测试失败会是一种什么情况呢？我们在脚本中插入以下代码，

js = 'document.getElementById("su").style.visibility = "hidden";'
driver.execute_script(js)

这是用Python调用Javascript脚本，将百度的搜索按钮隐藏。显然，测试结果将为Fail，我们打开测试报告：

测试报告截图

可以看到，测试报告清晰的列出失败的case。
但一个好的测试报告不仅要能体现测试的整体结果，更要有强大的可读性。我们打开error，只有被标记的信息才是我们想要定位error的有效信息：即元素不可见

selenium.common.exceptions.ElementNotVisibleException: Message: element not visible

所以，官方的HTMLTestRunner有着极大的局限性。对于一个测试人员来说，自动化脚本本来就是一个用来节省人力和时间的工具，如果再花大量的时间来troubleshooting，显示是得不偿失的。所以我对我的测试报告的要求是，可以生成测试用例的执行结果，也可以定位问题。我希望可以在用例执行出错的时候截图，可以每个关键操作都用log来track。篇幅有限，决定先挖个坑，下一次讲一下我的Github的第一个项目：为HTMLTestRunner增加log和截图功能。