自动化测试框架对比与选型

目录

一、自动化测试框架对比

二、对比与选型

三、测试框架实例

1.Unnitest + DDT

2.Robot Framwork（Python）

3.TestNG（Java）

---

一、自动化测试框架对比

框架	优点	缺点
Unnitest + DDT（Python）	通过数据驱动的方式，快速地执行大量的测试用例。 提供了很多功能，包括断言、测试装置、测试套件等等，可以满足各种测试需求。 Unittest框架本身提供了丰富的断言方法，可以方便地进行测试结果的判断。 可以与其他Python库无缝集成，比如Mock库、Coverage库等，提高测试的覆盖率和可靠性。 可扩展性，可以通过编写自定义的测试装置和插件来扩展其功能，也可以通过继承Unittest框架的方式，扩展自己的测试框架。	数据集过大时，测试用例的执行时间会变长，影响测试效率。 Python是解释型语言，因此Python unittest的运行速度较慢，特别是在处理大量数据时。 不支持并发执行测试用例，这可能会影响测试效率 对于一些复杂的测试场景，DDT可能无法满足需求，需要使用其他测试方法。 在使用DDT时，需要注意数据集的格式和数据类型，否则可能会出现测试用例执行失败的情况。 对于初学者来说，DDT的使用可能需要一定的学习成本。
Robot Framwork（Python）	简单易用，测试脚本编写简单，可读性强，可维护性高。 支持多种测试类型，包括UI测试、API测试、数据库测试等。 支持多种测试库，包括Selenium、Appium、Requests等，可以满足不同的测试需求。 支持关键字驱动测试，可以让测试人员更加专注于业务逻辑，而不需要关注底层技术实现。 支持多种输出格式，包括HTML、XML、JSON等，方便测试结果的查看和分析。	对于一些复杂的测试场景，Robot Framework可能无法满足需求，需要使用其他测试框架或自行开发。 对于初学者来说，需要一定的学习成本，特别是对于Python语言不熟悉的测试人员来说。 使用Robot Framework需要安装一些必要的依赖库，可能会增加一些额外的工作量。 Robot Framework的执行效率相对较低，对于大规模测试用例的执行时间会比较长。
TestNG（Java）	支持多线程测试，可以提高测试效率。 支持测试用例的分组和依赖关系，可以更加灵活地管理测试用例。 支持测试报告的生成和自定义，可以方便地查看测试结果和分析测试数据。 支持多种注解和配置方式，可以满足不同的测试需求。 支持与其他Java开发框架的无缝集成，比如Spring、Hibernate等。	对于初学者来说，需要一定的学习成本，特别是对于Java语言不熟悉的测试人员来说。 TestNG的执行效率相对较低，对于大规模测试用例的执行时间会比较长。 TestNG的文档和社区支持相对较少，可能会遇到一些难以解决的问题。 TestNG的一些高级特性，比如分组和依赖关系，需要一定的理解和掌握，否则可能会出现测试用例执行失败的情况。 TestNG的一些特性需要使用XML文件进行配置，可能不太友好，需要一定的经验和技巧。

---

二、对比与选型

• TestNG基于Java语言，具有强大的测试报告和日志功能，并支持并发测试和数据驱动测试。适用大型项目和复杂场景，更方便地管理和组织测试用例。在需要进行大规模、高并发的测试场景下，可以选择TestNG作为测试框架。
• Robot Framework是基于Python的通用测试框架，具有易于使用的语法和丰富的库，可以支持Web、API、移动和桌面应用程序的测试。它还具有强大的测试报告和日志功能，并支持数据驱动测试和关键字驱动测试。如果项目跨多个平台和应用测试，并且需要快速编写测试用例和生成详细的测试报告，那么选择Robot Framework框架。
• Unnitest是Python自带的单元测试框架，具有轻量级和易于使用的特点，适用于小型项目和简单场景。可以编写和运行简单的测试用例，并生成基本的测试报告和日志。在需要进行简单的单元测试或集成测试场景下，可以使用Unnitest作为测试框架。

综上所述，从项目需求和技术栈两个方面考虑，TestNG或Robot Framework支持更多功能和多种测试类型，Unnittest相对来说仅支持简单单元测试或集成测试，从长远的测试体系建设来看，前者是更优的选择。

---

三、测试框架实例

1.Unnitest + DDT

使用 Unittest + DDT 编写的测试用例实例：

功能点：登录页面，包含用户名和密码的输入框以及一个登录按钮。我们需要编写一个测试用例，来测试不同的用户名和密码组合是否能够成功登录。

（1）安装DDT库，使用以下命令进行安装： ``` pip install ddt ```

（2）编写一个测试用例，使用@ddt装饰器来标记测试方法，并使用@data和@unpack装饰器来提供测试数据。

以下是一个示例代码： 

```python import unittest from ddt import ddt, data, unpack @ddt class LoginTest(unittest.TestCase):     @data(("user1", "password1"), ("user2", "password2"), ("user3", "password3"))     @unpack     def test_login(self, username, password):         # 打开登录页面         driver.get("https://example.com/login")         # 输入用户名和密码         driver.find_element_by_name("username").send_keys(username)         driver.find_element_by_name("password").send_keys(password)         # 点击登录按钮         driver.find_element_by_name("submit").click()         # 验证登录是否成功         self.assertTrue(driver.find_element_by_css_selector("div.success-message").is_displayed()) ```

在上面的代码中，我们使用了@data和@unpack装饰器来提供测试数据。每个元组代表一个测试数据，元组中的第一个元素是用户名，第二个元素是密码。在测试方法中，我们首先打开登录页面，然后输入用户名和密码，点击登录按钮，最后验证登录是否成功。

这个实例中，我们使用了DDT库来提供测试数据，可以轻松地测试多种情况下的登录行为。

---

2.Robot Framwork（Python）

当涉及到复杂场景时，Robot Framework可以很好地处理。使用Robot Framework编写测试用例的具体实例：

功能点：一个网站的注册功能，要求用户输入用户名、电子邮件、密码和确认密码。在这个场景中，我们需要测试以下几个方面：

1. 用户名、电子邮件、密码和确认密码都必须填写。
2. 用户名和电子邮件必须是唯一的。
3. 密码和确认密码必须匹配。
4. 用户名、电子邮件和密码必须符合一定的格式要求。

以下是一个示例代码：

``` *** Settings *** Library  SeleniumLibrary *** Variables *** ${BROWSER}  chrome ${URL}  http://example.com/register *** Test Cases *** Valid Registration     [Tags]  happy-path     Open Browser  ${URL}  ${BROWSER}     Input Text  username_field  testuser     Input Text  email_field  [email protected]     Input Text  password_field  testpassword     Input Text  confirm_password_field  testpassword     Click Button  register_button     Wait Until Page Contains  Welcome to the site, testuser! Invalid Registration - Missing Required Fields     [Tags]  sad-path     Open Browser  ${URL}  ${BROWSER}     Input Text  email_field  [email protected]     Input Text  password_field  testpassword     Input Text  confirm_password_field  testpassword     Click Button  register_button     Wait Until Page Contains  Please fill in all required fields. Invalid Registration - Duplicate Username     [Tags]  sad-path     Open Browser  ${URL}  ${BROWSER}     Input Text  username_field  testuser     Input Text  email_field  [email protected]     Input Text  password_field  testpassword     Input Text  confirm_password_field  testpassword     Click Button  register_button     Wait Until Page Contains  Username already exists. Invalid Registration - Duplicate Email     [Tags]  sad-path     Open Browser  ${URL}  ${BROWSER}     Input Text  username_field  testuser2     Input Text  email_field  [email protected]     Input Text  password_field  testpassword     Input Text  confirm_password_field  testpassword     Click Button  register_button     Wait Until Page Contains  Email already exists. Invalid Registration - Passwords Do Not Match     [Tags]  sad-path     Open Browser  ${URL}  ${BROWSER}     Input Text  username_field  testuser2     Input Text  email_field  [email protected]     Input Text  password_field  testpassword     Input Text  confirm_password_field  testpassword2     Click Button  register_button     Wait Until Page Contains  Passwords do not match. Invalid Registration - Invalid Username Format     [Tags]  sad-path     Open Browser  ${URL}  ${BROWSER}     Input Text  username_field  testuser@     Input Text  email_field  [email protected]     Input Text  password_field  testpassword     Input Text  confirm_password_field  testpassword     Click Button  register_button     Wait Until Page Contains  Username must contain only letters and numbers. Invalid Registration - Invalid Email Format     [Tags]  sad-path     Open Browser  ${URL}  ${BROWSER}     Input Text  username_field  testuser3     Input Text  email_field  testuser3example.com     Input Text  password_field  testpassword     Input Text  confirm_password_field  testpassword     Click Button  register_button     Wait Until Page Contains  Email must be a valid email address. ```

在这个例子中，我们使用SeleniumLibrary打开浏览器，输入测试数据并单击注册按钮。我们还使用“Wait Until Page Contains”关键字来等待页面加载完毕并检查页面上是否出现了特定的文本。使用“Tags”来标记每个测试用例，以便在运行测试时可以选择性地运行它们。

---

3.TestNG（Java）

测试点：一个电商网站的购物车功能，其中包括以下几个测试步骤：

1. 用户登录网站
2. 用户搜索商品并添加到购物车
3. 用户查看购物车并验证商品信息
4. 用户删除购物车中的商品

下面是一个示例代码：

```java import org.testng.annotations.Test; import org.testng.Assert; public class ShoppingCartTest {     @Test(priority = 1)     public void testLogin() {         // 执行用户登录操作         // 验证登录成功         Assert.assertTrue(isLoggedIn());     }     @Test(priority = 2)     public void testAddToCart() {         // 执行搜索商品并添加到购物车操作         // 验证商品已成功添加到购物车         Assert.assertTrue(isItemAddedToCart());     }     @Test(priority = 3)     public void testViewCart() {         // 执行查看购物车操作         // 验证购物车中包含正确的商品信息         Assert.assertTrue(isCartContainsCorrectItems());     }     @Test(priority = 4)     public void testRemoveFromCart() {         // 执行删除购物车中的商品操作         // 验证购物车中不再包含已删除的商品         Assert.assertTrue(isItemRemovedFromCart());     }     // 辅助方法     private boolean isLoggedIn() {         // 验证用户是否已登录         return true;     }     private boolean isItemAddedToCart() {         // 验证商品是否已成功添加到购物车         return true;     }     private boolean isCartContainsCorrectItems() {         // 验证购物车中是否包含正确的商品信息         return true;     }     private boolean isItemRemovedFromCart() {         // 验证购物车中是否不再包含已删除的商品         return true;     } } ```

该用例使用TestNG的@Test注释来标记每个测试方法，并使用priority属性来指定测试方法的执行顺序。还使用Assert类验证每个测试步骤是否成功执行，确保购物车功能的各个方面都得到正确的测试和验证。