Google Test(GTest)使用方法和源码解析——结果统计机制分析

        在分析源码之前，我们先看一个例子。以《Google Test(GTest)使用方法和源码解析——概况 》一文中最后一个实例代码为基准，修改最后一个“局部测试”结果为错误。（转载请指明出于breaksoftware的csdn博客）

class ListTest : public testing::Test {
 protected:
  virtual void SetUp() {
	  _m_list[0] = 11;
	  _m_list[1] = 12;
	  _m_list[2] = 13;
  }
  int _m_list[3];
};
TEST_F(ListTest, FirstElement) {
  EXPECT_EQ(11, _m_list[0]);
}

TEST_F(ListTest, SecondElement) {
  EXPECT_EQ(12, _m_list[1]);
}

TEST_F(ListTest, ThirdElement) {
  EXPECT_EQ(0, _m_list[2]);
}

        然后我们观察其输出，从下面的结果我们可以分析出GTest帮我们统计了：

• 有多少测试用例
• 一个测试用例中有多少测试特例
• 一个测试用例中有多少测试特例成功
• 一个测试用例中有多少测试特例失败
• 失败的原因、位置、期待结果、实际结果

Running main() from gtest_main.cc
[==========] Running 3 tests from 1 test case.
[----------] Global test environment set-up.
[----------] 3 tests from ListTest
[ RUN      ] ListTest.FirstElement
[       OK ] ListTest.FirstElement (0 ms)
[ RUN      ] ListTest.SecondElement
[       OK ] ListTest.SecondElement (0 ms)
[ RUN      ] ListTest.ThirdElement
../samples/sample11_unittest.cc:86: Failure
      Expected: 0
To be equal to: _m_list[2]
      Which is: 13
[  FAILED  ] ListTest.ThirdElement (0 ms)
[----------] 3 tests from ListTest (0 ms total)

[----------] Global test environment tear-down
[==========] 3 tests from 1 test case ran. (0 ms total)
[  PASSED  ] 2 tests.
[  FAILED  ] 1 test, listed below:
[  FAILED  ] ListTest.ThirdElement

 1 FAILED TEST

        在 《Google Test(GTest)使用方法和源码解析——自动调度机制分析》一文中，我们分析了，测试用例对象指针将保存在类UnitTestImpl中

// The vector of TestCases in their original order.  It owns the
// elements in the vector.
  std::vector<TestCase*> test_cases_;

        那么结果的统计，肯定也是针对这个vector变量的。实际也是如此，我们在代码中找到如下函数，从函数注释，我们就可以知道其对应于上面输出中那个结果的统计

// Gets the number of successful test cases.
int UnitTestImpl::successful_test_case_count() const {
  return CountIf(test_cases_, TestCasePassed);
}

// Gets the number of failed test cases.
int UnitTestImpl::failed_test_case_count() const {
  return CountIf(test_cases_, TestCaseFailed);
}

// Gets the number of all test cases.
int UnitTestImpl::total_test_case_count() const {
  return static_cast<int>(test_cases_.size());
}

// Gets the number of all test cases that contain at least one test
// that should run.
int UnitTestImpl::test_case_to_run_count() const {
  return CountIf(test_cases_, ShouldRunTestCase);
}

// Gets the number of successful tests.
int UnitTestImpl::successful_test_count() const {
  return SumOverTestCaseList(test_cases_, &TestCase::successful_test_count);
}

// Gets the number of failed tests.
int UnitTestImpl::failed_test_count() const {
  return SumOverTestCaseList(test_cases_, &TestCase::failed_test_count);
}

// Gets the number of disabled tests that will be reported in the XML report.
int UnitTestImpl::reportable_disabled_test_count() const {
  return SumOverTestCaseList(test_cases_,
                             &TestCase::reportable_disabled_test_count);
}

// Gets the number of disabled tests.
int UnitTestImpl::disabled_test_count() const {
  return SumOverTestCaseList(test_cases_, &TestCase::disabled_test_count);
}

// Gets the number of tests to be printed in the XML report.
int UnitTestImpl::reportable_test_count() const {
  return SumOverTestCaseList(test_cases_, &TestCase::reportable_test_count);
}

// Gets the number of all tests.
int UnitTestImpl::total_test_count() const {
  return SumOverTestCaseList(test_cases_, &TestCase::total_test_count);
}

// Gets the number of tests that should run.
int UnitTestImpl::test_to_run_count() const {
  return SumOverTestCaseList(test_cases_, &TestCase::test_to_run_count);
}

        CountIf函数返回符合条件的测试用例个数，SumOverTestCaseList函数返回符合条件的所有测试特例的个数。其实现也非常简单，我们以CountIf为例

template <class Container, typename Predicate>
inline int CountIf(const Container& c, Predicate predicate) {
  // Implemented as an explicit loop since std::count_if() in libCstd on
  // Solaris has a non-standard signature.
  int count = 0;
  for (typename Container::const_iterator it = c.begin(); it != c.end(); ++it) {
    if (predicate(*it))
      ++count;
  }
  return count;
}

        这种写法的一个好处就是我们封装了函数调用迭代器中元素，从而不用到处都是遍历。然后我们将重点放在传入的函数指针，以TestCaseFailed为例

// Returns true iff the test case failed.
static bool TestCaseFailed(const TestCase* test_case) {
  return test_case->should_run() && test_case->Failed();
}

        它和TestCasePassed区别就是将test_case调用的Failed函数变成Passed函数。而TestCase的Passed函数只是对Failed函数取反，所以最终还是调用到Failed中，我们看下其实现

bool Failed() const { return failed_test_count() > 0; }
int TestCase::failed_test_count() const {
  return CountIf(test_info_list_, TestFailed);
}

        可见TestCase测试用例对象最终还是要对其下的测试特例对象指针逐个调用TestFailed

  // Returns true iff test failed.
  static bool TestFailed(const TestInfo* test_info) {
    return test_info->should_run() && test_info->result()->Failed();
  }

        经过这层传递，最终逻辑运行到TestResult的Failed函数中

bool TestResult::Failed() const {
  for (int i = 0; i < total_part_count(); ++i) {
    if (GetTestPartResult(i).failed())
      return true;
  }
  return false;
}

        GetTestPartResult获取的一个测试特例中“局部测试”的结果。比如

TEST(IsPrimeTest, Negative) {
  // This test belongs to the IsPrimeTest test case.
  EXPECT_FALSE(IsPrime(-1));
  EXPECT_FALSE(IsPrime(-2));
  EXPECT_FALSE(IsPrime(INT_MIN));
}

        这个测试特例中有三个“局部测试”（3、4和5行）。它们的结果保存在TestResult的（实际上并不是所有情况都保存，我们将在之后分析）

// The vector of TestPartResults
  std::vector<TestPartResult> test_part_results_;

        现在我们看到了数据的统计逻辑，接下来我们需要关注源码是如何将结果填充到test_part_results_中的。

        在源码中，TestResult只提供了AddTestPartResult方法用于保存“局部测试”结果。而调用该方法的地方只有一处

void DefaultGlobalTestPartResultReporter::ReportTestPartResult(
    const TestPartResult& result) {
  unit_test_->current_test_result()->AddTestPartResult(result);
  unit_test_->listeners()->repeater()->OnTestPartResult(result);
}

        其调用逻辑最终会归于如下逻辑

void AssertHelper::operator=(const Message& message) const {
  UnitTest::GetInstance()->
    AddTestPartResult(data_->type, data_->file, data_->line,
                      AppendUserMessage(data_->message, message),
                      UnitTest::GetInstance()->impl()
                      ->CurrentOsStackTraceExceptTop(1)
                      // Skips the stack frame for this function itself.
                      );  // NOLINT
}

        到此，我们只要关注于AssertHelper的赋值符就行了。但是事情并不像我们想象的那么简单，甚至我认为GTest在这儿实现有个缺陷。为什么这么说呢？我们搜索完代码，发现该类的赋值符调用只有一处

#define GTEST_MESSAGE_AT_(file, line, message, result_type) \
  ::testing::internal::AssertHelper(result_type, file, line, message) \
    = ::testing::Message()

        调用GTEST_MESSAGE_AT_的地方只有

// Generates a nonfatal failure at the given source file location with
// a generic message.
#define ADD_FAILURE_AT(file, line) \
  GTEST_MESSAGE_AT_(file, line, "Failed", \
                    ::testing::TestPartResult::kNonFatalFailure)

        和

#define GTEST_MESSAGE_(message, result_type) \
  GTEST_MESSAGE_AT_(__FILE__, __LINE__, message, result_type)

        对ADD_FAILURE_AT的调用只有一处，且只是在出错时。而对GTEST_MESSAGE_的调用则有三处

#define GTEST_FATAL_FAILURE_(message) \
  return GTEST_MESSAGE_(message, ::testing::TestPartResult::kFatalFailure)

#define GTEST_NONFATAL_FAILURE_(message) \
  GTEST_MESSAGE_(message, ::testing::TestPartResult::kNonFatalFailure)

#define GTEST_SUCCESS_(message) \
  GTEST_MESSAGE_(message, ::testing::TestPartResult::kSuccess)

        GTEST_FATAL_FAILURE_和GTEST_NONFATAL_FAILURE_都将在出错时被调用，如EXPECT_EQ在内部是这么调用的

#define EXPECT_PRED_FORMAT2(pred_format, v1, v2) \
  GTEST_PRED_FORMAT2_(pred_format, v1, v2, GTEST_NONFATAL_FAILURE_)

        但是对GTEST_SUCCESS_的调用只有一处

// Generates a success with a generic message.
#define GTEST_SUCCEED() GTEST_SUCCESS_("Succeeded")

        GTEST_SUCCEED并不会出现在每个判断的宏中。比如EXPECT_EQ的实现是

#define EXPECT_EQ(val1, val2) \
  EXPECT_PRED_FORMAT2(::testing::internal:: \
                      EqHelper<GTEST_IS_NULL_LITERAL_(val1)>::Compare, \
                      val1, val2)

        EXPECT_PRED_FORMAT2宏中只处理了出错的情况——调用GTEST_NONFATAL_FAILURE_——从而触发AssertHelper的赋值符——将结果保存到“局部测试”结果集合中。而正确的情况下并不会保存结果到“局部测试”结果集中！！但是TestResult计算局部测试个数的函数注释说明它包含了所有情况的结果

// Gets the number of all test parts.  This is the sum of the number
// of successful test parts and the number of failed test parts.
int TestResult::total_part_count() const {
  return static_cast<int>(test_part_results_.size());
}

        所以，它的注释是错误的！！只有出错的情况会保存“局部测试”错误结果，或者人为调用GTEST_SUCCEED保存“局部测试”正确结果，而其他情况不保存。我一直觉得test_part_results_保存的数据有点混乱，没有准确的表达其意义。

        但是这种混乱的保存为什么不会影响测试结果统计呢？我们再看下TestResult的Failed函数

bool TestResult::Failed() const {
  for (int i = 0; i < total_part_count(); ++i) {
    if (GetTestPartResult(i).failed())
      return true;
  }
  return false;
}

        当我们没有人为调用GTEST_SUCCEED保存“局部测试”正确结果时，test_part_results_只保存了错误结果。如果没有错误结果，total_part_count函数返回0。而从Failed函数返回false，即没有出错。
        到此，我们将结果统计的实现讲完了。