iOS单元测试：Specta + Expecta + OCMock + OHHTTPStubs + KIF
框架选择
参考这篇选型文章， http://zixun.github.io/blog/2015/04/11/iosdan-yuan-ce-shi-xi-lie-dan-yuan-ce-shi-kuang-jia-xuan-xing/，虽然结论不一定完全适用，但是关于框架对比的地方还是值得阅读的，基于这篇文章，排除Kiwi框架之后，决定参考一些项目的源代码，了解他们使用的测试方面的框架。
首先，参考 https://github.com/artsy/eigen开源项目，其内部整体结构非常完整，开发流程也非常专业，至少比我知道的大多数国内团队都要专业：
eigen: Specta + OCMock + Expecta + OHHTTPStubs + FBSnapshotTestCase + "Expecta+Snapshots" + "XCTest+OHHTTPStubSuiteCleanUp”。
其次，参考公司内部别的项目使用情况，发现使用以下框架来做测试方面的事情： Specta + Expecta + OCMock + OHTTPStubs + KIF(UI Test)
so，我决定选择 Specta (BDD框架) + Expecta(断言框架) + OCMock(mock框架) + OHHTTPStubs(http stub框架) + KIF(UI Test) 做测试框架来学习。
XCTest简介
由于我决定不直接使用XCTest作为测试框架，但是又由于Specta是基于XCTest进行封装的，所以对XCTest做一个基础的了解还是有必要的。
参考:
1. https://developer.apple.com/library/ios/documentation/DeveloperTools/Conceptual/testing_with_xcode
2. http://www.objc.io/issues/15-testing/xctest/，翻译： http://objccn.io/issue-15-2/
3. http://zixun.github.io/blog/2015/04/16/iosdan-yuan-ce-shi-xi-lie-dan-yuan-ce-shi-bian-ma-gui-fan/
BDD框架 — Specta
1. 简介
目前主流的BDD框架，这些BDD框架在语法层面几乎是相同的，主要的区别在于他们的可配置能力和绑定的组件。下面三个OC BDD框架相对于官方框架XCTest都具有更好的可读性，另外现在已经有了比较流行的swift BDD框架： https://github.com/railsware/Sleipnir 和 https://github.com/Quick/Quick。
- https://github.com/specta/specta
- https://github.com/kiwi-bdd/Kiwi
- https://github.com/pivotal/cedar
关于specta与kiwi框架的对比，参考： http://appleprogramming.com/blog/2014/01/18/tdd-with-specta-and-expecta/，这篇文章的结论是specta相对于kiwi有更加优雅的语法，对于我这种刚开始使用的新手，果断采用specta这种各种完胜的框架。Specta框架具有一下特点:
- An OC RSpec-like BDD DSL
- Quick and easy set up
- Build on top of XCTest
- Excellent Xcode integration
2. Specta BDD DSL语法简介
可以参考 https://github.com/specta/specta 官网和 https://github.com/artsy/eigen项目中的test case代码来学习语法
1) SpecBegin 声明了一个测试类，SpecEnd 结束了类声明
2) describe (context) 块声明了一组实例
3) it (example/specify) 是一个单一的例子
4) beforeAll 是一个运行于所有同级块之前的块，只运行一次。afterAll 与beforeAll相反，是在所有同级块之后运行的块，只运行一次。
5) beforeEach/afterEach，在每个同级块运行的时候，都会运行一次，而beforeAll/afterAll只会运行一次
6) it/waitUntil/done()，异步调用，注意完成异步操作之后，必须调用done()函数，如下：
-
it( @"should do some stuff asynchronously", ^{
waitUntil(^(DoneCallback done) {
// Async example blocks need to invoke done() callback.
done();
});
});
7) sharedExamplesFor 和 itShouldBehaveLike结合在一起，可以实现在不同的spec之间共享同一套test case，参考： http://artandlogic.com/2014/02/specta-shared-behavior/；sharedExamplesFor 设置多个spec之间共享的test case，第一个参数作为标识符。通过itShouldBehaveLike来运行spec中test case，第一个参数传入sharedExamplesFor设置时使用的标识符。注意，在describe局部使用sharedExamplesFor定义shared examples，可以在它作用域内覆盖全局的shared examples。
8) pending，只打印一条log信息，不做测试。这个语句会给出一条警告，可以作为一开始集中书写行为描述时还未实现的测试的提示。
断言框架 — Expecta
用法可以参考开源项目： https://github.com/artsy/eigen，从中找到对应的代码学习是最好的方式。如果需要找到更多更全面的用法，可以去项目官方网站： https://github.com/specta/expecta。截取一段eigen上面代码，基本上就可以了解Expecta框架的基本用法了，如下图中 expect(mapView.nextZoomScale).to.equal(mapView.annotationZoomScaleThreshold)
mock框架 — OCMock
了解OCMock 2.x中的详细features，可以参考: http://ocmock.org/features/；了解OCMock 3.x的详细API，可以参考： http://ocmock.org/reference/；
什么是mock，refer: http://hackazach.net/code/2014/03/03/effective-testing-with-ocmock/：
In a modern Object Oriented system, the component under test will likely have several object dependencies. Instead of instantiating dependencies as concrete classes, we use mocks. Mocks are ‘fake’ objects with pre-defined behavior to stand-in for concrete objects during testing. The component under test does not know the difference! With mocks, a component can be tested with confidence that it behaves as designed within a larger system.
OCMock框架的用法也比较简单，由于我个人时间比较紧张，只能抽出一两天的时间学习测试部分的知识，就不多说了，下面几篇文章都说的比较清楚，可以参考： http://zixun.github.io/blog/2015/04/16/iosdan-yuan-ce-shi-xi-lie-yi-ocmockchang-jian-shi-yong-fang-shi/ ，学习2.x和3.x的API的基本使用。另外可以参考开源项目 https://github.com/artsy/eigen，学习其中的OCMock API的使用，框架使用比较简单，看看就懂了，不需要多说。
eigen的一个test case，注意在执行完毕的时候，需要调用stopMocking。OCMockObject是基于runtime方法转发实现的，mock一个对象，就是对这个对象的方法进行转发的过程，执行完毕需要调用stopMocking，否则会影响其他test case的执行。下面可以看出一个OCMock基本过程：获得OCMockObject -> stub方法 -> 设置expect -> verify校验执行结果 -> 调用stopMocking
下面有一个mock一个alert view show的过程
参考：
- http://ocmock.org/reference/
- http://ocmock.org/features/
- http://ocmock.org/introduction/
- http://www.archive.alexvollmer.com/posts/2010/06/28/making-fun-of-things-with-ocmock/
- http://hackazach.net/code/2014/03/03/effective-testing-with-ocmock/，翻译：http://zixun.github.io/blog/2015/04/16/iosdan-yuan-ce-shi-xi-lie-yi-ocmockchang-jian-shi-yong-fang-shi/
- http://engineering.aweber.com/improving-ios-unit-tests-with-ocmock/
OHHTTPStubs
官方： https://github.com/AliSoftware/OHHTTPStubs。这个框架是基于NSURLProtocol实现的，之前正好看过这部分的只是，整理来说，这个框架的源代码并不复杂，但实现还是比较巧妙的。详细的介绍和使用，在github上面介绍的非常清楚，框架本身使用也比较简单：
[OHHTTPStubs
stubRequestsPassingTest:^
BOOL(
NSURLRequest *request) {
return [request.URL.host isEqualToString: @"mywebservice.com"];
} withStubResponse:^OHHTTPStubsResponse*( NSURLRequest *request) {
// Stub it with our "wsresponse.json" stub file (which is in same bundle as self)
NSString* fixture = OHPathForFile( @"wsresponse.json", self. class);
return [OHHTTPStubsResponse responseWithFileAtPath:fixture
statusCode: 200 headers:@{ @"Content-Type": @"application/json"}];
return [request.URL.host isEqualToString: @"mywebservice.com"];
} withStubResponse:^OHHTTPStubsResponse*( NSURLRequest *request) {
// Stub it with our "wsresponse.json" stub file (which is in same bundle as self)
NSString* fixture = OHPathForFile( @"wsresponse.json", self. class);
return [OHHTTPStubsResponse responseWithFileAtPath:fixture
statusCode: 200 headers:@{ @"Content-Type": @"application/json"}];
}];
这个框架的主要使用方法就是上面这个示例，用法很明显易用。结合unit test使用的时候，需要使用网络请求的时候，可以在it或者beforeAll或者beforeEach的时候进行stub request，即上面这段代码的行为。但是不要忘记的是，需要在tear down的时候，即specta的afterAll的时候，记得调用 [OHHTTPStubs removeAllStubs] 。
注意，这里只是使用NSURLProtocol来stub request，不会影响被测试的请求接口的测试，请求是异步的话，可以使用Specta的it/waitUntil/done()流程对请求进行测试，如果使用XCTest的话，OHTTPStubs给出了一个wiki解决，使用XCTestExpectation来搞定，我觉得挺有意思：
- (
void)testFoo
{
NSURLRequest* request = ...
XCTestExpectation* responseArrived = [ self expectationWithDescription: @"response of async request has arrived"];
__block NSData* receivedData = nil;
[ NSURLConnection sendAsynchronousRequest:request
queue:[ NSOperationQueue mainQueue]
completionHandler:^( NSURLResponse* response, NSData* data, NSError* error)
{
receivedData = data;
[responseArrived fulfill];
}
];
[ self waitForExpectationsWithTimeout:timeout handler:^{
// By the time we reach this code, the while loop has exited
// so the response has arrived or the test has timed out
XCTAssertNotNil(receivedData, @"Received data should not be nil");
}];
}
{
NSURLRequest* request = ...
XCTestExpectation* responseArrived = [ self expectationWithDescription: @"response of async request has arrived"];
__block NSData* receivedData = nil;
[ NSURLConnection sendAsynchronousRequest:request
queue:[ NSOperationQueue mainQueue]
completionHandler:^( NSURLResponse* response, NSData* data, NSError* error)
{
receivedData = data;
[responseArrived fulfill];
}
];
[ self waitForExpectationsWithTimeout:timeout handler:^{
// By the time we reach this code, the while loop has exited
// so the response has arrived or the test has timed out
XCTAssertNotNil(receivedData, @"Received data should not be nil");
}];
}
由于NSURLProtocol的局限性，OHHTTPStubs没法用来测试background sessions和模拟数据上传。
F.I.R.S.T 原则
优秀测试实践原则， https://pragprog.com/magazines/2012-01/unit-tests-are-first：
- Fast — 测试应该能够被经常执行
- Isolated — 测试本身不能依赖于外部因素或其他测试的结果
- Repeatable — 每次运行测试都应该产生相同的结果
- Self-verifying — 测试应该依赖于断言，不需要人为干预
- Timely — 测试应该和生产代码一同书写
如何将测试结果收益最大化：不要将测试和实现细节耦合在一起。
- 不要测试私有方法
- 不要Stub私有方法
- 不要Stub外部库
- 正确地Stub依赖
- 不要测试构造函数
参考资料
- http://www.objc.io/issues/15-testing/，(翻译:http://objccn.io/issue-15/ )
- https://github.com/artsy/eigen，非常专业的APP的开源代码，http://objccn.io/issue-22-2/
: RAC + 单元测试 - http://www.jianshu.com/p/73f9d719cee4
- http://nshipster.com/unit-testing/
- http://onevcat.com/2014/02/ios-test-with-kiwi/
- http://onevcat.com/2014/05/kiwi-mock-stub-test/
- https://github.com/dblock/fui，find unused objective-c imports