从UI Automation看Windows平台自动化测试原理

前言

楼主在2013年初研究Android自动化测试的时候，就分享了几篇文章

• Android ViewTree and DecorView
• Android自动化追本溯源系列(1): 获取页面元素
• Android自动化追本溯源系列(2): 在控件上执行操作

把Android UI端的自动化测试工具原理，简单的归纳为两个核心:

• 如何获得页面控件或元素
• 如何在获得的元素上执行操作

而现在看下来这两点也适合于Windows平台和Web浏览器的自动化。本系列希望从原理上讲清楚这两个平台的自动化测试工具到底是如何实现的。

让我们先从Windows平台开始。

认识Windows UI自动化测试技术

提到Windows客户端的自动化测试工具，我们熟知的有QTP，Ranorex，甚或者AutoIT，而这些工具多是商用工具，不开源，看不到源码，所以很难知道它的底层实现细节。 但是考虑到这些工具都是基于基于Windows平台的，它绕不开Microsoft的技术，所以我们先来看看微软的自动化技术到底是咋样的？

园子里有两篇文章不错，貌似是微软一个Team的官博有提到：

• 微软UI自动化测试的技术演变(上)
• 微软UI自动化测试的技术演变(下)

从中我们知道，在早期做自动化测试多用Win32的API和MSAA方法，而随后伴随着.NET Framework3.5， 微软推出了UI Automation，也就是UIA。一直沿用到至今。

而这里我们就是要借助UIA来看看Windows的自动化是如何实现的。

UI Automation Tree

跟分析Android时类似，我们先看看windows 程序的所有控件的组成形式。
下图，是通过UISpy抓的我电脑上所有的控件：

显然这是一个树形结构阿，最上层是一个叫Desktop Windows的对象，在它下面是几个打开的应用程序，Calcuator，浏览器（显示Google搜索），Notepad，Microsoft Visual Studio等，注意下右边标红色的下划线的AutomationElement，这个表示当前选中的元素的属性，如果我们点开每一个程序，及其下面的控件，会发现每个控件都写着AutomationElement,难道是说每个控件都是AutomationElement嘛?

MSDN官方文档给出了肯定答案:

UI Automation exposes every piece of the UI to client applications as an AutomationElement. Elements are contained in a tree structure, with the desktop as the root element. 

既然每个对象都是AutomationElement,借鉴与Android的经验,只要我们得到最上层元素的对象,就可以遍历求得所有子元素了.

事实确实如此，AutomationElement 类提供了属性RootElement能够获得当前的Desktop元素，并且进一步的，它还提供了FindAll/FindFirst方法来获得符合条件的所有元素，或者是第一个元素。
很容易的，我们就能得到被测对象，比如我想获得我机器上的Calculator的AutomationElement对象：

AutomationElement _calculatorAutomationElement = AutomationElement.RootElement.FindFirst(TreeScope.Children, new PropertyCondition(AutomationElement.NameProperty, "Calculator")); 

当然还有很多其他的Utility的方式来获得对象，可以参考MSDN官方文档：
Obtaining UI Automation Elements

那有了对象，如何在对象上触发动作呢？

UI Automation Control Patterns

Control Patterns就是UIA设计的全新的使用空间功能的一种方式。　比如说一个Button，只要我们用InvokePattern来调用它，，就可以直接的触发Click的动作：

 InvokePattern btnInvoke = (InvokePattern)btn.GetCurrentPattern(InvokePattern.Pattern);
 btnInvoke.Invoke();

类似的Pattern还有很多，比如ExpandCollapsePattern， ScrollPattern， TogglePattern 等。

感觉就跟设计模式中的Command模式差不多，把所有的Actions都定义成Command，这样只要调用者Invoke正确的Command就可以了。是不是很方便？！

详细参见：UI Automation Control Patterns Overview

UI Automation 总结

我们上面针对自动化测试的核心原理，着重总结了UIA是如何实现获取元素，以及如何在元素上执行操作的，这是自动化工具的核心部分。当然围绕核心，UIA还提供了其他一些增强功能，这里借鉴微软博客的总结如下：

UIA定义了全新的、针对UI自动化的接口和模式。 分别是支持对UI元素进行遍历和条件化查询的TreeWalker/FindAll。定义了读写UI元素属性的UIA Property， 包括Name、 ID、Type、ClassName、Location、 Visibility等等。定义了UI元素行为的UIA Pattern， 比如Select、Expand、Resize、 Check、Value等等。 还引入了UIA Event接口，可以让测试程序在某些事件发生后得到通知，比如新窗口打开事件等。

但个人觉得，唯一的遗憾是，好像看不到ＵＩＡ的源码，不能再从更深的Ｌｅｖｅｌ来看它的实现。。。

敬请期待

后续计划

• 下一篇让我们从源码级看看Selenium是如何实现Web自动化的。

*** 童鞋，如果觉得本文还算用心，还算有用，何不点个赞呢(⊙o⊙)？ ***

Contact me ?

Email: [email protected]

Blog: http://www.cnblogs.com/jinsdu/