Python下编写Windows自动化测试软件

uiautomation模块学习笔记

---

前段时间，由于个人需要，在网上查找了一些关于Windows平台下自动化测试的资料，最后找到了一款相当不错的Python模块：uiautomation，直接pip install uiautomation即可方便地获取这个模块。在学习这个模块的同时，记些笔记，方便自己以后查阅，也方便大家翻阅。

0x00 概述

这个库在Github上是开源的，地址：https://github.com/yinkaisheng/Python-UIAutomation-for-Windows
而且作者是一名中国人，还是南京人，让我感觉十分亲切。
这个库可以说是十分贴合实际，在Windows平台下，绝大部分软件都要遵循Windows的规范，也就是说窗口啊，句柄啊、控件啊这些东西，都是通用的，Windows向外提供了这些接口。先感谢一下yinkaisheng，他的工作就是进一步给这些接口做了整合，给Python的开发者提供了接口。这极大地方便了想要用Python开发自动化测试程序的人。

0x01 作者的readme文档

• 这个模块是基于Windows的UIA技术实现的，系统最低需要WindowsXP SP3，支持MFC、WinForm、WPF、Metro UI（从Windows8开始Windows系统开发的一种新的窗口）、Qt和火狐，也就是说基于.Net技术的所有Windows窗体程序都支持，而其他的软件，比如基于DirectUI开发的，这个模块可能难以获取到其中的信息。
• 作者将这个模块开源了，基于Apache2.0，这以为着源代码可以任意复制，修改，使用以及再发布，赞！
• 安装方法很简单，在已有Python和pypi环境的电脑上运行pip install uiautomation即可安装，并且主程序automation.py也会自动复制到Python的Scripts文件夹下。
• 同时作者也提供了C++ dll的源码，但是在这里就不去涉及了。可以看出作者是名十分敬业的开发人员！

• 可以简单运行一下automation.py，直接运行的效果就是3秒后遍历当前活动窗口的所有控件。对QQ运行的效果：

  
  
  
  
  
  

  可见效果十分明显，窗口内的控件信息全部都显示出来了，包括控件类型，控件的名称，控件的位置（以像素为单位），句柄，控件树深度等。同时，所有信息会保存到当前目录下的@AutomationLog.txt文件中，方便查阅。

• 作者提供了一个Demo，用于控制记事本程序：

import subprocess
import uiautomation as automation

print(automation.GetRootControl())
subprocess.Popen('notepad.exe')
notepadWindow = automation.WindowControl(searchDepth = 1, ClassName = 'Notepad')
print(notepadWindow.Name)
notepadWindow.SetTopmost(True)
edit = notepadWindow.EditControl()
edit.SetValue('Hello')
edit.SendKeys('{Ctrl}{End}{Enter}World')

GetRootControl()方法将返回根控件，也就是整个Windows可视化的桌面（这么理解没错吧）
WindowControl(searchDepth=1,ClassName='Notepad')方法将创建一个WindowsControl对象，参数的作用是细化如何找到我们想要的控件，可用的参数有searchFromControl=None，searchDepth=0xFFFFFFF，searchWaitTime=SEARCH_INTERVAL，foundIndex=1，Name，SubName，ClassName，Depth等，可以去源码下的Control类的初始化方法init看一下这些参数怎么用。

• 接下来作者介绍了一个小工具Inspect.exe，这个工具是微软提供的，可以用来探测UI的内容，这个程序自动集成在微软的Windows SDK中，我电脑上正好安装了Visual Studio和Windows SDK，应该可以找到这个程序。果然在工具集中找到了这个程序：

  
  
  
  
  
  
  
  

  可以看到使用效果非常好，窗口的构造一目了然！

• 最后作者放了一些自己使用该模块的截图，可以看到，功能十分强大：

  
  
  
  
  
  
  
  
  
  
  

0x02 简单了解实现原理

作者在readme文档中外链了一篇博文，简单介绍了实现原理，为了能更好地掌握这个库的使用，这篇原理我也简单的学习一下。（原文链接）

在最早的Windows开发中是没有自动化测试的概念的。1997年微软在操作系统中集成了MASS(Microsoft Active Accessibility)组件，但是微软开发MASS组件的初衷并不是为了自动化测试，而是提供了一套接口，让开发者们可以方便的开发残疾人士辅助软件，比如读屏软件等。伴随着自动化测试的应用越来越广泛，微软正视了自动化测试的需求，在MASS的基础上，对其重新封装设计并实现了UIAutomation的类库(.NET)。从Win7系统开始的后续Windows操作系统都整合了Windows Automation API的所有功能。作者在阅读了MSDN上的《UI Automation Client Programmer's Guide》和CodeMagazine上的《Creating UI Automation Client Applications》两篇文章后，用Python和C++对UIAutomation做了一层简单的封装，方便了想要用Python开发自动化测试应用而对.Net平台又不太熟悉的人，比如我。

0x03 API学习摘要

之前也已经提到，这个模块是作者对UIA用C++和Python简单的做了一层封装，只要能理解面向对象编程，学习难度也不是很大。正好，我在作者的CSDN博客里面找到了作者使用此模块的实例（原文链接），就以此为学习的入口，代码如下：

#!python3
# -*- coding: utf-8 -*-
"""
本脚本可以获取QQ2017(v8.9.4)群所有成员详细资料，请根据提示做对应的操作
作者：[email protected]
"""
import time
import uiautomation as automation


def GetPersonDetail():
    detailWindow = automation.WindowControl(searchDepth= 1, ClassName = 'TXGuiFoundation', SubName = '的资料')
    details = ''
    for control, depth in automation.WalkControl(detailWindow):
        if isinstance(control, automation.EditControl):
            details += control.Name + control.CurrentValue() + '\n'
    details += '\n' * 2
    detailWindow.Click(-10, 10)
    return details


def main():
    automation.Logger.WriteLine('请把鼠标放在QQ群聊天窗口中的一个成员上面，3秒后获取\n')
    time.sleep(3)
    listItem = automation.ControlFromCursor()
    if listItem.ControlType != automation.ControlType.ListItemControl:
        automation.Logger.WriteLine('没有放在群成员上面，程序退出！')
        return
    consoleWindow = automation.GetConsoleWindow()
    if consoleWindow:
        consoleWindow.SetActive()
    qqWindow = listItem.GetTopWindow()
    list = listItem.GetParentControl()
    allListItems = list.GetChildren()
    for listItem in allListItems:
        automation.Logger.WriteLine(listItem.Name)
    answer = input('是否获取详细信息？按y和Enter继续\n')
    if answer.lower() == 'y':
        automation.Logger.WriteLine('\n3秒后开始获取QQ群成员详细资料，您可以一直按住F10键暂停脚本')
        time.sleep(3)
        qqWindow.SetActive()
        #确保群里第一个成员可见在最上面
        left, top, right, bottom = list.BoundingRectangle
        while allListItems[0].BoundingRectangle[1] < top:
            automation.Win32API.MouseClick(right - 5, top + 20)
        for listItem in allListItems:
            if listItem.ControlType == automation.ControlType.ListItemControl:
                if automation.Win32API.IsKeyPressed(automation.Keys.VK_F10):
                    if consoleWindow:
                        consoleWindow.SetActive()
                    input('\n您暂停了脚本，按Enter继续\n')
                    qqWindow.SetActive()
                listItem.RightClick()
                menu = automation.MenuControl(searchDepth= 1, ClassName = 'TXGuiFoundation')
                menuItems = menu.GetChildren()
                for menuItem in menuItems:
                    if menuItem.Name == '查看资料':
                        menuItem.Click()
                        break
                automation.Logger.WriteLine(listItem.Name, automation.ConsoleColor.Green)
                automation.Logger.WriteLine(GetPersonDetail())
                listItem.Click()
                automation.SendKeys('{Down}')

if __name__ == '__main__':
    main()
    input('press Enter to exit')

我用的环境是Pycharm2017.2社区版和Python3.6，这个模块的内容主要集中在uiautomation.py文件中，学习方法就是去这个文件里看相关的代码。先简单看一下这个代码，看看里面有哪些看不懂的，看不懂的地方就是要学习的地方。

首先是automation.WindowControl，这看起来是个对象，但是还不知道这个对象有哪些方法和属性，下面的WalkControl和EditControl应该也是对象，从命名上看可能直接代表了窗体中的不同控件。control.CurrentValue应该是属性，下面的detailWindow.Click()应该是模拟鼠标点击的方法。再看main()函数，Logger.WriteLine()方法应该是跟日志有关，ControlFromCursor()可能是从鼠标获取控件的方法......

这样看一遍大概就知道应该去源码里面找哪些定义了，我们利用PyCharm的跳转定义功能可以很容易地找到定义这些类和方法的代码，都在uiautomation.py这个文件中。源码就不贴了，通过跳转功能可以很容易地理解其中的方法与类之间的逻辑关系。这个文件中主要定义了“控件”这个类，就是两千多行处的Class Control(.............):这一大段代码，里面包含了所有对控件的方法和基本的属性。方法有获取控件名称啊，内容啊等，属性有位置啊，是否Active啊这些。然后由Control类派生出各个子类，代表具体的各种控件，比如WindowControl类表示窗口，EditControl类表示输入框，ButtonControl类代表按钮等等，几乎涵盖所有Win窗体程序的所有控件。并且作者在很多类下面做了详细的注释，阅读起来应该没有什么困难。理解的难点应该是这里面有大量关于WinForm开发的知识，需要一点基础。

那么当我们将这些方法与类的定义搞清楚之后，我们就能读懂这个实例的功能了。通过组合运用各个空间的属性和方法，实现从QQ群窗口中获得QQ群的信息。包括群号、群成员信息、聊天记录等信息，并保存到文本文件。

0x04 后记

• 果然多看，多写才是提升实力的根本途径，教材看一百遍不如自己摸索一遍！
• Life is short,use Python!